Analytic Multiplicity: Many Paths from the Same Data / Multiplicidad analítica: muchos caminos a partir de los mismos datos
Segurola, Juan
English
A single dataset can support many plausible analytical paths. Decisions about exclusions, transformations, stopping rules, outcomes, covariates, subgroups, model forms and reporting create a multiplicity that is often much larger than the number of formal statistical tests. When those paths are selected after observing results and only favourable outcomes are emphasised, nominal error rates and evidential interpretations no longer describe the full research process. This article defines analytic multiplicity as the branching set of decisions connecting raw observations to reported claims. It separates planned multiplicity from undisclosed researcher degrees of freedom, clarifies the role of multiple-testing control and preregistration, and distinguishes this problem from transparent robustness analysis in INF-009. The objective is not to forbid exploration but to label exploration honestly and preserve a clean boundary between hypothesis generation and evidential confirmation.
Español
Un único conjunto de datos puede admitir muchos caminos analíticos plausibles. Las decisiones sobre exclusiones, transformaciones, reglas de parada, resultados, covariables, subgrupos, formas de modelo y reporte crean una multiplicidad que suele ser mucho mayor que el número de pruebas estadísticas formales. Cuando esos caminos se seleccionan después de observar los resultados y solo se enfatizan los resultados favorables, las tasas nominales de error y las interpretaciones evidenciales dejan de describir el proceso completo de investigación. Este artículo define la multiplicidad analítica como el conjunto ramificado de decisiones que conecta las observaciones brutas con las afirmaciones informadas. Separa la multiplicidad planificada de los grados de libertad no declarados del investigador, aclara el papel del control de pruebas múltiples y del prerregistro, y distingue este problema del análisis transparente de robustez de INF-009. El objetivo no es prohibir la exploración, sino etiquetarla con honestidad y preservar una frontera clara entre generación de hipótesis y confirmación evidencial.
INF-010 · Version / Versión 0.2.
Full text
Version DOI 10.5281/zenodo.22924333 · All versions in Zenodo