Ciencia reproducible y abierta

Video explicativo (inglés): cómo la ciencia abierta y la transparencia metodológica hacen la investigación reproducible.

La crisis de replicación mostró que muchos hallazgos no se sostienen al repetirlos. La ciencia abierta responde dejando que otros puedan volver a hacer el trabajo: datos, código, entornos y decisiones metodológicas a la vista.

Reproducir no es lo mismo que replicar

Reproducibilidad: con los mismos datos y el mismo código llegas al mismo resultado.
Replicabilidad: un experimento nuevo, con datos nuevos, llega a la misma conclusión.

Prácticas de transparencia

Hacer un trabajo reproducible es sobre todo disciplina de ingeniería: versionar el código con el análisis, fijar las dependencias del entorno, registrar semillas aleatorias y documentar cada paso de datos a figura.

Pre-registro

Registrar la hipótesis y el plan de análisis antes de ver los datos separa la confirmación de la exploración. Impide el p-hacking (buscar el corte que dé significativo) y el HARKing (inventar la hipótesis después del resultado).

Sesgos del sistema

Sesgo de publicación: los resultados nulos no se publican y deforman la evidencia.
Grados de libertad analíticos: muchas decisiones defensables llevan a muchos resultados.
Falta de datos y código: nadie puede verificar el trabajo.

Meta-análisis

Cuando varios estudios responden lo mismo, el meta-análisis combina sus efectos para estimar mejor la señal, midiendo heterogeneidad y revisando el sesgo de publicación con un gráfico de embudo.

Cada práctica ataca un modo distinto de perder credibilidad.
Práctica	Qué previene
Código y datos abiertos	que nadie pueda verificar
Pre-registro	p-hacking e HARKing
Entorno y semillas fijos	resultados que no vuelven a salir
Publicar negativos	sesgo de publicación

Errores frecuentes

Entregar el análisis sin la semilla ni el entorno: imposible de reproducir.
Presentar un análisis exploratorio como si fuera confirmatorio.
Omitir decisiones que podrían haber cambiado el resultado.

Ejemplo resuelto: que un proyecto de datos se pueda retomar

Versionar datos y notebooks con commits etiquetados.
Congelar dependencias en un lockfile y fijar la semilla.
Escribir un README de reproductibilidad: pasos y orden.
Pre-registrar la hipótesis antes de correr el análisis principal.
Publicar también los resultados que no dieron lo esperado.

¿Para qué sirve en la realidad?

En una empresa, un análisis no reproducible es deuda técnica y riesgo: nadie puede confiarlo ni actualizarlo. La ciencia abierta es también buena ingeniería y mejor defensa de tus conclusiones.

¿Qué distingue la reproducibilidad de la replicabilidad?

El pre-registro de hipótesis y análisis ayuda a evitar el p-hacking y el HARKing.

Definir un entorno con versiones fijas y registrar la semilla aleatoria sirve a la del experimento.

Clasifica cada práctica según su objetivo.

Arrastra cada ficha a su categoría (o tócala y luego toca la categoría). También puedes usar el teclado.

Une cada término con su definición.