Ciencia reproducible y abierta
La crisis de replicación mostró que muchos hallazgos no se sostienen al repetirlos. La ciencia abierta responde dejando que otros puedan volver a hacer el trabajo: datos, código, entornos y decisiones metodológicas a la vista.
Reproducir no es lo mismo que replicar
- Reproducibilidad: con los mismos datos y el mismo código llegas al mismo resultado.
- Replicabilidad: un experimento nuevo, con datos nuevos, llega a la misma conclusión.
Prácticas de transparencia
Hacer un trabajo reproducible es sobre todo disciplina de ingeniería: versionar el código con el análisis, fijar las dependencias del entorno, registrar semillas aleatorias y documentar cada paso de datos a figura.
Pre-registro
Registrar la hipótesis y el plan de análisis antes de ver los datos separa la confirmación de la exploración. Impide el p-hacking (buscar el corte que dé significativo) y el HARKing (inventar la hipótesis después del resultado).
Sesgos del sistema
- Sesgo de publicación: los resultados nulos no se publican y deforman la evidencia.
- Grados de libertad analíticos: muchas decisiones defensables llevan a muchos resultados.
- Falta de datos y código: nadie puede verificar el trabajo.
Meta-análisis
Cuando varios estudios responden lo mismo, el meta-análisis combina sus efectos para estimar mejor la señal, midiendo heterogeneidad y revisando el sesgo de publicación con un gráfico de embudo.
| Práctica | Qué previene |
|---|---|
| Código y datos abiertos | que nadie pueda verificar |
| Pre-registro | p-hacking e HARKing |
| Entorno y semillas fijos | resultados que no vuelven a salir |
| Publicar negativos | sesgo de publicación |
Errores frecuentes
- Entregar el análisis sin la semilla ni el entorno: imposible de reproducir.
- Presentar un análisis exploratorio como si fuera confirmatorio.
- Omitir decisiones que podrían haber cambiado el resultado.
Ejemplo resuelto: que un proyecto de datos se pueda retomar
- Versionar datos y notebooks con commits etiquetados.
- Congelar dependencias en un lockfile y fijar la semilla.
- Escribir un README de reproductibilidad: pasos y orden.
- Pre-registrar la hipótesis antes de correr el análisis principal.
- Publicar también los resultados que no dieron lo esperado.
¿Para qué sirve en la realidad?
En una empresa, un análisis no reproducible es deuda técnica y riesgo: nadie puede confiarlo ni actualizarlo. La ciencia abierta es también buena ingeniería y mejor defensa de tus conclusiones.
¿Qué distingue la reproducibilidad de la replicabilidad?
El pre-registro de hipótesis y análisis ayuda a evitar el p-hacking y el HARKing.
Definir un entorno con versiones fijas y registrar la semilla aleatoria sirve a la del experimento.
Clasifica cada práctica según su objetivo.
Transparencia
Control de sesgos
Une cada término con su definición.
Ciencia reproducible
Ciencia reproducible y abierta
# Ciencia abierta ## Conceptos ### reproducibilidad ### replicabilidad ## Practicas ### datos y codigo abiertos ### entorno y semilla ### pre-registro ## Sistema ### sesgo de publicacion ### meta-analisis
Crisis de replicación (Wikipedia)
Panorama del problema que motiva la ciencia abierta.
Pre-registro (Center for Open Science)
Referencia institucional sobre la práctica de pre-registrar estudios.
Un análisis de la empresa que sostiene una decisión importante fue hecho por alguien que ya se fue, sin entorno ni semilla documentados. ¿Qué prácticas de ciencia abierta propondrías para que cualquier análisis crítico vuelva a ser reproducible y auditable?