Trampas del análisis experimental

Video explicativo (inglés): los errores comunes en tests A/B — peeking, poder estadístico insuficiente y múltiples comparaciones.

Los ensayos controlados online son el estándar para medir el impacto de un cambio, pero esconden trampas que producen falsos positivos o conclusiones inválidas. Reconocerlas es tan importante como saber diseñar el experimento.

Mirar antes de tiempo (peeking)

Parar el experimento en cuanto el valor p cruza el umbral, sin corregir, dispara la tasa de falsos positivos: con suficientes miradas, casi cualquier efecto se vuelve "significativo" por azar. La salida son reglas de parada o análisis secuencial.

Comparación múltiple

Si mides veinte métricas o segmentos, es probable que alguna salga significativa solo por el número de pruebas. Controles como Bonferroni o el FDR ajustan el umbral para que el hallazgo no sea un artefacto de mirar mucho.

Sample Ratio Mismatch (SRM)

Si el porcentaje real de unidades por variante difiere del esperado (por ejemplo, asignabas 50/50 y sale 52/48), hay un bug: el experimento está roto antes de interpretar nada. SRM invalida las comparaciones y hay que corregir el sistema, no "leer" el resultado.

Interferencia y efectos de red

La aleatorización asume que tratar a una unidad no afecta a las demás. En marketplaces o redes, un cambio en el grupo de control puede tocar al grupo de tratamiento (SUTVA violada). La solución es aleatorizar por clusters (ciudades, grupos).

Cada trampa tiene un nombre, un diagnóstico y una corrección concreta.
Trampa	Qué rompe	Cómo evitarla
Peeking	el control del error tipo I	parada secuencial corregida
Comparación múltiple	la tasa de falsos positivos	Bonferroni o FDR
SRM	la validez del experimento	alertar y corregir el reparto
Interferencia	la independencia entre unidades	aleatorizar por clusters

Validez externa y novedad

Efecto de novedad: al principio todo cambio sube la interacción; mide más allá.
Efecto deprimacidad: los usuarios nuevos reaccionan distinto.
Lo que gana en un experimento puede no generalizar a todo el año.

Errores frecuentes

Decidir en cuanto "sale verde" sin corrección de miradas.
Ignorar una alerta de SRM por no detener el lanzamiento.
Extrapolar un resultado de una semana al año completo.

Ejemplo resuelto: un "ganador" sospechoso

Verificar SRM antes de mirar métricas de negocio.
Revisar cuántas veces y cuándo se consultó el resultado.
Corregir por el número real de métricas evaluadas.
Confirmar estabilidad del efecto tras la novedad inicial.

¿Para qué sirve en la realidad?

La cultura data-driven vive de experimentos; su credibilidad depende de no celebrar hallazgos frágiles. Evitar estas trampas protege tanto el resultado actual como la confianza en el método.

¿Qué invalida un experimento por sí mismo, antes de leer cualquier métrica?

Detener un experimento en cuanto el valor p cruza el umbral, sin corrección, mantiene la tasa de falsos positivos bajo control.

Cuando una intervención sobre una unidad afecta a otra y se viola la independencia, se incumple el supuesto .

Clasifica cada situación según qué trampa representa.

Arrastra cada ficha a su categoría (o tócala y luego toca la categoría). También puedes usar el teclado.

Une cada trampa con su corrección.

Trampas experimentales

Parar al cruzar el umbral sin corregir

peeking

El reparto real no coincide con el esperado

SRM

Tratar a una unidad afecta a otra

violación de SUTVA

Umbral ajustado por muchas pruebas

Bonferroni / FDR

Subida inicial que luego se revierte

efecto de novedad

Toca una tarjeta para ver la respuesta.