Trampas del análisis experimental
Los ensayos controlados online son el estándar para medir el impacto de un cambio, pero esconden trampas que producen falsos positivos o conclusiones inválidas. Reconocerlas es tan importante como saber diseñar el experimento.
Mirar antes de tiempo (peeking)
Parar el experimento en cuanto el valor p cruza el umbral, sin corregir, dispara la tasa de falsos positivos: con suficientes miradas, casi cualquier efecto se vuelve "significativo" por azar. La salida son reglas de parada o análisis secuencial.
Comparación múltiple
Si mides veinte métricas o segmentos, es probable que alguna salga significativa solo por el número de pruebas. Controles como Bonferroni o el FDR ajustan el umbral para que el hallazgo no sea un artefacto de mirar mucho.
Sample Ratio Mismatch (SRM)
Si el porcentaje real de unidades por variante difiere del esperado (por ejemplo, asignabas 50/50 y sale 52/48), hay un bug: el experimento está roto antes de interpretar nada. SRM invalida las comparaciones y hay que corregir el sistema, no "leer" el resultado.
Interferencia y efectos de red
La aleatorización asume que tratar a una unidad no afecta a las demás. En marketplaces o redes, un cambio en el grupo de control puede tocar al grupo de tratamiento (SUTVA violada). La solución es aleatorizar por clusters (ciudades, grupos).
| Trampa | Qué rompe | Cómo evitarla |
|---|---|---|
| Peeking | el control del error tipo I | parada secuencial corregida |
| Comparación múltiple | la tasa de falsos positivos | Bonferroni o FDR |
| SRM | la validez del experimento | alertar y corregir el reparto |
| Interferencia | la independencia entre unidades | aleatorizar por clusters |
Validez externa y novedad
- Efecto de novedad: al principio todo cambio sube la interacción; mide más allá.
- Efecto deprimacidad: los usuarios nuevos reaccionan distinto.
- Lo que gana en un experimento puede no generalizar a todo el año.
Errores frecuentes
- Decidir en cuanto "sale verde" sin corrección de miradas.
- Ignorar una alerta de SRM por no detener el lanzamiento.
- Extrapolar un resultado de una semana al año completo.
Ejemplo resuelto: un "ganador" sospechoso
- Verificar SRM antes de mirar métricas de negocio.
- Revisar cuántas veces y cuándo se consultó el resultado.
- Corregir por el número real de métricas evaluadas.
- Confirmar estabilidad del efecto tras la novedad inicial.
¿Para qué sirve en la realidad?
La cultura data-driven vive de experimentos; su credibilidad depende de no celebrar hallazgos frágiles. Evitar estas trampas protege tanto el resultado actual como la confianza en el método.
¿Qué invalida un experimento por sí mismo, antes de leer cualquier métrica?
Detener un experimento en cuanto el valor p cruza el umbral, sin corrección, mantiene la tasa de falsos positivos bajo control.
Cuando una intervención sobre una unidad afecta a otra y se viola la independencia, se incumple el supuesto .
Clasifica cada situación según qué trampa representa.
Peeking
SRM
Interferencia
Une cada trampa con su corrección.
Trampas experimentales
Trampas del análisis experimental
# Trampas del A/B ## Leer ### peeking y parada ### comparacion multiple FDR ## Validar ### SRM reparto ## Supuestos ### SUTVA interferencia ### clusters ### novedad y validez externa
Exp Platform (Kohavi, Deng, Tang)
Referencia de los líderes del área sobre experimentación controlada online.
Problema de comparaciones múltiples (Wikipedia)
Fundamento del control de errores al evaluar muchas hipótesis.
Tu equipo lanza un A/B a las 24 h porque "salió significativo" y con reparto 53/47 entre variantes. Diagnostica los problemas metodológicos y explica en qué orden los revisarías antes de tomar cualquier decisión.