Pruebas A/B y tamaño de muestra
Qué compara un A/B
Dos versiones (A control y B tratamiento) sobre usuarios asignados al azar, midiendo una métrica objetivo. La pregunta es si la diferencia observada es real o ruido.
Hipótesis nula y alternativa
- Nula: no hay diferencia entre versiones.
- Alternativa: B difiere de A.
- La prueba evalúa evidencia contra la nula.
Nivel de significancia
El alfa fija cuánto riesgo se asume de declarar un efecto inexistente (falso positivo). Típico 5 %. Controla la tasa de error tipo I.
Potencia y error tipo II
La potencia es la probabilidad de detectar un efecto real si existe. Un 80 % es habitual; poca potencia produce negativos falsos y experimentos desperdiciados.
El tamaño de muestra
- Depende de la diferencia mínima que importa (efecto).
- De la variabilidad de la métrica.
- Y del alfa y la potencia elegidos.
Efecto mínimo detectable
Antes de correr, se decide qué cambio vale la pena detectar. Muestrear para efectos triviales dispara el número de usuarios necesarios.
La trampa de mirar pronto
Detener el experimento en cuanto cruza la frontera de significancia infla los falsos positivos. El poder aumenta con el tamaño; mirar antes rompe la garantía del alfa.
Corrección por múltiples comparaciones
- Probar muchas variantes aumenta la suerte de un hallazgo espurio.
- Se corrige con Bonferroni u otros métodos.
- No declarar victoria por mirar más veces.
Aleatorización y duración
Se aleatoriza al usuario, no a la sesión, y se corre ciclos completos (una o dos semanas) para capturar la variabilidad por día de la semana.
Interpretar el resultado
- Importa la estimación del efecto y su intervalo, no solo el p-valor.
- Significativo estadístico no implica relevante de negocio.
- El tamaño del efecto manda en la decisión.
El coste de A/B mal hecho
Cambios que se implementan por un falso positivo cuestan dinero y credibilidad. La disciplina de diseño protege al producto de su propio entusiasmo.
Errores frecuentes
- Parar el experimento en cuanto la diferencia se vuelve significativa.
- Probar muchas variantes y declarar victoria sin corregir por comparaciones múltiples.
- Confundir significancia estadística con relevancia para el negocio.
Ejemplo resuelto: un A/B parado demasiado pronto
Un equipo lanza un A/B y, al ver en el día 2 que la variante B gana con un p bajo, lo detiene e implementa. Ese resultado temprano es frágil: mirar antes de tiempo infla los falsos positivos. Lo correcto era fijar de antemano el tamaño de muestra según el efecto mínimo que importaba y analizar solo al completarlo.
- fijar la métrica objetivo y la hipótesis
- calcular la muestra para el efecto y la potencia deseados
- aleatorizar usuarios y correr ciclos completos
- resistir la tentación de mirar y parar antes
- interpretar el tamaño del efecto y su intervalo
¿Para qué sirve en la realidad?
Empresas de producto, marketing y crecimiento deciden miles de cambios con A/B: bien dimensionado y analizado con disciplina, convierte decisiones de gusto en evidencia causal sobre qué versión funciona mejor y cuánto.
En una prueba A/B, aumentar el tamaño de muestra principalmente:
Detener una prueba A/B apenas alcanza la significancia en una revisión intermedia es un procedimiento válido sin ajustes.
A/B
Ordena el diseño de una prueba A/B rigurosa:
Metrica
Tamanio
Aleatorizar
Analizar
Prueba A/B
Comparación aleatorizada de dos versiones sobre una métrica.
Une cada término de un A/B con su significado:
A/B
# Pruebas A/B y tamaño de muestra ## Diseño ### métrica objetivo ### hipótesis ### unidad de aleatorización ## Cálculo ### efecto mínimo ### variabilidad ### alfa y potencia ## Trampas ### mirar pronto ### comparaciones múltiples ### falsos positivos ## Decisión ### tamaño del efecto ### intervalo ### relevancia de negocio
Determinación del tamaño de muestra
Cuántas observaciones se necesitan para estimar o detectar con la precisión deseada.
Tu A/B resultó «significativo» en el día 2 y lo paraste. ¿Por qué esa práctica infla falsos positivos y qué regla de diseño lo evitaría?