Despliegue seguro de modelos
Un nuevo modelo puede ser mejor en el conjunto y peor en un segmento, o simplemente más lento. Reemplazar la versión en vivo de golpe es una apuesta. Las estrategias de despliegue permiten cambiar gradualmente, observar y retroceder antes de que un problema se generalice.
Estrategias de despliegue
- Shadow (doble lectura): el nuevo modelo corre en secreto y se compara con el actual, sin afectar al usuario.
- Canary: expone una fracción pequeña del tráfico real a la nueva versión.
- Blue-green: dos entornos completos; se conmuta el tráfico de uno a otro.
- A/B: versiones distintas concurrentes, medidas por una métrica de negocio.
Shadow: probar sin exponer
En modo sombra, la nueva versión responde a las mismas peticiones pero no sirve al usuario: solo se registran sus predicciones para comparar calidad y latencia. Detecta degradaciones sin ningún riesgo visible.
Canary y A/B
El canary expone al 1% o 5% del tráfico y vigila métricas técnicas: si suben los errores o la latencia, se corta. El A/B mide impacto de negocio comparando grupos y decide con evidencia, no con la intuición de que el modelo "debería" ser mejor.
Rollback y feature flags
Toda publicación debe poder deshacerse al instante, idealmente sin redeploy: una feature flag o un conmutador de tráfico que devuelva la versión anterior en segundos. El rollback es parte del diseño, no un parche de emergencia.
| Estrategia | Qué hace | Riesgo que controla |
|---|---|---|
| Shadow | corre en paralelo sin servir | peor calidad sin exposición |
| Canary | fracción del tráfico real | errores o latencia en producción |
| Blue-green | conmuta entorno completo | cambio fallido, revierte rápido |
| A/B | compara por métrica de negocio | mejora técnica que no mejora el negocio |
Errores frecuentes
- Cambiar de golpe el modelo en vivo sin etapa de sombra.
- Vigilar solo la precisión y olvidar latencia y tasa de error.
- No tener un camino de rollback probado antes de publicar.
Ejemplo resuelto: nuevo modelo de scoring
- Desplegar en sombra y comparar predicciones y tiempos con el actual.
- Si la comparación es sana, abrir un canary al 5% con puertas en errores y latencia.
- Subir al 50% y medir una semana.
- Concluir con A/B sobre la métrica de negocio objetivo.
- Mantener el rollback activo durante todo el proceso.
¿Para qué sirve en la realidad?
Publicar modelos es un problema de confianza operativa: poder avanzar en etapas, observar cada señal y revertir convierte una apuesta de todo o nada en un cambio controlado.
¿Qué caracteriza a un despliegue en modo shadow?
Un rollback debería poder ejecutarse al instante, idealmente sin un nuevo despliegue completo.
La estrategia que expone una fracción pequeña del tráfico real a la nueva versión y vigila métricas se llama .
Clasifica cada señal según a qué estrategia de despliegue evalúa primero.
Shadow
Canary
A/B
Une cada término con su idea.
Despliegue de modelos
Despliegue seguro de modelos
# Publicar modelos ## Estrategias ### shadow doble lectura ### canary fraccion ### blue-green ### A/B negocio ## Puertas ### errores latencia ### drift y metrica ## Seguridad ### rollback ### feature flags
Canarying releases (Google SRE Workbook)
Cómo publicar en fracciones y decidir con métricas.
Hidden Technical Debt in Machine Learning Systems
Sistema de deuda técnica en ML que el despliegue con versiones y rollback debe contener.
Vas a reemplazar el modelo de riesgo de crédito por uno nuevo más preciso pero 3 veces más lento. ¿Qué secuencia de despliegue usarías y qué señal te haría abortar aunque la precisión fuera mejor?