Monitoreo y deriva
Por qué un modelo se degrada
- Cambian las distribuciones de las variables de entrada.
- Cambian las relaciones entre entrada y objetivo.
- Cambian los costes, el público o el contexto.
Deriva de datos (covariate shift)
Las entradas se desplazan respecto a las vistas en entrenamiento. El modelo sigue aplicando la función aprendida, pero ya sobre un territorio para el que no fue calibrado.
Deriva de concepto
No cambian las entradas sino la relación entre estas y la respuesta. Lo que antes predecía bien deja de predecirlo, aunque las variables se vean iguales.
La trampa de la etiqueta tardía
Muchas veces no se conoce la respuesta correcta hasta pasados días o semanas, y el deterioro no es inmediatamente medible. Hay que apoyarse en señales indirectas.
Monitorizar distribución de entradas
- Comparar la distribución actual con la de entrenamiento.
- Alarmar cuando una variable se desvía de forma anómala.
- Detecta deriva sin esperar etiquetas.
Estadísticos de deriva
Métricas como PSI o divergencia de Kullback-Liebler cuantifican cuánto se ha movido una distribución. Superado un umbral, salta la alerta.
Vigilar la calidad de la predicción
Cuando llegan etiquetas retardadas, se recalculan las métricas reales. Verlas caer confirma y dimensiona el daño.
Señales de negocio
- Cambios en conversiones o en decisiones tomadas.
- Quejas o anulaciones como proxy de errores.
- El negocio delata fallos que la estadística aún no mide.
Ventanas de referencia y monitoreo
Comparar una ventana reciente contra una histórica establece el criterio de normalidad y hace visible la deriva lenta que el día a día esconde.
Alertas y umbral sensible
Demasiadas alertas generan fatiga; demasiadas pocas, sorpresas. Ajustar umbrales y enrutarlas al equipo correcto es parte del sistema.
Responde: reentrenar o revisar
Al confirmar deriva, la respuesta puede ser reentrenar con datos frescos o revisar el propio pipeline. Primero hay que diagnosticar qué cambió.
El coste de no vigilar
Un modelo degradado toma decisiones malas con toda confianza, silenciosamente. La ausencia de monitoría no evita el fallo: lo esconde.
Errores frecuentes
- Confiar solo en el accuracy de entrenamiento y dar por bueno un modelo ya desfasado.
- Esperar a tener etiquetas para mirar el desempeño, cuando llegan con semanas de retraso.
- Disparar tantas alertas que el equipo acaba por ignorarlas todas.
Ejemplo resuelto: detectar deriva en un modelo de precios
Un modelo de precios ve caer sus conversiones aunque las métricas offline sigan bien. Al comparar la distribución actual de las entradas con la de entrenamiento, el PSI de una variable supera el umbral: el mercado cambió. Se reentrena con datos frescos antes de que la pérdida crezca.
- registrar las distribuciones de entrada y el desempeño en producción
- comparar la ventana reciente contra la de referencia
- saltar la alerta al superarse el umbral del estadístico de deriva
- diagnosticar si cambió la distribución de datos o el propio concepto
- reentrenar con datos frescos o revisar el pipeline
¿Para qué sirve en la realidad?
Modelos de fraude, precios o recomendación se oxidan cuando el mundo cambia; monitorear el deriva permite reaccionar antes de que las decisiones malas, tomadas con toda confianza, causen un daño visible en el negocio.
El deriva de concepto se distingue del de datos porque:
Se puede detectar deriva de datos comparando la distribución actual de las entradas con la de entrenamiento, incluso sin etiquetas.
Deriva
Toca una tarjeta para ver la respuesta.
Ordena el ciclo de gestión del deriva:
Arrastra cada ficha a su categoría (o tócala y luego toca la categoría). También puedes usar el teclado.
Deriva de conceptoCambio de la relación objetivo-variables en flujos de datos.
Une cada tipo de deriva o señal con su rasgo:
Deriva
- Deriva del modelo
- Causas
- cambian entradas
- cambian entradas
- cambia la relación
- Causas
- cambia el contexto
- deriva de datos
- PSI
- diagnosticar
Detección de anomalíasIdentificar observaciones que se desvían del comportamiento esperado de un sistema.
Tu modelo de fraude mantiene buen accuracy medido pero suben las quejas de bloqueos erróneos. ¿Qué tipo de deriva sospechas y qué señal vigilarías?
Tu texto se guarda sólo en este dispositivo.
Comentarios
Inicia sesión para comentar.
Todavía no hay comentarios. Sé la primera persona en opinar.