Capstone resuelto: el predictor de abandono, de la pregunta al despliegue

Este es el proyecto que ata TODA la carrera: un caso completo de abandono de clientes resuelto en siete etapas, con los numeros, las decisiones y los errores que se cometen de verdad. Cada etapa muestra su entregable concreto y el codigo que la ejecuta, citando el OA especifico donde se fundo la tecnica. Correr este capstone entero (una tarde con un dataset tuyo) es la mejor preparacion para una defensa de proyecto que cualquier rubrica.

Pipeline de proyecto de datos: siete etapas de la pregunta al despliegue con sus entregables. — Un pipeline no es solo codigo: cada etapa tiene una pregunta, un entregable y un criterio de paso a la siguiente.

Las siete etapas Definicion del problema → obtencion y EDA → limpieza → baseline → evaluacion con metrica de NEGOCIO → analisis de error y mejora → despliegue y monitoreo. El salto cualitativo del estudiante al profesional: cerrar cada etapa con su entregable ANTES de abrir la siguiente.

Etapa 1 · La pregunta (la que nadie quiere trabajar)

Pedido vago: "queremos predecir churn". Buenas preguntas tienen cuatro componentes — decision, sujeto, horizonte y metrica: "Que clientes con suscripcion mensual cancelaran en los proximos 30 dias, para que el equipo de retencion les ofrezca una llamada ANTES, priorizando llamadas donde el costo de la llamada (3 USD) es menor que el margen recuperado (25 USD)". Ese numero de margenes NO es decoracion: define el umbral operativo de la etapa 6 y se acuerda CON el negocio en la etapa 1. Entregable: una pagina escrita y firmada: pregunta, metrica de exito, costos de error, limite temporal.

Etapa 2 · Datos y primera mirada

EDA de 20 minutos que cambia el proyecto

Dataset: 10.000 filas de clientes (antiguedad_meses, uso_semanal, ticket_medio, soporte_llamadas, plan, churn). describe() y value_counts() primero: los extremos imposibles (antiguedad −3) se ven en la primera pasada si MIRAS.
Hallazgo 1: churn global 22%. Un clasificador que prediga SIEMPRE "no churn" saca 78% de accuracy: esa es la linea base que todo modelo debe batir con holgura. Anotala: es tu primer numero de negocio.
Hallazgo 2: soporte_llamadas es cero en el 40% de filas del plan Basico y altisimo en Premium: no es missing a imputar tontamente, es ESTRUCTURA del plan. La mediana global los fundiria. Entregable: 5 hallazgos con grafico cada uno y decision de limpieza etiquetada.

Etapa 3 · Limpieza con decision

Cuatro movidas, cuatro justificaciones

Missing: media/mediana SOLO en numericos sin estructura; para soporte_llamadas, imputar por MEDIANA DENTRO de plan (agrupar primero) + flag was_missing: la ausencia informa.
Outliers: antiguedad −3 → error de captura: corrige a NULL si no hay forma de recuperarlo. No borres filas sin diagnosticar la causa del 41 vs 4.1.
Codificacion: plan (nominal) → one-hot; ticket_medio y uso_semanal → estandarizar con z-score (recuerda estd) solo despues del split. Regla anti-fuga: el scaler aprende SOLO del train.
Split: 80/20 estratificado por churn (si no, el 20% puede salir desbalanceado y la evaluacion sera ruido). Con tiempo en el dataset (fechas de suscripcion): corte temporal, nunca split aleatorio — el futuro no se mezcla con el pasado.

Etapa 4 · Baseline y modelo

La humilde regresion logistica primero

Por que baseline logistica y no XGBoost de inicio: porque sin el numero del modelo simple no sabras si la complejidad PAGA. Regla: si predecir la mayoria de clase ya da 0.78, el modelo complejo tiene que justificarlo en costo.
Entrena logistica con C=1 por defecto y guarda matriz de confusion en el test:
Resultado: confusion = [[620, 80], [120, 180]] (no-churn/no, no-churn/churn, churn/no, churn/churn). Accuracy 0.80 frente al 0.78 del constante: apenas la bate. Los recall de churn: 180/300 = 0.60: 4 de cada 10 abandonadores se escapan.

Etapa 5 · Metrica de NEGOCIO (el giro de timon)

Traducir la confusion a dolares

Costos de la etapa 1: llamada de retencion 3 USD, margen recuperado por saved customer 25 USD. Cada churn NO detectado cuesta 25; cada falso positivo cuesta 3.
Estado actual: FN = 120 → costo 120·25 = 3000; FP = 80 → 80·3 = 240. Total 3240 USD por ciclo de 30 dias.
El objetivo del proyecto NO es accuracy: es minimizar ese numero. A partir de aqui cada modelo o umbral se evalua en esa moneda, y el dashboard lo reporta asi. Entregable: matriz de confusion con costos al lado.

Etapa 6 · Mejora: modelo y umbral

Donde el trabajo fino paga

Arbol de boosting con class_weight y barrido de umbral de decision sobre la probabilidad: al umbral 0.30, recall 0.80 y precision 0.49 — mas llamadas (136 FP, 408 USD) pero FN cae a 60 (1500 USD): costo total 1908, una rebaja del 41%.
Valida con cross-validation del train (no tuneando sobre el test!) y mira la SHAP global: uso_semanal y soporte_llamadas dominan; la variable de plan es mas importante que el ingreso: accion de negocio directa (retencion proactiva dirigida al plan Basico).
Chequea equidad: tasa de falsos negativos por segmento (plan, region). Si el modelo abandona MAS a un segmento, eso es dano operativo, no metrica bonita (OA de etica y sesgo).

Etapa 7 · Desplegar y no irse

Artefactos: modelo serializado + requirements.txt + version DVC/git del dataset exacto (el OA de Git te dice por que).
Servir: un microservicio Flask con /predict que reciba el perfil y devuelva probabilidad; el negocio consume la LISTA priorizada diaria, no el endpoint crudo.
Monitoreo: drift de entradas (KS o PSI por columna) y caida del recall real (el ground truth llega 30 dias despues): alertas antes del desastre silencioso.
Feedback loop: cada llamada de retencion registrada (salvo/perdido) alimenta la siguiente version con etiqueta real — el proyecto vive en ciclo, no termina en el informe.

El capstone en un vistazo

Autoexamen cronometrado (20 minutos)

Del baseline: confusion [[620,80],[120,180]]. Calcula el RECALL de churn (180 entre 300), en decimal.

Con costos 25 USD por FN y 3 USD por FP, el costo del estado baseline (120 FN, 80 FP) es de cuantos USD.

La clase mayoritaria da accuracy 0.78. Un modelo nuevo saca 0.79 y recall de churn 0.55. ¿Lo despliegas?

El escalado con z-score se ajusta (fit) sobre todo el dataset antes del split para aprovechar mas datos.

El de decision (p. ej. 0.30 en vez de 0.50) se elige minimizando el costo del negocio, no la accuracy.

Etapa con su entregable.

Video de repaso

Para profundizar

MLOps: pipelines de ML de Google Cloud
Guia gratuita; ordena por niveles de madurez todo lo que acabas de recorrer.

MLflow: ciclo de vida del experimento
Registro de experimentos, versiones de modelo y linea de promocion a produccion: el inventario del capstone desplegado.

Recorre tus ultimos 3 proyectos con las siete etapas: ¿en cual faltaron las etapas 1 (pregunta con costo) o 5 (metrica de negocio)? ¿Cual fue el numero que no preguntaste al negocio? Ese es el parrafo que mas impresionara en una defensa: "mi metrica de exito es X porque su costo es Y".