Flujo de trabajo CRISP-DM
CRISP-DM (Cross-Industry Standard Process for Data Mining) organiza el trabajo de datos en seis fases encadenadas pero sobre todo iterativas. No es una receta rígida: es una disciplina que reconoce que cada vuelta afina la pregunta, los datos y el modelo.
Las seis fases de CRISP-DM
- — 1
- — 2
- — 3
- — 4
- — 5
- — 6
Fase 1 · Comprensión del negocio
Antes de los datos, los objetivos. Se habla con quien decide, se formula la pregunta, se fijan los criterios de éxito y se identifica qué significa un buen resultado. Aquí se define cuándo el proyecto habrá merecido la pena.
Fase 2 · Comprensión de los datos
- Reunir las fuentes disponibles y registrar su procedencia.
- Explorar distribuciones, vacíos y anomalías.
- Verificar que el dato existe y guarda relación con la pregunta.
Fase 3 · Preparación de datos
La fase más larga. Seleccionar filas y columnas relevantes, tratar ausentes, corregir errores, derivar variables y partir el conjunto para validación. Un error aquí se propaga a todo lo demás.
Fase 4 · Modelado
Elegir familia de modelos, entrenar y afinar. La técnica depende del tipo de pregunta: descriptiva, predictiva o de segmentación. Buenas prácticas exigen comparar contra una línea base sencilla.
Fase 5 · Evaluación
Se comprueba que el modelo responde a la pregunta de negocio y no solo a la métrica de validación. Se revisan los supuestos, los casos límite y si el beneficio esperado justifica el coste.
Fase 6 · Despliegue
- Integrar el resultado donde se tomará la decisión.
- Monitorizar la degradación y la deriva de datos.
- Documentar y dejar un plan de mantenimiento y reentrenamiento.
La iteración como corazón del método
Las flechas del diagrama vuelven hacia atrás: a menudo preparar los datos revela que la pregunta era otra, y evaluar obliga a reconsiderar el modelo. Esa retroalimentación es la fortaleza, no un defecto del proceso.
Quién hace qué en cada fase
Negocio y datos conversan en las dos primeras; el científico de datos domina el centro; ingeniería y operaciones cierran el despliegue. CRISP-DM hace visible que un proyecto no es cosa de una sola persona.
Alternativas y complementos
- KDD y SEMMA enfatizan más el descubrimiento y la minería.
- Kanban y métodos ágiles aportan cadencia a las iteraciones.
- La elección del marco importa menos que no saltarse entender problema y datos.
Errores frecuentes
- Saltar a modelar sin entender el negocio ni los datos.
- Tratar el proceso como una línea recta en vez de un bucle.
- Evaluar solo con la métrica técnica y olvidar el objetivo real.
Ejemplo resuelto: aplicar CRISP-DM a la rotación de personal
Un equipo quiere reducir las bajas. Recorrer las fases evita el salto al vacío:
- Negocio: definir qué cuenta como baja indeseada y el ahorro esperado.
- Datos: reunir historial y encuestas y comprobar que hay señal.
- Preparación: limpiar y crear variables sin filtrar el futuro.
- Modelado: probar un modelo simple frente a la línea base.
- Evaluación y despliegue: juzgar el impacto real y monitorizar.
¿Para qué sirve en la realidad?
CRISP-DM da un lenguaje común al equipo y obliga a validar supuestos antes de invertir: saber en qué fase estás evita los errores más caros del proyecto.
En CRISP-DM, la fase en la que normalmente se invierte más tiempo real es:
CRISP-DM es un proceso estrictamente lineal que avanza una sola vez por cada fase.
Relaciona cada fase de CRISP-DM con la tarea que le corresponde.
CRISP-DM
Estándar de proceso para proyectos de minería de datos.
Seis fases en bucle
# CRISP-DM ## Negocio ### pregunta medible ### criterios de éxito ## Datos ### recolectar y explorar ### verificar señal ## Preparación ### limpiar y transformar ### sin fugas ## Modelo, evaluación y despliegue ### entrenar y validar ### desplegar y monitorizar
KDD
Descubrimiento de conocimiento en bases de datos, proceso emparentado con CRISP-DM.
Un compañero quiere «empezar metiendo los datos en una red neuronal». Con las palabras de CRISP-DM explícale qué dos fases se está saltando y qué riesgo tiene cada salto.