Modelado del KDD

Del dato al conocimiento

KDD es el viaje completo: partir de datos en bruto, enormes y sucios, y terminar en conocimiento accionable y comprensible. La minería de patrones es solo una fase; el proceso la envuelve de contexto, limpieza y validación que evitan conclusiones falsas.

Comprensión del problema

Todo empieza por entender el objetivo de negocio y el dominio: qué se quiere saber, contra qué línea base, con qué coste del error. Sin esta brújula, se mina con entusiasmo en la dirección equivocada.

Selección de datos

Identificar y extraer los datos relevantes entre el arsenal disponible. Elegir mal el conjunto —viejo, parcial, no representativo— condena todo lo demás, pues ningún algoritmo salva una materia prima inadecuada.

Preprocesado y limpieza

Eliminar ruido, duplicados e inconsistencias, y decidir cómo tratar valores faltantes. Es la fase que más tiempo devora y la que más determina la calidad final: basura dentro, basura fuera, con apariencia científica.

Transformación y reducción

Normalizar, agregar, seleccionar características y proyectar a dimensiones manejables. Aquí el ingeniero de características y el analista exploratorio preparan el terreno para que el minado sea factible y significativo.

Minado de patrones

La fase estrella: elegir y aplicar algoritmos —asociación, clustering, clasificación— para extraer patrones. Pero la magia depende de todo lo previo y de una validación honesta; sin ellas, solo produce espejismos cuantificados.

Interpretación y evaluación

Filtrar los patrones por interés y validez, descartar espurios y redundantes, y traducirlos a un lenguaje que el negocio entienda. Aquí la paradoja de Simpson y el confusor acechan: sin escepticismo, se publica el error.

Iteración constante

El KDD no es una línea recta sino un bucle: cada hallazgo reformula la pregunta, revela datos que faltaban o limpia supuestos erróneos, y devuelve a fases anteriores. La madurez es abrazar esa recursividad en vez de fingir un avance ordenado.

De KDD a CRISP-DM

La metodología CRISP-DM popularizó estas fases con una vista de negocio y un despliegue explícitos: comprensión del negocio y los datos, modelado, evaluación y despliegue. Es el esqueleto de facto de todo proyecto analítico serio.

Errores frecuentes

• Saltar a minar sin limpiar ni entender los datos, confiando en el algoritmo.
• Dar el proceso por lineal cuando exige iterar hacia atrás al aparecer evidencia.
• Entregar patrones sin interpretarlos ni validar su interés para el negocio.

Ejemplo resuelto: un proyecto de retención con KDD

Una telefónica quiere predecir qué clientes cancelarán y sigue el proceso completo. Las fases:

1. Comprender el problema: qué decisión apoya, con qué línea base y qué coste tiene el error.
2. Seleccionar y limpiar los datos, dedicando aquí el mayor esfuerzo porque manda sobre la calidad.
3. Transformar y reducir: codificar, imputar y seleccionar características dentro del pipeline.
4. Minar patrones con un modelo validado de forma honesta, sin fuga.
5. Interpretar y comunicar el hallazgo al negocio, con su incertidumbre y condiciones.

¿Para qué sirve en la realidad?

El KDD y su pariente CRISP-DM son el esqueleto de todo proyecto analítico serio: evitan el error de saltar al algoritmo, obligan a limpiar y validar, y aseguran que el resultado termine en una decisión comprensible y no en un número brillante e inútil.

Comunicar el hallazgo

El conocimiento que no se comunica no existe. La última milla del KDD es traducir patrones a decisiones, con su incertidumbre y sus condiciones, en el lenguaje de quien debe actuar. Un hallazgo correcto pero ininteligible equivale a no haberlo encontrado.

# Proceso KDD
## Negocio
### entender el problema
### línea base
## Datos
### seleccionar
### limpiar
### transformar
## Minado
### elegir algoritmo
### validar honesto
## Saber
### interpretar
### comunicar
### desplegar

Conceptos básicos de CRISP-DM
Resumen oficial de las fases de la metodología de minería de datos.