Calidad de datos y métricas
Dimensiones de la calidad
- Completitud: ¿faltan valores?
- Exactitud: ¿reflejan la realidad?
- Consistencia: ¿no se contradicen entre sistemas?
- Puntualidad y unicidad.
Completitud
El porcentaje de registros con todos los campos necesarios. Los valores ausentes sesgan análisis y modelos, y su patrón a veces esconde información.
Exactitud y validez
¿Cada valor es correcto según reglas o la fuente de verdad? Un campo de edad con 150 años es inválido; detectarlo requiere reglas de dominio.
Consistencia
El mismo dato no debe contradecirse en distintos sitios. Si CRM dice un cliente activo y facturación dice cerrado, algo falla.
Puntualidad y actualidad
- El dato llega cuando se le necesita para la decisión.
- La antigüedad importa: un precio de hace un mes caduca.
- Frescura es una dimensión de calidad.
Duplicados e integridad referencial
Registros repetidos inflan métricas; referencias a entidades inexistentes rompen joins. Dedicarse a ellos es higiene básica.
Reglas de calidad medibles
Convertir expectativas en reglas comprobables: rango válido, formato de correo, clave foránea. Sin regla explícita no hay forma de medir.
Indicadores de calidad (DQI)
Métricas agregadas por conjunto o proceso, con umbrales y alarmas, que vigilan la salud del dato en producción, no solo al cargar.
Perfilado de datos
Explorar distribuciones, nulos y valores raros antes de nada. El perfilado revela sorpresas que desmontan supuestos ingenuos.
Calidad en la canalización
- Validar en la ingesta, no solo al final.
- Cortocircuitar lotes que incumplen reglas críticas.
- Observabilidad de la calidad como la del código.
Coste de la mala calidad
Decisiones erróneas, modelos deficientes, retrabajos y quebraderos de cabeza regulatorios. La mala calidad es una deuda que paga intereses.
Cultura de datos limpios
La calidad se logra con dueños responsables y reglas compartidas, no con parches puntuales. Es un compromiso continuo con el dato como producto.
Errores frecuentes
- Suponer que el dato está bien porque «siempre se ha usado así».
- Medir la calidad solo al cargar y olvidarse de ella en producción.
- Quejarse de que los datos están fatal sin convertirlo en reglas medibles.
Ejemplo resuelto: un cuadro de mando con cifras absurdas
Un informe de ventas muestra pedidos con fecha futura y clientes duplicados. El equipo perfila los datos, detecta valores nulos y duplicados, define reglas de validez por campo y añade una alerta que bloquea el lote cuando la completitud cae por debajo del umbral.
- perfilar distribuciones, nulos y valores raros de la fuente
- definir reglas de validez explícitas por campo
- validar los datos contra esas reglas en la ingesta
- medir indicadores de calidad con umbrales y alarmas
- corregir en el origen y vigilar en producción
¿Para qué sirve en la realidad?
Casi todo fallo visible de un modelo o de un cuadro de mando tiene detrás un problema de datos: medir la calidad con métricas concretas permite decidir con confianza, evitar retrabajos costosos y cumplir las exigencias regulatorias sobre la trazabilidad del dato.
La dimensión de calidad que comprueba que el mismo dato no se contradiga entre sistemas es:
Detectar valores ausentes no aporta información, porque un dato que falta es simplemente ruido.
Calidad
Ordena el trabajo para asegurar calidad en la ingesta:
Perfilado
Reglas
Validacion
Alerta
Calidad de datos
Grado en que los datos reflejan correctamente el mundo real.
Une cada dimensión de calidad con lo que comprueba:
Calidad
# Calidad de datos ## Dimensiones ### completitud ### exactitud ### consistencia ### puntualidad ## Detección ### perfilado ### duplicados ### valores raros ## Reglas ### rango válido ### formato ### integridad referencial ## Vigilancia ### indicadores ### umbrales ### alarmas en producción
Validación de datos
Comprobar que los datos cumplen reglas y condiciones definidas antes de usarlos.
Tu cuadro de mando da cifras absurdas. Señala dos dimensiones de calidad que sospecharías y cómo las convertirías en reglas medibles.