Atípicos y consistencia

Qué es un atípico

Un valor que se desvía tanto del resto que parece generado por un proceso distinto. La definición es relativa a la distribución esperada: un ingreso de dos millones es atípico para una encuesta de hogares y corriente en una cartera de fondos.

Tres orígenes

• Error: dedo torpe, unidad equivocada, desbordamiento de un campo, un signo al revés.
• Variabilidad natural: el extremo legítimo de una distribución de cola pesada.
• Nueva física: un fenómeno real aún no visto, que el modelo «no espera».

Detectar con estadísticos

Reglas como tres desviaciones típicas, o el rango intercuartílico multiplicado por un factor, marcan candidatos. Son filtros de atención, no sentencias: señalan dónde mirar y cuánta observación merece un valor, no prueban que sea erróneo.

La trampa de la regla tres sigma

Bajo normalidad, la regla tres desvíos marca unos pocos por mil, pero los datos reales rara vez son normales. En distribuciones de cola pesada o sesgadas, un umbral ingenuo tacha de atípicos valores plenamente esperables. Conocer la forma importa.

Distancia de Mahalanobis

Para detectar anomalías multivariantes, la distancia de Mahalanobis mide cuánto se aleja un punto del centro teniendo en cuenta la covarianza: atrapa combinaciones extrañas de variables que vistas de una en una parecen normales.

Reglas de consistencia

Más allá de lo extremo, los datos pueden contradecirse: una fecha de fin anterior al inicio, una edad de dos años con estado civil casado, un código postal que no corresponde a la provincia. Estas violaciones lógicas son errores seguros, y se detectan con reglas derivadas del dominio.

Dominio manda

Qué es imposible lo decide el conocimiento del negocio, no la estadística. Un peso corporal de cinco kilos en un adulto es un error; en un recién nacido es normal. Codificar validaciones de rango y formato según el dominio es la primera línea de defensa.

Rangos y formatos

Verificar que cada campo cae entre sus límites físicos y lógicos, y que respeta el formato: fechas parseables, identificadores con la máscara correcta, campos obligatorios presentes. Barato de implementar y captura una fracción enorme de errores.

No borrar a lo bruto

Eliminar todo atípico por sistema destruye señal y sesga la distribución hacia el centro. Primero hay que investigar el origen: si es error verificable, corregirlo o vaciarlo; si es real, conservarlo y asegurarse de que el modelo lo soporte.

Winsorizar y transformar

Reemplazar los extremos por percentiles (winsorizar) o aplicar transformaciones (logaritmo) atenúa la palanca de los atípicos sin eliminarlos del todo. Útil para métodos sensibles a colas, pero cambia la escala y hay que reportarlo.

Robustez frente a exclusión

Muchas veces la respuesta correcta no es tocar los datos sino elegir métodos robustos: medianas en lugar de medias, regresión robusta, métricas resistentes. Dejar el atípico y usar un estimador que no le haga caso suele ser más honesto que borrarlo.

Atípicos en modelos predictivos

Un punto muy influyente puede sesgar un modelo sensible (mínimos cuadrados) y ser ignorado por otro (árboles). Medir influencia —distancia de Cook, leverages— dice cuánto cambiaría el ajuste sin él, que es la pregunta relevante, no si se ve raro.

Fuga de la detección

Detectar atípicos o calcular umbrales usando el conjunto completo (incluida validación) filtra información. Las reglas de limpieza y los límites deben estimarse solo con entrenamiento y aplicarse después, igual que la imputación.

Errores frecuentes

• Borrar todo lo que se aleja de la media por principio, achatando colas reales.
• Confundir un error de unidad (metros por kilómetros) con un fenómeno interesante.
• No escribir reglas de consistencia y dejar que las contradicciones lógicas pasen al modelo.

Documentar cada intervención

Cada valor corregido, vaciado o recortado debe quedar anotado con su motivo. La reproducibilidad y la auditoría exigen poder reconstruir qué se tocó y por qué; un conjunto de datos «limpio» sin bitácora es una caja negra.

Detección no supervisada

Cuando no hay etiqueta de error, métodos de detección de anomalías (bosques de aislamiento, vecindad local, reconstrucción por autoencoder) puntúan cuán inusual es cada registro, priorizando la revisión humana en los más raros.

Interpretable ML
Influencia de observaciones y detección de anomalías explicada con claridad.

Documentación pandas
Guía de referencia para limpieza de datos.