Detección de anomalías
Qué cuenta como anomalía
Un punto anómalo es aquel que se desvía tanto de la masa de datos que parece generado por otro proceso. Hay puntuales —un valor disparatado—, contextuales —normales en otra situación, sospechosos aquí— y colectivas —una secuencia rara de eventos por lo demás corrientes.
El reto del dato escaso
A diferencia de la clasificación, aquí casi no hay ejemplos positivos de anomalía, y los que hay son variadísimos. No se puede entrenar a reconocerlas a todas. La estrategia honesta es modelar la normalidad y señalar la baja densidad o lo difícil de aislar.
Bosque de aislamiento
Isolation Forest parte de una intuición brillante: una anomalía es fácil de separar del resto. Construye muchos árboles que parten el espacio aleatoriamente y mide cuántos cortes hacen falta para aislar cada punto. Los raros quedan aislados en pocos niveles: su camino es corto.
Por qué el aislamiento funciona
Los puntos normales viven en el corazón denso y exigen muchas particiones para quedar solos; los atípicos, al borde, se separan en pocos pasos. Esa asimetría, sin suponer ninguna distribución, hace del bosque de aislamiento un método rápido y notablemente robusto en alta dimensión.
Densidad local: LOF
El factor de outliers de localización compara la densidad de un punto con la de sus vecinos. Si un punto es mucho menos denso que sus alrededores, puntúa como anomalía. A diferencia del aislamiento, capta rarezas relativas al contexto: normal en una zona, anómalo en otra.
Una clase SVM
Otra familia dibuja una frontera que envuelva la mayoría de los datos, tolerando un porcentaje esperado de outliers. Todo lo que cae fuera de esa envoltura se marca. Útil cuando la normalidad forma una región compacta identifiable, aunque exige cuidar el kernel y sus parámetros.
Puntuación y umbral
Estos métodos no entregan un sí o no, sino una puntuación de anomalía. La decisión llega al fijar un umbral, y ese umbral es una elección de negocio: cuánto ruido admitimos y cuántas rarezas reales podemos permitirnos perder. No hay umbral inocente.
Evaluar sin etiquetas
Sin verdad conocida, validar es delicado. Se recurre a anomalías sintéticas inyectadas, a conjuntos de referencia etiquetados o a la revisión experta de las alertas. Reportar solo la tasa de alertas sin medir su calidad es la trampa favorita del optimismo.
Errores frecuentes
- Tratar la puntuación de anomalía como certeza absoluta en lugar de una ordenación de sospecha.
- Validar con datos donde la anomalía dominante se confunde con rareza inocente del fin de semana.
- Ignorar el coste de falsas alarmas y anegar al analista en alertas.
Ejemplo resuelto: cazar transacciones fraudulentas
Un banco quiere vigilar en línea sus millones de movimientos sin tener una lista completa de fraudes. El montaje:
- Entrenar con lo normal: ajustar el bosque sobre transacciones corrientes, casi sin ejemplos de fraude.
- Puntuar: asignar a cada movimiento una puntuación de anomalía según lo breve de su camino de aislamiento.
- Fijar umbral: decidir cuánta alerta admite el equipo de riesgo sin saturarse.
- Revisar: contrastar las banderas altas con confirmaciones reales para calibrar.
- Vigilar: revisar el equilibrio entre fraudes cazados y falsas alarmas conforme cambia el patrón.
¿Para qué sirve en la realidad?
La detección de anomalías protege tarjetas, anticipa fallos en maquinaria, filtra intrusiones de red y destapa defectos de fabricación: donde las rarezas son pocas y muy variadas, aprender la normalidad y señalar la desviación es la única vía practicable.
¿En qué intuición se basa el bosque de aislamiento para detectar anomalías?
La detección de anomalías necesita típicamente un gran conjunto de ejemplos etiquetados de anomalía.
Anomalías contextuales
Cada tres grados de madrugada es normal; en pleno verano, una ola de calor. El mismo valor es o no anómalo según el contexto, y cazarlo exige comparar no contra la distribución global sino contra la del escenario apropiado. LOF y modelos estacionales abordan esto mejor que un umbral global.
Anomalías
Ordena el mecanismo del bosque de aislamiento:
Partir
Aislar
Promediar
Puntuar
Une cada método o concepto con su idea.
Cazar lo raro sin ejemplos
# Detección de anomalías ## Enfoque ### aprender lo normal ### cazar desviación ## Isolation ### cortes aleatorios ### camino corto ## Densidad ### lof ### rarezas contextuales ## Decisión ### puntuación ### umbral de negocio
Guía del bosque de aislamiento
Explicación en español del algoritmo y su uso para detectar valores atípicos.
Tu detector marca el diez por ciento de las transacciones como fraudulentas, pero los analistas casi nunca confirman ninguna. ¿Qué parámetro y qué supuesto revisarías primero?