Evaluación de Modelos · Machine Learning

Matriz de confusión

Leer los cuatro casilleros de aciertos y errores de un clasificador y derivar de ellos las métricas que importan según el problema.

Matriz de confusión

Un solo número puede mentir; cuatro no Un modelo que acierta el noventa y nueve por ciento puede ser un desastre: basta con que la clase minoritaria sea ese uno por ciento que nunca detecta. La matriz de confusión impide esconder esa verdad tras un único número.

Más allá de la exactitud

La exactitud —proporción de aciertos totales— es la métrica más engañosa en clases desiguales. Un clasificador que siempre dijera «no» sacaría un buen porcentaje y no valdría nada. La matriz descompone ese porcentaje en piezas honestas.

Los cuatro casilleros

Toda predicción binaria cae en una de cuatro cajas: verdadero positivo (dijo sí y era sí), verdadero negativo, falso positivo (dijo sí y era no) y falso negativo (dijo no y era sí). La matriz los enumera cruzando la realidad contra el veredicto.

Una cuadrícula de dos por dos: las dos celdas de la diagonal en teal y las dos fuera de la diagonal en coral, con puntos que insinúan conteos.
El corazón del diagnóstico: en la diagonal, los aciertos; fuera, los errores. Leer cada casillero por separado revela en qué se equivoca el modelo, algo que la exactitud esconde.

Aciertos: positivos y negativos

Los verdaderos positivos son los casos buenos que el modelo cazó; los verdaderos negativos, los descartados con razón. Suelen abundar y son los que inflan la exactitud, dando una falsa sensación de competencia cuando lo que importa son los errores.

Errores: falsos positivos y negativos

El falso positivo —una alarma injustificada— y el falso negativo —una amenaza pasada por alto— son los que duelen, y de formas distintas. Contarlos por separado, y no fundidos, es la aportación central de la matriz.

Error tipo I y tipo II

Estadísticamente, el falso positivo es error de tipo I: rechazar la hipótesis nula en vano. El falso negativo es tipo II: no ver lo que está. Diferenciarlos permite hablar de sensibilidad y especificidad con precisión, y decidir qué error preferimos cometer.

Cómo leer la matriz

Por filas se ve el destino real: de los positivos verdaderos, cuántos cazamos y cuántos se nos escaparon. Por columnas, la fiabilidad de cada veredicto: de lo que dijimos sí, cuánto lo era. La misma matriz responde así a dos preguntas distintas.

Derivar métricas

De los cuatro números salen todos los demás: exactitud, precisión, exhaustividad, valor predictivo negativo, especificidad, f1. La matriz es la fuente; las métricas son proyecciones parciales. Mirar una métrica sin ver la matriz es quedarse con una sombra.

El desequilibrio se revela

En problemas con clases raras —fraude, enfermedad— la esquina del falso negativo es la que manda, y suele estar desproporcionada. La matriz expone el desequilibrio que la exactitud disfrazaba, y obliga a mirar dónde están los fallos de verdad.

Errores frecuentes

Ejemplo resuelto: cribado de una enfermedad rara

Un test médico debe detectar una enfermedad que aparece en pocas personas. La matriz guía:

  1. Definir el positivo: fijar que la clase positiva es «enfermo», para no invertir la matriz.
  2. Contar los cuatro casilleros: cuántos enfermos se cazaron y cuántos sanos se alarmaron en vano.
  3. Mirar el falso negativo: en cribado, un enfermo escapado es el error más caro.
  4. Priorizar exhaustividad: aceptar algunos falsos positivos con tal de no dejar pasar enfermos.
  5. Confirmar: derivar precisión y exhaustividad desde la matriz, no desde la exactitud.

¿Para qué sirve en la realidad?

La matriz de confusión es la radiografía de cualquier clasificador: diagnóstico médico, detección de fraude, moderación de contenido. Muestra dónde duele el error y permite decidir qué equívoco se puede tolerar antes de tocar el modelo.

En un detector de cáncer, ¿qué representa un falso negativo?

La exactitud es siempre la mejor métrica para comparar clasificadores.

La matriz como diagnóstico

Antes de tocar el modelo, la matriz dice qué le pasa: si falla por exceso de alarmas o por casos escapados, si un grupo concreto sufre más errores. Es la radiografía del clasificador y el mejor punto de partida para mejorarlo con criterio.

Matriz

Dijo si y era si
verdadero positivo
Dijo si y era no
falso positivo
Dijo no y era si
falso negativo
Error de tipo II equivale a
falso negativo
Fuente de la que se derivan las metricas
matriz de confusion

Ordena las casillas de una matriz de confusión binaria:

Real
Veredicto
Cruce
Metrica

Une cada casilla de la matriz con su significado.

Cuatro números que no mienten

# Matriz de confusión
## Aciertos
### verdadero positivo
### verdadero negativo
## Errores
### falso positivo
### falso negativo
## Lectura
### por filas
### por columnas
## Deriva
### precisión
### exhaustividad

¿Qué es una matriz de confusión?
Referencia en español de los cuatro casilleros y su interpretación.

Un clasificador de spam tiene exactitud del noventa y ocho pero deja pasar todos los correos importantes. Dibuja mentalmente su matriz: ¿qué casillero está vacío y qué harás?