Curva ROC y AUC
Barrer el umbral
Un clasificador por probabilidades emite una puntuación entre cero y uno. Decidiendo un umbral, la convertimos en veredicto. La curva recorre todos los umbrales posibles, observando cómo cambian a la vez aciertos y falsas alarmas.
Tasa de verdaderos positivos
En el eje vertical, la tasa de verdaderos positivos: la fracción de positivos reales que superan el umbral. Es exactamente la exhaustividad. Subir el umbral la reduce; bajarla la eleva hasta uno.
Tasa de falsos positivos
En el eje horizontal, la tasa de falsos positivos: qué proporción de los negativos se marca erróneamente como positivo. Mide el precio en alarmas injustificadas. Una buena curva sube rápido y a la izquierda: muchos aciertos con pocas falsas alarmas.
Dibujar la curva
Para cada umbral se obtiene un par de tasas, y unirlos traza la ROC. El extremo inferior izquierdo es el umbral más exigente —no marcar nada—; el superior derecho, el más laxo —marcarlo todo—. Entre medias, el compromiso se despliega.
La diagonal del azar
Un clasificador sin información —aleatorio— produce una recta diagonal: gana verdaderos positivos al mismo ritmo que falsos. Cualquier curva que se abulte hacia la esquina superior izquierda es mejor que el azar; quedar por debajo significaría un modelo peor que lanzar una moneda.
El área bajo la curva
La auc resume la ROC en un número entre cero y uno. Vale uno para un clasificador perfecto, medio para el azar. Cuanto mayor, más se eleva la curva: mejor separa, a lo largo de todos los umbrales, positivos de negativos.
La auc como ordenación
Interpretación elegante: la auc es la probabilidad de que un positivo escogido al azar reciba mayor puntuación que un negativo al azar. Mide pues la calidad del orden, no de una decisión: por eso es justa para comparar modelos sin fijar un umbral.
Cuándo ROC engaña
Con clases muy desequilibradas, la auc puede ser optimista: una pequeña tasa de falsos positivos sobre una enorme multitud negativa genera muchísimas alarmas sin mover apenas el eje horizontal. Ahí la curva precisión-exhaustividad es más honesta.
Errores frecuentes
- Comparar modelos por auc cuando el coste del problema vive en un único umbral concreto.
- Celebrar una auc alta en datos muy desequilibrados sin mirar la precisión en la zona útil.
- Confundir el área con la exactitud en el punto de operación que realmente se desplegará.
Ejemplo resuelto: comparar dos modelos de riesgo
Un seguro evalúa dos clasificadores de riesgo y quiere decidir cuál ordena mejor antes de fijar un umbral. El método:
- Puntuar: obtener la probabilidad de cada cliente para ambos modelos.
- Barrer umbrales: calcular en cada uno la tasa de verdaderos y de falsos positivos.
- Trazar: dibujar las dos curvas ROC y medir sus áreas.
- Comparar por auc: el modelo con mayor área ordena mejor positivos frente a negativos.
- Elegir operación: sobre la curva ganadora, fijar el umbral según el coste real.
¿Para qué sirve en la realidad?
La ROC y su auc son la moneda de comparación de modelos probabilísticos en medicina, riesgo financiero y detección, porque resumen la calidad de orden sin atarse a un umbral; aunque con clases muy desequilibradas conviene complementar con la curva precisión-exhaustividad.
¿Qué mide el área bajo la curva ROC de un clasificador por puntuaciones?
Una curva ROC por encima de la diagonal indica un clasificador mejor que el azar.
Elegir el punto de operación
La auc compara modelos, pero al desplegar hay que decidir un umbral. Ese punto se escoge sobre la curva según el coste de cada error: cerca de arriba-izquierda si se quieren pocos fallos de ambos tipos, o donde mande la economía del problema.
ROC
Toca una tarjeta para ver la respuesta.
Ordena la construcción de la curva ROC:
Arrastra cada ficha a su categoría (o tócala y luego toca la categoría). También puedes usar el teclado.
Understanding the AUC-ROC curveExplicación intuitiva de la ROC y su área con ejemplos visuales.
Une cada elemento de la ROC con su papel.
Mil decisiones en una curva
- Curva ROC y AUC
- Ejes
- verdaderos positivos
- verdaderos positivos
- falsos positivos
- Ejes
- diagonal
- calidad de orden
- desequilibrio engaña
AUC y curva ROC en aprendizaje automáticoExplicación en español de cómo la ROC evalúa clasificadores binarios.
Tus dos modelos tienen auc casi idéntica pero desplegados dan resultados muy distintos. ¿Dónde buscar la explicación y qué revisarías en la curva?
Tu texto se guarda sólo en este dispositivo.
Comentarios
Inicia sesión para comentar.
Todavía no hay comentarios. Sé la primera persona en opinar.