Transparencia e interpretabilidad
Transparencia frente a interpretabilidad
- Transparencia: el proceso y el modelo son visibles y comprensibles.
- Interpretabilidad: se puede entender la relación entre entradas y salida.
- Un sistema puede ser transparente en su código y opaco en su conducta.
Modelos intrínsecamente interpretables
Árboles pequeños, regresiones lineales o reglas son explicables por diseño: su lógica se lee. Cuestan precisión en tareas complejas, pero dan claridad.
El precio de la caja negra
Los grandes modelos ganan exactitud a costa de opacidad. Cuanto más potente, más difícil de justificar cada decisión concreta.
Explicaciones locales
Aunque el modelo global sea opaco, se puede explicar una predicción: qué características empujaron este caso hacia este resultado. Es la pregunta que hace un afectado.
Explicaciones globales
Describen el comportamiento general del modelo: qué variables importan de media y cómo. Sirve para auditar y entender, no para un caso único.
SHAP
- Atribuye a cada variable su contribución a la predicción.
- Basado en ideas de teoría de juegos (valores de Shapley).
- Da explicaciones locales sumables y consistentes.
LIME
Aproxima el modelo complejo por uno interpretable cerca de un punto concreto. Explica localmente, sin presumir de entender todo el modelo.
Importancia de variables
Medir cuánto aporta cada característica al rendimiento global ayuda a priorizar explicaciones y a detectar dependencias indeseadas.
Límites de las explicaciones
- Una explicación aproximada puede no reflejar la lógica real.
- Correlación explicada no implica causalidad.
- Explicar bien exige validar la propia explicación.
Para quién es la explicación
Un regulador, un ingeniero y un usuario necesitan explicaciones distintas. Diseñar la explicación para su audiencia es parte de la utilidad.
Derecho a una explicación
En varios marcos legales, una decisión automatizada que afecta a una persona debe poder explicarse. La interpretabilidad deja de ser técnica y se vuelve obligación.
Errores frecuentes
- Confundir una explicación aproximada con la lógica real del modelo.
- Presentar una correlación explicada como si fuera causa.
- Dar la misma explicación a un regulador, a un ingeniero y al afectado.
Ejemplo resuelto: explicar un préstamo denegado
A una persona le rechazan un préstamo con un modelo profundo. Aplicando un método de atribución local se obtiene que la razón principal fue su ratio de deuda, no su código postal. La explicación se valida, se traduce a un lenguaje claro y se comunica al afectado junto con la vía de revisión.
- elegir un método acorde al modelo y a la pregunta
- generar la explicación local del caso concreto
- validar que la explicación es fiel y no engañosa
- adaptar el mensaje a la audiencia afectada
- documentar la explicación para auditoría
¿Para qué sirve en la realidad?
En crédito, sanidad o justicia, alguien debe responder por una decisión automatizada; la explicabilidad permite auditar, depurar y cumplir el derecho a saber por qué se tomó una decisión que afecta a una persona.
La diferencia clave entre una explicación local y una global es que la local:
Un método de explicación post-hoc sobre un modelo complejo siempre reproduce con exactitud la lógica interna del modelo.
Explicabilidad
Ordena cómo abordar la explicación de una decisión:
Modelo
Local
Validar
Comunicar
IA explicable
Métodos para hacer comprensibles las decisiones de los modelos.
Une cada término de explicabilidad con su definición:
Explicabilidad
# Transparencia e interpretabilidad ## Qué ### transparencia ### interpretabilidad ### explicabilidad ## Métodos ### intrínseco ### SHAP ### LIME ### importancia de variables ## Alcance ### local ### global ## Límites ### aproximación ### correlación no causa ### audiencia
Caja negra
Sistema cuyo funcionamiento interno se observa solo por sus entradas y salidas.
Deniegan un préstamo con un modelo profundo. La persona pide saber por qué. ¿Qué método usarías y cómo evitarías dar una explicación que engañe?