Interpretabilidad: SHAP y LIME cuando el modelo no explica solo

Un bosquete que predice 0.91 de fraude sin decir por que es un problema legal, un riesgo operativo y una oportunidad perdida de aprendizaje. Este objeto construye la intuicion matematica de la explicacion local —repartir la predicacion entre caracteristicas—, la aterriza en SHAP con su propiedad de suma exacta, contrasta con LIME y cierra con el arbol de decision sobre que herramienta de explicacion pedir segun el objetivo.

Grafico de fuerzas SHAP: atribuciones por caracteristica sumando la salida del modelo. — Explicar localmente es repartir la diferencia contra el promedio: cada feature cobra o debe.

Los tres niveles de explicacion GLOBAL: que importa en promedio a todo el modelo (importances, dependencia parcial). LOCAL: por que ESTE paciente/este cliente recibio ESTE score (SHAP, LIME). HUMANA: sustitutos interpretables —si la explicacion no convence, a lo mejor el modelo equivocado es el de caja negra.

La idea que lo sostiene: repartir el credito

El modelo predice la casa en 350k. El promedio del vecindario (base) es 250k. La explicacion local debe REPARTIR esos +100k entre las caracteristicas: superficie +40k, zona +15k, antiguedad −5k, y asi. La propiedad de eficiencia de SHAP exige que las atribuciones sumen EXACTAMENTE la diferencia contra la base: nada se pierde, nada se inventa. Es la solucion unica de un juego cooperativo (Shapley, 1953): cada feature cobra su contribucion media sobre todos los ordenes de entrada posibles.

SHAP a mano en tres caracteristicas

Base E[f] = 250. Predicacion x = 350. Atribuciones: superficie +40, zona +15, antiguedad −5. Suma: +50... falta: el modelo tenia otra feature (estado) con +50. Chequeo: 40+15−5+50 = 100 ✓ cierra con la diferencia.
Intercambiar el ORDEN de entrada de las features cambia cuanto credito se lleva cada una en modelos no aditivos; Shapley promedia TODAS las permutaciones: por eso es justo y por eso es caro (2^p subconjuntos).
Atajo practico: TreeExplainer (boques y arboles) la calcula exacta en tiempo polinomico; DeepExplainer aproximacion para redes; KernelExplainer modelo-agnostico pero lentisimo: solo para explicar pocos casos.
Lectura del grafico de fuerza: flecha a la derecha empuja el score ARRIBA. Un valor alto de "renta" con flecha positiva significa que ESE punto tiene mas probabilidad por su renta — no que la renta suba la probabilidad en general (eso es global).

La trampa de las correlaciones Con dos features correlacionadas (ingresos y patrimonio), SHAP puede partir el credito entre las dos a partes casi iguales: cada una parece "mitad de importante" cuando el concepto detras es UNO. Agrupa features semanticamente o interpreta con conciencia de multicolinealidad (recuerda lin y metn: el problema es el mismo).

LIME: la explicacion como foto local

LIME (2016) no reparte credito exacto: simula. Perturba el punto (muestra vecinas con caracteristicas encendidas/apagadas), mira como responde el modelo, y ajusta un MODELO LINEAL ponderado por cercania sobre esa nube local. La explicacion es la recta tangente a la decision, valida SOLO en el vecindario: fiel cerca del punto, arbitraria lejos. SHAP es LIME con las permutaciones y pesos ya elegidos con teoria detras.

Importancia por permutacion: la mas simple y robusta

Idea: si anulo el informativo de una feature (barajando sus valores), cuanto baja la metrica? Baja mucho: era importante. No baja: era ruido.
Ejemplo numerico: accuracy del modelo 0.82. Barajo la columna "ingresos": cae a 0.75 → importancia 0.07. Barajo "color de logo": 0.815 → importancia 0.005.
Cuidados: barajar rompe correlaciones (una feature redundante parece inutil: el modelo la recupera por su gemela); el descenso depende de la metrica elegida; y repite el barajado 10 o 20 veces porque cada pasada es aleatoria.
En codigo: sklearn tiene permutation_importance integrada (y eli5 la popularizo): cuatro lineas y tienes la barra global sin tocar el interior del modelo.

Que explicacion pedir, segun para que

Cumplir norma (denegar credito: el cliente tiene derecho a MOTIVOS): modelos intrinsecamente interpretables (logistica, reglas) o SHAP local documentado — no "el bosquete lo dijo".
Depurar el modelo: SHAP de los errores grandes — que patrón de atribuciones comparten los falsos negativos.
Descubrir feature engineering: dependencia parcial y SHAP global revelan no-linealidades que un coeficiente esconde.
Comunicar a negocio: permutacion importance + 3 casos locales contados como historia; nadie confia en una matriz de 200x200.

Herramientas de interpretabilidad

Autoexamen cronometrado (15 minutos)

La propiedad de EFICIENCIA de SHAP garantiza que:

LIME produce una explicacion valida para TODO el espacio de datos.

Del ejemplo de permutacion: accuracy 0.82, al barajar "ingresos" baja a 0.75. Reporta la importancia como diferencia.

Con dos features muy correlacionadas, SHAP tiende a el credito entre ambas.

Empareja objetivo con herramienta.

Video de repaso

Para profundizar

Introduccion a ML interpretable (libro abierto)
Molnar: gratis, completo, con la matematica de Shapley accesible.

Documentacion oficial de SHAP
Cada explicador con ejemplos ejecutables; el tutorial de TreeExplainer cubre tu caso tipico.

Toma tu ultimo clasificador entrenado: ¿podrias defender SU decision mas injusta ante un humano? Si la respuesta es no, que herramienta de las de este objeto pediras primero en el proximo proyecto, y en que moneda la venderas al negocio (riesgo legal, depuracion, feature nueva)?