Sesgo y equidad en modelos
De dónde viene el sesgo
- Datos históricos que reflejan decisiones sesgadas.
- Subrepresentación de ciertos grupos en el entrenamiento.
- Variables proxy que codifican atributos protegidos.
Sesgo en los datos
Si el pasado discriminó, los datos lo documentan. Un modelo que prediga «quién recibió el puesto» aprenderá a excluir a quien históricamente fue excluido.
Sesgo de medición
La propia etiqueta puede estar sesgada: «detenido» no equivale a «delincuente». Optimizar por una mala variable perpetúa el error con aire de objetividad.
Variables proxy
Aunque se quite el atributo protegido, otros correlacionados lo sustituyen: código postal como sustituto de etnia. La discriminación indirecta es sutil.
Qué es equidad
No hay una definición única. Equidad puede significar igualdad de error entre grupos, de oportunidades o de tratamiento. Algunas son matemáticamente incompatibles.
Métricas de disparidad
- Diferencia de tasas de resultado positivo entre grupos.
- Brecha en falsos positivos y falsos negativos.
- Paridad estadística frente a igualdad de oportunidad.
El trade-off de la equidad
Hacer un modelo justo por un criterio puede empeorarlo por otro, y a veces reducir precisión global. Elegir el criterio es un juicio de valores, no solo técnico.
Mitigación en datos
Rebalancear, aumentar o limpiar los datos reduce desequilibrios antes de entrenar. Ataca la raíz, aunque no borra el sesgo histórico por completo.
Mitigación en el modelo
- Reponderar la pérdida por grupo.
- Restricciones de equidad como parte de la optimización.
- Post-procesar umbrales distintos por grupo.
Auditoría y contextos sensibles
Antes de desplegar sistemas con impacto —crédito, sanidad, justicia— conviene auditar su comportamiento por grupo y documentar el riesgo asumido.
El mito de la neutralidad
«El algoritmo es neutro» es falso: decidió qué predecir, con qué datos y qué umbral. La técnica nunca está libre de valores; hay que hacerlos explícitos.
Errores frecuentes
- Borrar el atributo protegido y creer que con eso desaparece el sesgo.
- Optimizar por una etiqueta viciada que confunde el síntoma con la realidad.
- Dar por neutro un modelo sin medir su comportamiento por grupo.
Ejemplo resuelto: un cribado que penaliza un barrio
Un modelo de crédito usa el código postal como señal de riesgo y aprueba menos a un barrio históricamente desatendido. Al medir la disparidad se ve la brecha; el equipo identifica el proxy, lo retira, rebalancea los datos y vuelve a auditar por grupo antes de desplegar.
- medir las tasas de resultado positivo por grupo
- diagnosticar la fuente: datos, etiqueta o variables proxy
- mitigar rebalanceando datos o reponderando la pérdida
- elegir y documentar el criterio de equidad asumido
- auditar el impacto residual antes de desplegar
¿Para qué sirve en la realidad?
Sistemas de crédito, contratación, sanidad o justicia tienen impacto directo sobre personas; medir y mitigar el sesgo evita reproducir discriminaciones históricas a escala y es exigencia creciente de la normativa.
Una variable proxy genera discriminación indirecta porque:
Existen definiciones de equidad que son matemáticamente incompatibles entre sí.
Equidad
Ordena el trabajo para abordar el sesgo:
Medir
Diagnosticar
Mitigar
Auditar
Equidad en aprendizaje automático
Criterios para medir y mitigar sesgos en modelos.
Une cada concepto de equidad con su definición:
Equidad
# Sesgo y equidad ## Origen ### datos históricos ### subrepresentación ### variables proxy ## Medición ### disparidad de tasas ### falsos positivos ### paridad estadística ## Mitigación ### rebalancear datos ### reponderar pérdida ### ajustar umbrales ## Gobierno ### auditoría ### contextos sensibles ### valores explícitos
Sesgo algorítmico
Sesgos sistemáticos en los resultados de un sistema informático.
Tu modelo de selección de personal reproduce el sesgo histórico. ¿Lo corriges en datos, en modelo o cambiando el objetivo? Razona qué criterio de equidad priorizarías.