Sesgo y equidad en modelos
De dónde viene el sesgo
- Datos históricos que reflejan decisiones sesgadas.
- Subrepresentación de ciertos grupos en el entrenamiento.
- Variables proxy que codifican atributos protegidos.
Sesgo en los datos
Si el pasado discriminó, los datos lo documentan. Un modelo que prediga «quién recibió el puesto» aprenderá a excluir a quien históricamente fue excluido.
Sesgo de medición
La propia etiqueta puede estar sesgada: «detenido» no equivale a «delincuente». Optimizar por una mala variable perpetúa el error con aire de objetividad.
Variables proxy
Aunque se quite el atributo protegido, otros correlacionados lo sustituyen: código postal como sustituto de etnia. La discriminación indirecta es sutil.
Qué es equidad
No hay una definición única. Equidad puede significar igualdad de error entre grupos, de oportunidades o de tratamiento. Algunas son matemáticamente incompatibles.
Métricas de disparidad
- Diferencia de tasas de resultado positivo entre grupos.
- Brecha en falsos positivos y falsos negativos.
- Paridad estadística frente a igualdad de oportunidad.
El trade-off de la equidad
Hacer un modelo justo por un criterio puede empeorarlo por otro, y a veces reducir precisión global. Elegir el criterio es un juicio de valores, no solo técnico.
Mitigación en datos
Rebalancear, aumentar o limpiar los datos reduce desequilibrios antes de entrenar. Ataca la raíz, aunque no borra el sesgo histórico por completo.
Mitigación en el modelo
- Reponderar la pérdida por grupo.
- Restricciones de equidad como parte de la optimización.
- Post-procesar umbrales distintos por grupo.
Auditoría y contextos sensibles
Antes de desplegar sistemas con impacto —crédito, sanidad, justicia— conviene auditar su comportamiento por grupo y documentar el riesgo asumido.
El mito de la neutralidad
«El algoritmo es neutro» es falso: decidió qué predecir, con qué datos y qué umbral. La técnica nunca está libre de valores; hay que hacerlos explícitos.
Errores frecuentes
- Borrar el atributo protegido y creer que con eso desaparece el sesgo.
- Optimizar por una etiqueta viciada que confunde el síntoma con la realidad.
- Dar por neutro un modelo sin medir su comportamiento por grupo.
Ejemplo resuelto: un cribado que penaliza un barrio
Un modelo de crédito usa el código postal como señal de riesgo y aprueba menos a un barrio históricamente desatendido. Al medir la disparidad se ve la brecha; el equipo identifica el proxy, lo retira, rebalancea los datos y vuelve a auditar por grupo antes de desplegar.
- medir las tasas de resultado positivo por grupo
- diagnosticar la fuente: datos, etiqueta o variables proxy
- mitigar rebalanceando datos o reponderando la pérdida
- elegir y documentar el criterio de equidad asumido
- auditar el impacto residual antes de desplegar
¿Para qué sirve en la realidad?
Sistemas de crédito, contratación, sanidad o justicia tienen impacto directo sobre personas; medir y mitigar el sesgo evita reproducir discriminaciones históricas a escala y es exigencia creciente de la normativa.
Una variable proxy genera discriminación indirecta porque:
Existen definiciones de equidad que son matemáticamente incompatibles entre sí.
Equidad
Toca una tarjeta para ver la respuesta.
Ordena el trabajo para abordar el sesgo:
Arrastra cada ficha a su categoría (o tócala y luego toca la categoría). También puedes usar el teclado.
Equidad en aprendizaje automáticoCriterios para medir y mitigar sesgos en modelos.
Une cada concepto de equidad con su definición:
Equidad
- Sesgo y equidad
- Origen
- datos históricos
- datos históricos
- subrepresentación
- Origen
- variables proxy
- disparidad de tasas
- rebalancear datos
- auditoría
Sesgo algorítmicoSesgos sistemáticos en los resultados de un sistema informático.
Tu modelo de selección de personal reproduce el sesgo histórico. ¿Lo corriges en datos, en modelo o cambiando el objetivo? Razona qué criterio de equidad priorizarías.
Tu texto se guarda sólo en este dispositivo.
Comentarios
Inicia sesión para comentar.
Todavía no hay comentarios. Sé la primera persona en opinar.