Auditoría y evaluación de impacto de sistemas de IA
Hablar de IA responsable es fácil; demostrar que un sistema concreto lo es, no. La auditoría de IA reúne evidencia sobre datos, modelo y despliegue; la evaluación de impacto estima daños posibles sobre personas y grupos antes de que ocurran.
Qué se audita
- Datos: representatividad, licencias, proveniencia y sesgos del corpus.
- Modelo: equidad entre grupos, robustez, calibración y fallos conocidos.
- Despliegue: monitoreo, límites de uso y control humano.
- Proceso: documentación, trazabilidad y responsabilidad.
Artefactos de trazabilidad
Documentar hace auditable. Los model cards reportan para qué se entrenó un modelo, con qué datos, su rendimiento por subgrupo y sus limitaciones. Las datasheets hacen lo mismo con un conjunto de datos, y los system cards describen un sistema completo, incluidos sus riesgos.
Evaluación de impacto
Antes de desplegar, se evalúa a quién afecta y cómo: poblaciones vulnerables, decisiones reversibles, magnitud del daño probable. La profundidad del análisis debe ser proporcional al riesgo del uso.
Red teaming y pruebas de robustez
- Adversariales: entradas diseñadas para romper el comportamiento.
- Equidad: medir disparidad de resultados entre grupos.
- Fuga: intentar extraer datos o instrucciones sensibles.
Monitoreo post-despliegue
Un modelo auditado una vez no queda auditable para siempre: los datos derivan y el contexto cambia. La vigilancia continua y un canal para reportar incidentes cierran el ciclo que el pre-despliegue abre.
| Artefacto | Qué registra |
|---|---|
| Datasheet | origen, composición y usos previstos de un dataset |
| Model card | rendimiento, límites y sesgos de un modelo |
| System card | comportamiento y riesgos de un sistema completo |
| Impact assessment | afectados y daños probables del despliegue |
Errores frecuentes
- Audituar una métrica global y no mirar el desglose por subgrupos.
- Tratar la auditoría como un trámite de una sola vez, no un ciclo.
- Publicar un informe sin acciones: la evidencia exige cambios.
Ejemplo resuelto: auditar un modelo de selección de CV
- Documentar el dataset con una datasheet: cómo se etiquetó y qué representa.
- Medir rendimiento y disparidad por género y edad con un model card.
- Evaluar impacto sobre solicitantes y definir límites de uso.
- Hacer red teaming de sesgo y fugas antes de publicar.
- Instalar monitoreo y un canal de reclamaciones tras el despliegue.
¿Para qué sirve en la realidad?
Con marcos legales de IA exigiendo documentación y gestión de riesgos, auditar deja de ser opcional. Un sistema capaz de mostrar su evidencia es defendible ante reguladores, clientes y ante su propio equipo.
¿Qué distingue a un model card de una simple nota de versión?
Auditar un sistema de IA es un evento único y no requiere vigilancia tras el despliegue.
El documento que registra el origen, composición y usos previstos de un conjunto de datos es una .
Clasifica cada artefacto según a qué objeto de auditoría documenta.
Datos
Modelo
Une cada término con su definición.
Auditoría de IA
Auditoría y evaluación de impacto de IA
# Auditar IA ## Objetos ### datos, modelo ### despliegue, proceso ## Artefactos ### datasheet ### model card ### system card ## Ciclo ### evaluacion de impacto ### red teaming ### monitoreo posterior
Model Cards for Model Reporting (Mitchell et al.)
Paper fundacional del artefacto model card para reportar modelos.
Datasheets for Datasets (Gebru et al.)
Trabajo que introduce la documentación sistemática de conjuntos de datos.
Un hospital quiere auditar un modelo de triaje antes de usarlo. ¿Qué artefactos de trazabilidad exigirías y cómo adaptarías el nivel de documentación al riesgo de dañar a pacientes?