Evaluación de contenido generado
Por qué es difícil
No hay una única respuesta correcta: muchas salidas son válidas. La precisión no se define como en clasificación, y el objetivo —«realista y variado»— es inherentemente multidimensional.
Inception Score (IS)
Mide si las imágenes generadas son a la vez reconocibles (el clasificador confía) y diversas (cubren muchas clases). Fácil de calcular, pero débil y sesgado hacia ImageNet.
FID (Fréchet Inception Distance)
Compara las distribuciones de características de imágenes reales y generadas en un espacio de un clasificador. Menor FID significa realismo y cobertura mejores; es el estándar visual.
Precisión y cobertura
- La precisión mide cuánto se parecen las muestras a datos reales.
- La cobertura mide cuánta variedad real abarcan.
- Juntas evitan el truco de alta calidad con modo colapsado.
En texto: BLEU y ROUGE
Miden solapamiento de n-gramas con referencias. Baratos y rápidos, pero castigan sin piedad los sinónimos y no entienden de significado.
Perplejidad y modelos de referencia
La perplejidad valora cuán predecible es el texto bajo otro modelo. Útil como señal, pero no captura coherencia global ni utilidad real.
Métodos modernos con modelos
Se emplean grandes modelos como jueces automáticos, puntuando coherencia o seguridad. Escalables, aunque heredan los sesgos del juez.
Estudios con humanos
- La referencia de oro: valorar plausibilidad, agradabilidad y utilidad.
- Comparaciones lado a lado reducen la subjetividad absoluta.
- Caros y lentos, pero insustituibles para lo cualitativo.
Evaluar según la tarea
Un subtítulo pide fidelidad al contenido; la publicidad, impacto; el código, que compile. La métrica ha de reflejar lo que importa en cada caso.
Sesgos de las métricas
Optimizar una métrica numérica puede inflar el número sin mejorar la percepción real: la ley de Goodhart acecha en toda evaluación automática.
Errores frecuentes
- Optimizar el número hasta inflar el FID o el BLEU sin que nadie prefiera el resultado: ley de Goodhart en acción.
- Usar una sola métrica para una tarea multidimensional: realismo sin diversidad o diversidad sin coherencia aprueban en un examen y suspenden en el otro.
- Saltarse la valoración humana en productos que se lanzan a personas: las métricas automáticas no capturan utilidad ni malicia.
Ejemplo resuelto: auditar un generador de descripciones de producto
Un equipo de e-commerce despliega descripciones automáticas y necesita saber si mejoran de verdad antes de generalizarlas.
- Generas un lote amplio de descripciones para cien productos reales como muestra de auditoría.
- Mides solapamiento con referencias humanas mediante BLEU y ROUGE como señal rápida.
- Añades un juez automático que puntúa coherencia y presencia de atributos técnicos.
- Contrastas con un estudio humano lado a lado: qué descripción preferirían los compradores.
- Si las métricas y los humanos discrepan, crees a los humanos y corriges el protocolo antes de desplegar.
¿Para qué sirve en la realidad?
Las plataformas que publican contenido generado lo filtran con evaluaciones automáticas más muestreo humano; los laboratorios publican benchmarks precisamente porque sin medición compartida no hay forma de comparar generadores.
El FID (Fréchet Inception Distance) valora las imágenes generadas comparando:
Las métricas de solapamiento de n-gramas como BLEU castigan los sinónimos porque dependen de coincidencias exactas con la referencia.
Evaluación
Ordena una estrategia de evaluación de un generador de imágenes:
Muestras
Métricas
Humanos
Decidir
Une cada métrica de generación con lo que mide.
Medir lo cualitativo
# Evaluar contenido generado ## Imagen ### fid ### inception ### precision-cobertura ## Texto ### bleu y rouge ### perplejidad ## Modernas ### juez modelo grande ### benchmarks ## Humanas ### lado a lado ### utilidad y seguridad
BLEU
La métrica de solapamiento de n-gramas nacida para evaluar traducción automática.
Tu generador de texto mejora su BLEU, pero los usuarios lo notan peor. ¿Qué ley explica esa brecha y qué añadirías al protocolo de evaluación?