Evaluación de recomendadores
Del error al ranking
Predecir notas con RMSE es útil, pero al usuario le importa el orden: qué aparece arriba. Las métricas de lista premian colocar lo relevante en las primeras posiciones.
Precisión y exhaustividad en top-k
- Precision@k: de lo recomendado, cuántos interesan de verdad.
- Recall@k: de lo que interesaba, cuántos recuperaste.
- Suelen tirarse de la mano: más lista sube exhaustividad y baja precisión.
F1, media armónica
F1 combina precisión y exhaustividad en un solo número equilibrado. Evita presumir de una de las dos aisladas.
Ranking ponderado por posición
La métrica MRR y nDCG valoran dónde caen los aciertos: cuanto más arriba, mejor. No es lo mismo el primer puesto que el décimo.
Cobertura del catálogo
Qué fracción de ítems aparecen en las recomendaciones. Un sistema de baja cobertura solo recicla éxitos y entierra la cola larga.
Diversidad intra-lista
¿Es variada la lista de cada usuario? Recomendar diez películas idénticas acierta poco y aburre mucho. La diversidad mide el contraste entre los elementos sugeridos.
Serendipia y novedad
Sorprender con algo relevante pero inesperado añade valor. Medir novedad y sorpresa captura esa capacidad de descubrir, no solo de confirmar.
El precio del clic
Optimizar solo el clic a corto plazo empuja al sensacionalismo y la burbuja. Conviene medir satisfacción y bienestar, no solo el clic.
Validación offline frente a online
- Lo offline usa historiales, rápido pero sesgado a lo ya mostrado.
- Lo online prueba con usuarios reales mediante experimentación.
- Combinar ambos da una visión honesta del rendimiento.
El coste de la burbuja
Un recomendador que solo refuerza lo visto encierra al usuario. Diversidad y cobertura también son métricas de salud del sistema, no un lujo.
Errores frecuentes
- Medir solo el error de nota y celebrar listas aburridas que reciclan los éxitos más populares.
- Optimizar únicamente el clic a corto plazo y alimentar el sensacionalismo y la burbuja de filtros.
- Ignorar la cobertura y la diversidad, dejando enterrada toda la cola larga del catálogo.
Ejemplo resuelto: evaluar una lista de recomendaciones
Tienes un recomendador y quieres juzgarlo con honestidad, no solo por acierto:
- Mides precisión y exhaustividad en top-k sobre un conjunto de prueba.
- Ponderas la posición de los aciertos con nDCG o MRR.
- Calculas qué fracción del catálogo aparece: la cobertura.
- Evalúas el contraste dentro de cada lista: la diversidad.
- Y confirmas en línea con un experimento real, no solo con el historial offline.
¿Para qué sirve en la realidad?
Un recomendador sano no solo acierta: coloca lo bueno arriba, abarca catálogo y sorprende. Medir ranking, cobertura, diversidad y satisfacción es lo que evita el engagement tóxico y la burbuja.
En la evaluación de un recomendador, la cobertura mide principalmente:
Maximizar solo la exactitud de predicción de notas garantiza listas diversas y con buena cobertura.
Evaluación
Ordena las facetas a vigilar al evaluar un recomendador:
Acierto
Posicion
Cobertura
Diversidad
Medidas de evaluación
Precisión, exhaustividad y métricas de ranking.
Une cada faceta de evaluación con la métrica que la mide.
Acierto no basta
# Evaluación de recomendadores ## Ranking ### precision top-k ### ndcg y mrr ## Acierto ### f1 armonica ### recall ## Salud ### cobertura ### diversidad ## Extra ### serendipia ### online vs offline
nDCG
La métrica que premia colocar los buenos ítems en las primeras posiciones.
Tu recomendador sube el clic pero muestra siempre lo mismo. ¿Qué dos métricas estarían descuidando y cómo lo arreglarías?