Nuevo marco de meta-evaluación de métricas para generación de texto personalizada por estilo en varios idiomas
Investigadores proponen meta-evaluar métricas y LLM-jueces mediante regresión sobre salidas calibradas para predecir valoraciones humanas, en lugar de depender solo de correlaciones. Presentan un benchmark multilingüe (10 idiomas, cuatro dimensiones de evaluación) y evalúan 32 métricas y sus ensembles en 40 escenarios. Según el artículo, métricas simples basadas en cadenas y embeddings igualan a LLM-jueces potentes una vez calibradas con valoraciones humanas.
Fuentes
- arXiv cs.CLFantastic Metrics and How to Find Them: Meta-Evaluating Metrics for Multi-lingual Style-Personalized Generation