Chatbot Arena: el modelo Bradley-Terry falla con modelos muy parecidos
El estudio analiza 1,8 millones de votos de Chatbot Arena y muestra que el modelo Bradley-Terry, que asigna una única puntuación por modelo, subestima lo decisivos que son los votos entre modelos casi idénticos: 1,37 veces más entre versiones de un mismo modelo, 1,26 entre tamaños de una misma generación y 1,12 entre modelos del mismo laboratorio. Una corrección de 4 a 6 parámetros predice mejor los votos no vistos, sobre todo al modelar los empates, pero no demuestra mejores probabilidades en enfrentamientos directos. La clasificación general apenas cambia.
Fuentes
- arXiv cs.CLSimilar Models, Broken Odds: Where Luce's Axiom Fails in Chatbot Arena