Un experimento muestra que la autoevaluación «SURE» de modelos de código no detecta errores
Un autor probó tres modelos de lenguaje con 20 tareas de Python con tests ocultos. Los 179 ensayos válidos se marcaron como «SURE», pero cuatro soluciones fallaron los tests: un error de índices en una fecha, la eliminación indebida de «..» en rutas relativas y un desfase de unidad en el formato de bytes. El autor concluye que esta etiqueta no sirve para decidir si hace falta verificar el código, aunque advierte de que la muestra es pequeña y no permite comparar modelos.
Fuentes
- Habr Machine Learning (RU)Все 179 ответов были SURE. Четыре из них не прошли тесты