HERO: optimización de prompts y refinamiento en tiempo de prueba para generar código
Los autores presentan HERO, un método que mejora los prompts y el andamiaje de los LLM para generar SQL, Cypher y Python. En una primera fase aprende actualizaciones de prompt a partir de casos verificados por ejecución (aciertos y fallos) y valida cada revisión antes de adoptarla. En tiempo de prueba trata el código generado como un andamiaje específico de cada instancia y lo refina con la retroalimentación de la ejecución. Según el resumen, en cuatro benchmarks mejora el pass@1 en 7,6 puntos frente al prompt inicial, y el refinamiento en tiempo de prueba añade 2,0 puntos más y mejora la eficiencia de ejecución.
Fuentes
- arXiv cs.CLHERO: Harnessing Evidence for Test-time Refinement and Prompt Optimization in Program Generation