Google propone un marco de evaluación por fases para agentes de IA
Google Developers Blog presenta una guía para evaluar agentes de IA más allá de las pruebas informales: se basa en recorridos críticos de usuario, simuladores de usuario con ADK y trazas revisadas manualmente. Recomienda combinar comprobaciones deterministas, rúbricas de juez LLM con preguntas sí/no, y métricas de latencia, tokens y coste, usando el toolkit de código abierto agent-eval con trazas OpenTelemetry/OpenInference y el servicio Agent Evaluation de Gemini. El enfoque avanza en tres fases, desde pruebas en el Día 0 hasta puertas de CI/CD en el Día 2.
Fuentes
- Google Developers BlogEvaluating AI agents: moving past the vibe check