El hype en torno a la IA agéntica a menudo se basa en demos llamativas y cifras impresionantes de benchmarks, pero estas métricas rara vez se traducen en un rendimiento fiable en producción. Este análisis examina por qué los métodos de evaluación actuales son insuficientes, desde escenarios seleccionados hasta el sobreajuste en tareas estrechas. Aboga por un cambio hacia pruebas orientadas a tareas que midan la robustez, la recuperación de errores y la planificación a largo plazo. Para los equipos de ingeniería, esto significa construir suites de evaluación personalizadas que reflejen los casos de uso reales, en lugar de depender de tablas de clasificación genéricas. Los agentes poco fiables pueden erosionar la confianza y aumentar los costes operativos. A medida que los sistemas agénticos pasan de la investigación al despliegue, la comunidad necesita estándares compartidos para definir qué es 'bueno'.
Una mirada crítica a cómo se evalúa la IA agéntica, argumentando que las demos y benchmarks no capturan la fiabilidad real y proponiendo un marco más práctico.