Pour comparer des agents IA en entreprise, le prix d’une requête ne suffit pas : il faut définir le résultat attendu et mesurer les ressources nécessaires pour l’obtenir.
Deux publications techniques d’Anthropic proposent une grille d’évaluation qui déplace l’attention de la réponse produite vers le travail effectivement réalisé.
Le compte rendu de l’agent ne prouve pas la réussite
Anthropic distingue explicitement le message de l’agent de l’état final du système dans lequel il intervient.
Une réservation annoncée ne démontre pas qu’elle existe.
Pour une direction opérationnelle, cette distinction fixe le point de départ de l’évaluation : un dossier ne peut être considéré comme terminé sur la seule foi d’une réponse convaincante.
Le fournisseur recommande plusieurs tentatives pour tenir compte de la variabilité des réponses.
Il sépare aussi les tests destinés à explorer de nouvelles capacités de ceux qui surveillent le maintien des acquis.
Ces deux objectifs répondent à des besoins distincts : déterminer ce qu’un agent peut désormais accomplir et vérifier qu’il sait toujours exécuter les tâches déjà maîtrisées.
La comparaison économique exige de compter les ressources
Dans sa publication consacrée aux outils, Anthropic préconise des fonctions ciblées : rechercher les contacts pertinents plutôt que récupérer leur liste complète.
Le groupe recommande de suivre l’exactitude, mais aussi la durée, les erreurs, les appels aux outils et les jetons consommés, sur des situations réalistes dont le résultat peut être contrôlé.
L’unité de comparaison devient alors la tâche correctement accomplie.
Une solution affichant un prix inférieur par requête pourrait perdre cet avantage si elle exige davantage de tentatives ; les publications ne chiffrent toutefois pas cet arbitrage.
Elles fournissent des méthodes issues de l’expérience du fournisseur, pas une mesure générale de rentabilité.
Pour examiner une offre, l’enjeu est donc de rapprocher le résultat vérifié des ressources consommées, sans confondre performance de démonstration et économie constatée.
Sources
Anthropic — Demystifying evals for AI agents, 9 janvier 2026.
Anthropic — Writing effective tools for agents — with agents, 11 septembre 2025.
Photo : Joonspoon — CC BY-SA 4.0 (image adaptée)
