IA & automatisationMars 20267 min de lecture
Mesurer un agent IA en production
Un agent qui marchait à la démo peut dériver en silence en production. Sans mesure continue, vous ne le saurez qu'au moment où un client le verra.
Le jour de la mise en ligne, tout fonctionne. Trois semaines plus tard, les données ont changé, les usages aussi, et l'agent répond moins bien sans que rien ne le signale. C'est le piège classique de l'IA en production : pas de plantage, juste une qualité qui s'érode.
Les métriques qui rassurent à tort
Le temps de réponse et le taux d'erreur technique sont utiles, mais ils ne disent rien de la justesse des réponses. Un agent peut être rapide, sans planter, et se tromper la moitié du temps.
Les métriques qui comptent
On suit la qualité réelle des réponses sur un échantillon évalué en continu, le taux d'escalade vers un humain, et les cas où l'agent invente. Ces signaux-là préviennent avant que le client ne s'en aperçoive.
Un agent qu'on ne mesure pas n'est pas en production. Il est en pari.