Les tests et les traces, pour que chaque changement soit vérifié et chaque réponse expliquée.

Pourquoi tester et tracer un agent IA ?

Un agent IA change même quand vous ne touchez à rien. Le fournisseur fait évoluer ses modèles, une bibliothèque est mise à jour, une règle de la boutique est modifiée. Chacun de ces changements peut faire varier les réponses, parfois sur un point qui paraît réglé depuis longtemps. Sans tests, la première personne à voir la régression est le client.

Les tests de référence fonctionnent comme un examen que l'agent repasse avant chaque changement. Ils reprennent des cas réels, anonymisés, dont la bonne réponse est connue : la garantie, le délai de retour, la commande d'un autre client à ne pas montrer, le piège pour obtenir une remise. Un changement qui fait moins bien n'est pas mis en ligne.

Les traces répondent à une autre question : que s'est-il passé ce jour-là ? Quand un client conteste une réponse, vous retrouvez ce que l'agent a lu, la règle qu'il a citée, la version de cette règle et le modèle utilisé. Vous pouvez expliquer, corriger, et ajouter le cas aux tests pour qu'il ne se reproduise pas.

Comment je monte les tests et les traces

Les tests et les traces se nourrissent l'un l'autre : les traces révèlent les cas difficiles, les tests les gardent sous contrôle.

1. 1

   Constituer les cas de référence

   Je pars de vrais messages de la boutique, anonymisés, et j'écris pour chacun la réponse ou le comportement attendu, avec vous.

2. 2

   Couvrir les pièges

   Aux questions courantes s'ajoutent les tentatives de manipulation, les accès croisés entre clients et les questions sans réponse écrite.

3. 3

   Rejouer avant chaque changement

   Nouveau modèle, nouvelle version du prompt, nouvelle règle, mise à jour de la boutique : rien n'est mis en ligne sans repasser les cas.

4. 4

   Tracer chaque passage

   Ce que l'agent a lu, ce qu'il a proposé, les règles citées, la version des règles, le modèle et le coût, sans données inutiles.

5. 5

   Transformer les erreurs en tests

   Chaque réponse corrigée par une personne devient un candidat à un nouveau cas de référence.

6. 6

   Surveiller la dépense

   Un plafond par jour déclenche une alerte quand il est atteint, et les messages attendent au lieu d'emballer la facture.

Ce que les tests et les traces changent, cas par cas

Ce que vous y gagnez

Ce qui vous protège

Les cas de référence sont la mémoire de tout ce qui a déjà mal tourné ou aurait pu mal tourner. Tant qu'ils passent, vous savez que l'agent n'a pas régressé sur ces points, même après un changement que vous n'avez pas décidé, comme une mise à jour du modèle chez le fournisseur.

Les traces vous protègent aussi face à un client ou à un contrôle : elles montrent qu'une proposition a été validée par une personne, sur quelle règle, à quelle date. Elles ne contiennent que le nécessaire, et les cas utilisés pour les tests sont anonymisés.

Les tests qui vérifient cette couche

Cette couche se teste elle-même : on vérifie que les tests détectent bien ce qu'ils doivent détecter, et que les traces sont complètes.

En Belgique : des cas dans chaque langue

Pour une boutique qui répond en français et en néerlandais, les cas de référence existent dans les deux langues, et un changement de modèle doit réussir dans chacune. Certains reprennent les règles rappelées par le SPF Économie, comme le droit de rétractation de quatorze jours qui peut être exercé avant même la livraison : l'agent doit citer la règle et transmettre, jamais refuser seul. Les traces indiquent aussi la langue de chaque échange, ce qui permet de repérer un écart de qualité entre les deux.

Questions fréquentes

Pour aller plus loin