L'assistant d'IA passe le jeu d'essai, puis change sans bruit en service. Pour chaque panne à attraper : une mesure, un délai de détection écrit et une personne qui réagit.
Chaque semaine de dérive non vue, des dizaines de réponses fausses de plus partent, et les clients les trouvent. La perte suit le temps de détection.
Comptez-le sur vos chiffres. Un ordre de grandeur suffit pour décider d'essayer.
Quand chaque réponse est réécrite avant usage : la personne voit la dérive. Sous cent réponses par mois, relisez tout.
À chaque panne, une mesure, un délai de détection visé et une personne qui réagit. Le reste du tableau de bord se retire.
À 1 % d'erreurs, 200 relues en montrent de 0 à 5. Deux trouvées : le vrai taux est, 9 fois sur 10, entre 0,4 et 3 %. Pour voir un triplement 8 fois sur 10, il faut en attendre une dizaine au nouveau taux : 300 à 400 relues.
Le modèle change la nuit. À 8 h, l'alerte est chez la responsable ; à 9 h, l'assistant est revenu aux propositions.
Au lancementSuivre les courbes livrées avec l'outil
Vingt courbes au tableau de bord, aucune reliée à une panne nommée.
Partir des pannes, une mesure par panne.
Au lancementL'échantillon au jugé
Deux erreurs sur 200 : « tout va bien ». Le taux peut aussi avoir triplé.
Compter les erreurs attendues au taux qu'on veut attraper.
PendantL'alerte sans destinataire
Elle part dans une boîte commune. Chacun pense qu'un autre l'a lue.
Une personne nommée et son geste, écrits avant.
PendantLe seuil de la semaine, seul
Recul à 2 erreurs graves sur 50 (fiche O-85) : une dérive lente, à 1,5 %, ne le franchit qu'une semaine sur six.
Ajouter 3 sur le cumul de quatre semaines : vue en huit semaines 9 fois sur 10, au lieu de 3 sur 4.
Dans la duréeLe jeu d'essai figé
Les erreurs trouvées se corrigent une à une. Le jeu d'essai reste celui de la mise en service.
Chaque erreur trouvée devient une question du jeu d'essai.
Le centre de relation client d'une banque. L'assistant répond aux conseillers sur les procédures et les tarifs, à partir de la documentation.
Au printemps, le fournisseur a mis à jour le modèle sans l'annoncer : 3 % de réponses fausses pendant sept semaines.
L'échantillon du mois, sans seuil écrit. En mars, 5 erreurs sur 200 : « dans le bruit ».
Pour voir un changement de modèle : par les réclamations, puis par le jeu d'essai de la nuit.
Réponses fausses de trop : 2 800 × 2 points × 7 semaines = 392, soit 15,7 k€. En octobre, un jour à la même hausse : 560 × 2 points = 11, soit 0,4 k€.
Voir un triplement en quatre semaines : 200 relues, seuil 6 ; cumul de 400, seuil 9. Fausse alerte : 2 % des relevés.
Relecture par mois : 200 puis 433 (100 par semaine) × 3 min, pour voir une dérive lente en quatre semaines.
Refaites-le avec votre assistant : une mesure et un délai par panne. Puis relues × taux à attraper : sous 10, l'échantillon manquera souvent un triplement.
À gauche, une mesure et un délai par panne, puis la taille de l'échantillon. À droite, les réponses fausses par semaine lors des deux changements de modèle du cas.