Un assistant d'IA qui répond sur vos procédures ne vaut que ce qu'elles valent. On range ce qu'il va lire avant de le brancher, puis des questions réelles vérifient qu'il trouve le bon passage.
Une réponse fausse se paie dans les deux cas. La personne rappelle le service pour vérifier (fiche O-20), ou elle ne rappelle pas, et l'erreur arrive sur sa paie ou son remboursement.
Comptez-le sur vos chiffres. Un ordre de grandeur suffit pour décider d'essayer.
Quand l'assistant ne lit aucun document du service : il reformule un courrier ou résume le dossier qu'on lui donne. L'effort porte alors sur le contrôle (fiche P-16).
L'assistant cherche les passages proches de la question, puis rédige à partir d'eux, même périmés, même s'il n'en trouve aucun. On soigne ce qu'il trouve avant de juger ce qu'il écrit.
Un propriétaire par sujet, les questions réelles des trois derniers mois, et quelqu'un de l'équipe technique pour rejouer le jeu à chaque mise à jour.
Un salarié lit la réponse, ouvre le passage cité avec sa date, et ne rappelle pas le service pour vérifier.
Au lancementLui ouvrir tout l'intranet
Les notes d'il y a cinq ans répondent comme celles de cette année.
Ouvrir sujet par sujet, versions en vigueur seulement.
Au lancementJuger la réponse sans regarder le passage
On change de consigne ou de modèle, et l'erreur venait du passage trouvé.
Regarder d'abord le passage trouvé : le mauvais, ou le bon mal lu (fiche O-77).
PendantDécouper au nombre de mots
L'exception part dans le passage suivant, et l'assistant donne la règle sans elle.
Découper par règle, et relire vingt passages tirés au hasard.
PendantÉcrire soi-même les questions de test
Elles reprennent les mots de la procédure. Il les réussit, les salariés écrivent autrement.
Prendre les questions dans la boîte du service, telles qu'elles ont été écrites.
Dans la duréePublier une note sans retirer l'ancienne
La nouvelle version est en ligne, la précédente reste dans ce qu'il lit.
Le même jour, retirer l'ancienne et rejouer le jeu de questions (fiche O-17).
L'assistant du centre de services partagés RH d'un groupe de protection sociale, qui répond aux salariés sur les congés et les frais.
Une réponse sur six contredit la règle en vigueur, et les salariés rappellent le centre pour vérifier.
La part des questions closes sans appel. Elle comptait comme réglée une réponse fausse que personne n'avait contestée.
Les réponses fausses sur les 150 questions rejouées : 18 des 19 erreurs dues à la documentation corrigées, 24 − 18 = 6 sur 150.
Les réponses fausses en moins sur le flux, si l'échantillon le représente : 2 600 × (16 % − 4 %) = 416 − 104.
Le temps rendu par an : 312 × 12 × 25 min = 1 560 h, dont on compte 70 à 100 %, les 150 ayant servi aux corrections, soit 52 à 75 k€ à 48 € l'heure.
Ce que ça a coûté : 260 h des propriétaires et du centre × 48 €, payées en 2 à 3 mois de temps rendu.
Refaites-le avec vos questions : cinquante questions réelles, chacune avec sa réponse attendue. Pour chaque réponse fausse, notez si le passage trouvé était le bon, et posez le compte à côté du taux de questions closes.
À gauche le circuit d'une question et les trois défauts de la source qui le faussent. À droite les réponses fausses du cas, classées selon le passage trouvé, puis le même jeu rejoué six semaines plus tard.