Déflexion : mesurer ce que l'IA a réellement évité
Compter les articles vus, c'est compter des gens qui ont lu et ont écrit quand même.
« Notre IA défléchit 40 % des demandes. » Ce chiffre circule dans toutes les plaquettes du secteur, et il est presque toujours faux — pas par mauvaise foi, mais parce que la déflexion est une chose qui n'arrive pas, et qu'on mesure mal ce qui n'arrive pas.
Ce texte explique les quatre façons de gonfler le chiffre sans le vouloir, la seule définition qui résiste, et ce que nous en avons fait — y compris ce que ce choix nous coûte.
Les quatre mesures qui ne mesurent rien
1. Les articles vus
C'est la plus répandue et la plus fausse. Un client qui lit trois articles puis ouvre un ticket a consulté trois articles : selon cette mesure, trois déflexions et un ticket. Le numérateur et le dénominateur comptent la même personne. Pire, une base de connaissances confuse fait grimper le chiffre : plus le client cherche, plus vous « défléchissez ».
2. Les conversations « résolues » par le robot
Résolues par qui ? Dans la quasi-totalité des implémentations, une conversation est marquée résolue parce que le client a cessé de répondre. Un abandon et une résolution produisent exactement le même signal, et l'un des deux est un client mécontent qui est parti.
3. Le pouce en haut
« Cette réponse vous a-t-elle aidé ? » a un taux de réponse de quelques pour cent, et ces quelques pour cent ne sont pas un échantillon : ce sont les gens très contents et les gens très mécontents. Mesurer une déflexion là-dessus, c'est mesurer l'humeur des extrêmes.
4. La comparaison au mois précédent
« Nous avons reçu 20 % de tickets en moins depuis la mise en service. » Peut-être. Ou bien c'était août, ou vous avez sorti une version moins buguée, ou votre formulaire de contact est devenu plus difficile à trouver. La baisse de volume est un indice, jamais une mesure de déflexion — et c'est l'argument le plus souvent servi en réunion.
La seule définition qui résiste est négative
Une déflexion, c'est une question à laquelle on a répondu et un ticket qui n'est jamais arrivé.
Cette formulation impose trois choses, et c'est à ces trois choses qu'on reconnaît une mesure sérieuse :
- 1Il faut identifier la personne — au moins faiblement, par une session ou une adresse — sinon on ne peut pas savoir si elle est revenue.
- 2Il faut une fenêtre de temps. « Elle n'est pas revenue » n'a de sens qu'assorti d'un délai. Sans délai, la mesure n'est jamais close.
- 3Il faut accepter de compter en retard. Une déflexion ne peut pas être confirmée à l'instant où elle se produit, par construction. Un tableau de bord temps réel de la déflexion est, littéralement, impossible.
Notre modèle : provisoire, puis confirmé à 72 heures
Quand l'assistant répond seul à un client, nous enregistrons une déflexion provisoire. Elle porte la question, les sources utilisées, le contact et une échéance. Puis, 72 heures plus tard, un balayage tranche :
| Ce qui s'est passé dans les 72 h | Verdict | Facturation |
|---|---|---|
| Le contact n'a pas ouvert de ticket | Confirmée | 0,49 € |
| Le contact a ouvert un ticket sur le même sujet | Rendue — ce n'était pas une déflexion | Rien |
| Le contact a ouvert un ticket sans rapport | Confirmée | 0,49 € |
Pourquoi 72 heures et pas 24 : un client qui bute sur un problème un vendredi soir revient le lundi. Une fenêtre de 24 heures confirmerait sa déflexion avant qu'il ait eu l'occasion de la démentir. Pourquoi pas une semaine : au-delà de trois jours, un nouveau ticket est rarement la même demande, et l'attribution devient une supposition.
Ce que ce choix nous coûte, et pourquoi nous le faisons quand même
Facturer 0,49 € seulement sur une déflexion confirmée nous fait perdre de l'argent sur toutes les autres — et l'inférence, elle, est payée dans les deux cas. Une réponse qui n'a pas suffi coûte des jetons et ne rapporte rien.
Nous le faisons parce que c'est le seul modèle où notre intérêt et le vôtre pointent dans la même direction. Un éditeur payé dès qu'un robot a répondu gagne sur les réponses inutiles ; il n'a aucune raison de faire baisser son taux de refus, ni d'améliorer la base de connaissances qui rendrait les réponses meilleures. Nous, si.
Et cela nous impose une discipline : le chiffre que nous affichons doit être le plus bas des chiffres défendables, parce que c'est celui que nous facturons. C'est exactement l'inverse de l'incitation habituelle.
Ce qu'il faut demander à un éditeur
- 1Votre définition d'une déflexion, en une phrase. Si elle est positive — « le client a obtenu une réponse » — le chiffre est gonflé. Cherchez une formulation négative.
- 2Quelle fenêtre de temps ? Pas de fenêtre, pas de mesure.
- 3Que se passe-t-il si le client revient ? La déflexion est-elle retirée du compteur, ou reste-t-elle acquise ?
- 4Le compteur peut-il baisser ? Un indicateur qui ne descend jamais n'est pas un indicateur, c'est un cumul.
- 5Comment savez-vous que le mécanisme tourne encore ? C'est notre propre leçon : un compteur en panne ressemble à un compteur calme.
Ce que fait notre assistant, ce qu'il refuse de faire et ce qu'il coûte sont décrits sur sa page, et le coût réel de chaque appel est publié ici. Le code qui règle les déflexions à 72 heures est lisible — open source — bug compris, jusqu'à ce que nous le corrigions.
Nous ne publions pas d'article sans un chiffre mesuré chez nous, du code qu'on peut aller lire, ou une limite avouée. C'est la seule façon d'écrire sur ce métier sans répéter ce que tout le monde écrit déjà.