En bref
- 31 et 14 et 0
- Trois chiffres sur une page de notre propre rapport, tous justes, illisibles ensemble.
- Pas une erreur de calcul
- C'est le genre d'erreur pénible : rien ne casse, aucun test n'échoue, et le chiffre est défendable. Seul le lecteur n'y comprend rien.
- Une formule
- Le correctif : le score principal est calculé à un seul endroit, et le rapport comme le tableau de bord lisent le même. Deux endroits finissent toujours par diverger.
- La profondeur est restée
- L'analyse en profondeur sur un moteur n'a pas été supprimée mais renommée pour ce qu'elle est. Une mesure qu'on ne sait pas expliquer ne doit pas disparaître mais retrouver sa place.
Que dit l'étude ?
Ce n'est pas la publication de quelqu'un d'autre mais un cas qui nous concerne, et il figure ici parce qu'il répond à la question que tout acheteur se pose vraiment : que se passe-t-il si vous vous trompez ? Le rapport affichait 31 sur 100 en haut et, dans le tableau en dessous, 14 sur 100 et 0 sur 100. Rien n'était mal calculé. En haut, un seul moteur IA avait reçu toutes les questions ; en dessous, sept moteurs d'une autre phase avec un autre jeu.
Ce qui rend ce type d'erreur dangereux, c'est que rien ne casse. Aucun test n'échoue, aucune alerte ne se déclenche, et chaque chiffre pris isolément est défendable. Le seul à le remarquer est le lecteur, et il n'en conclut pas qu'il y a deux mesures mais que le rapport est faux — et donc que le reste l'est aussi. Un chiffre inexplicable coûte plus de confiance qu'un chiffre bas.
| Ce qui a été mesuré | Comment | Ce que l'étude ne dit pas |
|---|---|---|
| Notre propre rapport, avant le correctif | un score en haut issu de la phase d'analyse sur un moteur, et un tableau en dessous issu de la phase moteurs avec un autre jeu de questions | que l'un des deux chiffres aurait été mal calculé. Les deux étaient exacts dans leur propre mesure, et c'est précisément pourquoi aucun contrôle ne s'est déclenché |
| Ce qui en a découlé | un seul endroit où le score principal est calculé, lu par le rapport comme par le tableau de bord, plus trois règles présentes dans chaque rapport : qui compte, qui pèse, et quelle part du marché est couverte | que ce type d'erreur soit désormais impossible. Cela dit seulement que celle-ci ne peut plus se produire, et c'est tout ce qu'un correctif peut jamais dire |
Notre propre cas. Les trois chiffres et la raison figurent dans le commentaire au-dessus de la fonction qui calcule le score principal — ce commentaire a été écrit lors du correctif et en constitue la justification.
Pourquoi cela compte-t-il pour vous ?
Parce que cela peut arriver chez n'importe quel prestataire et que cela ne se voit pas de l'extérieur. Ne demandez donc pas si le chiffre est juste, mais comment il est construit : quels moteurs, les mêmes questions, la même méthode ? Dès que la réponse est que le score principal vient d'une autre mesure que le tableau en dessous, deux choses qui n'ont rien à faire côte à côte se retrouvent sur une même page.
Et parce que le réflexe de régler cela en silence est fort. Ajuster le chiffre jusqu'à ce que les deux concordent, c'est une demi-journée de travail et personne n'aurait rien vu. C'est précisément pour cela que cette histoire figure ici plutôt que dans un document interne : une erreur que l'on publie soi-même, plus personne ne peut s'en servir contre vous, et c'est la seule façon crédible de dire que l'on mesure honnêtement.
Qu'en fait ceeme ?
Depuis, le score principal est calculé à un seul endroit, et le rapport comme le tableau de bord lisent le même. C'est la moyenne pondérée des moteurs mesurés avec les mêmes questions et la même méthode, pondérée selon leur part sur le marché du client. Deux endroits qui calculent le même chiffre finissent par diverger — ce n'est pas du pessimisme mais ce qui s'est passé.
Trois règles doivent depuis figurer dans chaque rapport, et elles y figurent. Qui compte : uniquement les moteurs qui ont réellement cherché en direct, car un moteur qui répond de mémoire mesure la connaissance du modèle et non la visibilité. Qui pèse : uniquement les moteurs ayant une part connue sur ce marché ; les autres apparaissent comme mesurés-mais-non-pondérés. Et quelle part du marché est couverte — ce chiffre a sa propre étude, juste à côté.
Et l'analyse en profondeur n'a pas disparu. Un seul moteur recevant jusqu'à deux cents questions, avec marques, sources, sentiment et marchés, reste l'image la plus riche qui soit. Elle ne s'appelle simplement plus le score mais ce qu'elle est : l'analyse en profondeur sur un moteur. C'est la réparation la moins coûteuse qui soit — une mesure qu'on ne sait pas expliquer ne doit pas disparaître mais retrouver sa place, avec le bon intitulé.
Questions fréquentes
Pourquoi mettez-vous une erreur de votre cru sur le site ?
Parce que sinon la promesse ne vaut rien. Nous demandons à des clients de nous croire quand nous disons qu'un correctif n'a pas fonctionné, et on ne croit cela que de quelqu'un qui le dit aussi de lui-même. Voici le cas où il s'agissait de nous.
Comment savoir s'il n'en reste pas d'autres ?
Vous ne le savez pas, et nous non plus. Ce que vous pouvez vérifier, c'est si un prestataire publie sa méthode et consigne ses propres corrections — car une erreur qui n'est écrite nulle part est une erreur qui se répète. Chez nous, chaque chiffre du rapport est accompagné des moteurs, des questions et de la date, pour que vous puissiez y confronter une seconde mesure.
L'analyse en profondeur vaut-elle donc moins ?
Non, c'est l'image la plus riche dont nous disposons — ce n'est simplement pas un score de visibilité. Un seul moteur recevant jusqu'à deux cents questions révèle des marques, des sources, du sentiment et des marchés qu'on ne voit pas avec quatre moteurs et trente questions. Le problème n'a jamais été la mesure mais l'intitulé au-dessus.
Pour aller plus loin
Gratuit, sans compte ni carte bancaire.