Trois jours plus tard, la liste n'a presque pas bougé - 6 points, contre 46 pour une autre question
Nous vendons de la mesure répétée. Nous avons donc testé si la liste dérive d'un jour à l'autre. Elle ne dérive presque pas - et pour un moteur, pas du tout.
Dans cet article
Réponse courte : le jour où vous posez la question ne change presque rien. La façon dont vous la posez change tout. À trois jours d'écart, la même question donne 70 % de recouvrement, contre 76 % entre deux tirages faits à la minute près. Six points. Hier, nous mesurions qu'un simple changement de contexte d'achat en coûtait 46.
Nous vendons de la mesure répétée. Il nous serait commode de conclure qu'il faut mesurer souvent, et c'est exactement pour cela qu'il fallait poser la question proprement, en acceptant d'avance la réponse qui nous dérange.
Ce qui fait bouger la liste, ce n'est pas le calendrier. C'est la question, et c'est le moteur.
Ce que nous avons mesuré
La même question de référence qu'utilisent toutes nos mesures depuis le 23 août - identique au caractère près, vérifié et non supposé. Quatre secteurs mondiaux, deux langues, deux assistants qui cherchent. 60 tirages aujourd'hui, aucun échec, et une collecte du 24 août conservée pour servir de point de comparaison à trois jours.
Le plancher de bruit reste la pièce maîtresse. Un assistant se contredit déjà lui-même à quelques minutes d'intervalle. Une différence entre deux journées ne veut rien dire tant qu'on ne l'a pas comparée à ce que le hasard produit en quelques minutes. Nous avons donc tiré la question trois fois aujourd'hui pour disposer du plancher du jour, plutôt que d'importer celui d'avant-hier.
Le résultat
| Écart entre les deux tirages | Nettoyé | Brut |
|---|---|---|
| Le même jour, à quelques minutes (plancher) | 76 % | 61 % |
| Trois jours | 70 % | 53 % |
| Écart au plancher | 6 points | 8 points |
Six points au calcul le plus sévère, huit au brut. Dans les deux cas, la liste d'il y a trois jours ressemble à celle d'aujourd'hui à peu près autant que deux tirages faits dans la même minute.
Et là, les deux moteurs cessent de se ressembler
| Moteur | Même jour | À trois jours | Écart |
|---|---|---|---|
| Perplexity | 85 % | 71 % | 14 points |
| Gemini | 68 % | 69 % | aucun |
Gemini ne dérive pas du tout. Trois jours plus tard, sa liste ressemble à celle d'aujourd'hui exactement autant que deux de ses propres réponses consécutives. Ce n'est pas de la stabilité : c'est qu'il est déjà si peu constant avec lui-même - 68 % entre deux tirages successifs - que trois jours n'ont plus rien à y ajouter.
Perplexity est l'inverse. Il se répète très bien à court terme, 85 %, et c'est justement pour cela qu'une vraie dérive devient visible : 14 points en trois jours. Chez lui, mesurer à une semaine d'intervalle a un sens, parce que le bruit ne noie pas le signal.
Chez un moteur, la question « à quelle fréquence mesurer ? » a une réponse. Chez l'autre, elle n'a pas de sens, parce qu'un seul tirage n'y veut déjà rien dire.
Six contre quarante-six
Ce chiffre ne prend son sens qu'à côté de celui d'hier, obtenu sur le même dispositif, le même plancher et le même nettoyage.
| Ce que l'on change | Coût en points |
|---|---|
| Le jour où l'on pose la question (3 jours) | 6 |
| Le prix comme critère (« meilleur rapport qualité-prix ») | 24 |
| Le niveau (« je débute ») | 37 |
| Le contexte (« mon entreprise de 10 personnes ») | 46 |
Sept fois plus. Un audit qui répète tous les jours la même formulation mesure très précisément un huitième du sujet. Le budget de mesure est mieux placé dans la variété des questions que dans leur fréquence.
Ce que nous en tirons pour notre propre produit
Mesurer tous les jours n'a pas de justification à ce stade.
Sur trois jours, l'écart reste dans le bruit. Nous ne vendrons pas une cadence que nos propres chiffres ne soutiennent pas.
Une mesure isolée reste inutilisable
, et c'est l'autre face du même résultat : à 68 % de recouvrement entre deux réponses consécutives, un tirage unique chez Gemini n'établit rien. La répétition sert à faire taire le bruit, pas à suivre l'actualité.
La cadence utile dépend du moteur.
Chez Perplexity, une dérive réelle apparaît en trois jours. Chez Gemini, il faut d'abord plusieurs tirages pour savoir de quoi l'on parle.
Le levier reste la variété des questions.
C'est là que se cachent 46 points, contre 6 pour le calendrier.
Les limites, et une perte de données de notre fait
Nous avons détruit nos propres données du 26 août. Un script d'analyse a importé une fonction depuis le collecteur de la veille ; ce collecteur exécutait sa mesure au chargement du module et a réécrit son fichier de sortie. 120 tirages ramenés à 12, sans copie. Les comparaisons à un et deux jours, que cet article devait contenir, ne sont donc pas mesurables : une mesure d'un jour passé ne se refait pas. Il ne reste que le plancher du jour et l'écart à trois jours. Un garde-fou a été posé pour que l'import ne déclenche plus rien.
Deux points dans le temps, pas une courbe.
Six points d'écart à trois jours ne disent pas comment la dérive se comporte à une semaine ou à un mois. Nous ne l'extrapolons pas.
Quatre secteurs, deux langues, deux moteurs.
Le secteur des chaussures est écarté : les réponses y citent des modèles numérotés que notre extracteur supprime, ce qui le faisait sortir à 0 % partout - un artefact de filtre, pas un résultat.
Notre extracteur reste imparfait.
C'est pourquoi les deux niveaux de nettoyage sont publiés côte à côte : la conclusion tient dans les deux, sinon il n'y aurait pas de conclusion.
Une période calme reste une période calme.
Ces trois jours n'ont vu ni lancement majeur ni changement de modèle annoncé dans les secteurs testés. Une dérive faible en régime calme ne promet rien en régime agité.
Nous ne promettons à personne une place dans les réponses de ChatGPT - personne ne peut le faire honnêtement. Ce qui se mesure, c'est où vous en êtes : par langue, par moteur, par question posée. Et, maintenant, avec une idée de ce que le temps y change.