« Premier dans l'IA » : la place tient, mais il y en a une par langue et par moteur
Cinq fois la même question : la marque en tête reste la même dans 81 % des cas. Le problème n'est pas la stabilité - c'est qu'il n'existe pas UNE première place.
81 %
des combinaisons gardent la même marque en tête sur cinq tirages identiques
Dans cet article
Réponse courte : la première place est plutôt stable, et c'est précisément ce qui rend la phrase « nous sommes premiers dans l'IA » trompeuse. Reposez cinq fois exactement la même question : la marque citée en tête ne change pas dans 81 % des cas. Mais changez de langue ou de moteur, et ce n'est plus la même marque.
1 place
le déplacement médian d'une marque entre deux tirages - une sur deux ne bouge pas du tout
100
tirages, aucun échec : 4 secteurs x 2 langues x 2 moteurs, cinq fois chacun
Sur l'hébergement web, Hostinger arrive en tête en anglais, en français et en espagnol - et IONOS en allemand, sur les deux moteurs. Sur le paiement, c'est Stripe presque partout, mais Redsys en espagnol chez Gemini. Sur la réservation d'hôtel, Perplexity met Booking.com en tête et Gemini Google Travel, le même jour, dans la même langue.
Il n'y a pas une première place. Il y en a une par langue et par moteur, et rien ne garantit qu'elles se ressemblent.
Ce que nous avons mesuré
La même question de référence que toutes nos mesures depuis le 23 août, reposée cinq fois de suite par combinaison. Quatre secteurs mondiaux, deux langues, deux assistants qui cherchent. 100 tirages, aucun échec. Rien ne bouge entre deux tirages : ni le secteur, ni la langue, ni le moteur, ni le jour. Seul le hasard de l'assistant s'exprime.
Le nettoyage précède le classement, et ce n'est pas un détail. Notre extracteur laisse encore passer des fragments qui ne sont pas des noms d'entreprise. S'ils atterrissent en première position, ils fabriquent une instabilité qui est la nôtre et non celle du moteur. On ne garde donc que les noms qui reviennent dans plusieurs réponses, et on classe ensuite.
La première place tient
| Mesure | Brut | Après correction des libellés |
|---|---|---|
| Combinaisons gardant la même marque en tête | 12/16 (75 %) | 13/16 (81 %) |
| Marques qui ne bougent pas d'une place | 50 % | 50 % |
| Déplacement médian d'une marque | 1 place | 1 place |
| Déplacement maximal observé | 5 places | 5 places |
Une marque sur deux occupe exactement le même rang à chaque fois qu'on repose la question. La médiane du déplacement est d'une place. Contrairement à ce que l'on entend souvent, le classement n'est pas un tirage au sort.
Nous avons d'abord obtenu 38 %, et ce chiffre était faux : des fragments comme « small teams » ou « performance » occupaient la première place. En nettoyant avant de classer, la même mesure donne 75 %, puis 81 % en fusionnant « hubspot crm » et « hubspot », qui désignent la même entreprise. L'instabilité que nous allions publier était la nôtre.
Mais il y a huit premières places, pas une
| Secteur | Perplexity | Gemini |
|---|---|---|
| Paiement (en et fr) | Stripe | Stripe |
| Réservation (en) | Booking.com | Google Travel |
| Réservation (fr) | Booking.com | Booking.com |
| Hébergement (en et fr) | Hostinger | Hostinger, sauf en anglais |
| CRM (en) | HubSpot | HubSpot |
| CRM (fr) | aucune tête stable | aucune tête stable |
Et la mesure du 24 août, sur davantage de langues, prolonge le tableau. En allemand, l'hébergeur cité en premier n'est ni Hostinger ni un acteur mondial : c'est IONOS, sur les deux moteurs. Perplexity le présente en toutes lettres comme « in mehreren Vergleichen auf Platz 1 bzw. Testsieger ». En espagnol, Gemini fait apparaître Redsys sur le paiement - le réseau bancaire espagnol - « muy utilizada en el mercado español ». Ces deux entreprises sont invisibles dans les autres langues.
Un hébergeur allemand est premier en Allemagne. Il n'existe pas en anglais. Les deux affirmations sont vraies en même temps.
Le cas du CRM français
C'est la seule combinaison de notre mesure où aucune marque ne tient la tête. Sur Gemini, cinq tirages de la même question donnent trois premiers différents : Freshsales, HubSpot, monday. Sur Perplexity, Pipedrive alterne avec un libellé qui n'est même pas une entreprise.
Il n'y a pas là de leader à déloger, et c'est une information commerciale : sur ce marché, la première place est disponible. Ailleurs - Stripe sur le paiement, Hostinger sur l'hébergement anglophone - elle est tenue par la même marque à chaque tirage.
Ce qu'il faut en faire
Une phrase comme « nous sommes premiers dans ChatGPT » n'est pas fausse : elle est incomplète.
Premier dans quelle langue, sur quel moteur, et sur quelle formulation ? Sans ces trois précisions, elle ne se vérifie pas.
Ne transposez pas une première place d'un marché à l'autre.
Être en tête en anglais ne dit rien de l'allemand, où un acteur national peut occuper la place - et l'occuper sur les deux moteurs à la fois.
Regardez si la tête est tenue avant d'attaquer.
Quand la même marque revient à chaque tirage, la première place est un mur. Quand elle change à chaque fois, comme sur le CRM français, elle est ouverte.
Un seul tirage ne suffit pas à établir un rang.
La moitié des marques ne bougent pas, mais une sur deux bouge - jusqu'à cinq places dans notre mesure. Une position se constate sur plusieurs répétitions, jamais sur une capture d'écran.
Les limites
Quatre secteurs, deux langues, deux moteurs pour la partie répétée.
Le secteur des chaussures est écarté : les réponses y citent des modèles numérotés que notre extracteur supprime, ce qui produisait un résultat qui n'en était pas un.
Le tableau élargi aux langues allemande et espagnole vient de la collecte du 24 août
, avec un seul tirage par combinaison. Il montre que la tête diffère selon la langue ; il n'établit pas sa stabilité dans ces langues-là, faute de répétitions.
Notre extracteur reste imparfait
, et un fragment subsiste en tête d'une combinaison même après correction. Nous publions les deux calculs plutôt qu'un seul, et nous nommons ce qui reste.
« Premier » ici veut dire cité en premier dans le texte de la réponse.
Ce n'est pas un classement que le moteur publierait : c'est l'ordre dans lequel il énumère. Nous ne lui prêtons pas d'intention de hiérarchie.
Nous ne promettons à personne une place dans les réponses de ChatGPT - personne ne peut le faire honnêtement. Ce qui se mesure, c'est où vous en êtes : par langue, par moteur, par question posée. Y compris quand la réponse est « la place est prise, et par quelqu'un d'autre que vous ne croyez ».