「AIで1位」- その席は動かない。ただし言語ごと、エンジンごとに別の席がある
同じ質問を五回。最初に挙がる企業は81 %の組み合わせで変わりません。問題は安定性ではなく、「1位」という席がひとつではないことです。
81 %
五回の同一実行で先頭の企業が変わらなかった組み合わせの割合
短い答え：1位はかなり安定している。そして、まさにそれが「AIで1位です」という言い方を誤解を招くものにしている。 まったく同じ質問を五回すれば、最初に挙がる企業は81 %の場合で変わらない。しかし言語やエンジンを変えれば、それはもう同じ企業ではない。
1つ
二回の実行のあいだに企業が動く順位の中央値 - 二社に一社はまったく動かない
100
実行回数、失敗ゼロ。4分野 × 2言語 × 2エンジンを五回ずつ
レンタルサーバーでは、英語・フランス語・スペイン語でHostingerが先頭に立ち、ドイツ語ではIONOSが - 二つのエンジンの両方で。決済ではほぼどこでもStripeだが、スペイン語のGeminiではRedsys。ホテル予約では、同じ日・同じ言語で、PerplexityがBooking.comを、GeminiがGoogle Travelを先頭に置く。
1位という席はひとつではない。言語ごと、エンジンごとにあり、それらが似ている保証はどこにもない。
何を測ったか
8月23日以来すべての計測が用いてきた同じ基準の質問を、組み合わせごとに五回続けて投げた。世界共通の4分野、2言語、検索する2つのアシスタント。100回の実行、失敗ゼロ。 二回の実行のあいだで動くものは何もない - 分野も、言語も、エンジンも、日付も。語るのはアシスタント自身のばらつきだけである。
整理は並べ替えより先に来る。これは些細な話ではない。 私たちの抽出器は、企業名でない断片をまだ通してしまう。それが先頭に来れば、エンジンではなく私たちの側が不安定さを作り出す。だから複数の回答に繰り返し現れる名前だけを残し、そのあとで並べる。
1位は動かない
| 指標 | 生 | 表記の補正後 |
|---|---|---|
| 先頭の企業が変わらない組み合わせ | 12/16（75 %） | 13/16（81 %） |
| 順位がまったく動かない企業 | 50 % | 50 % |
| 企業一社あたりの移動の中央値 | 1つ | 1つ |
| 観測された最大の移動 | 5つ | 5つ |
二社に一社は、質問を繰り返すたびにまったく同じ順位に座る。移動の中央値は1つである。よく言われるのとは違い、この並びはくじ引きではない。
私たちは最初に38 %という数字を得たが、それは誤りだった。「small teams」「performance」といった断片が先頭を占めていたのである。並べる前に整理すれば75 %となり、同じ企業を指す「hubspot crm」と「hubspot」を統合すれば81 %になる。公表しかけた不安定さは、私たち自身のものだった。
しかし1位の席は八つあり、ひとつではない
| 分野 | Perplexity | Gemini |
|---|---|---|
| 決済（enとfr） | Stripe | Stripe |
| ホテル予約（en） | Booking.com | Google Travel |
| ホテル予約（fr） | Booking.com | Booking.com |
| レンタルサーバー（enとfr） | Hostinger | Hostinger、ただし英語を除く |
| CRM（en） | HubSpot | HubSpot |
| CRM（fr） | 安定した先頭なし | 安定した先頭なし |
そして8月24日の計測は、より多くの言語でこの表を延長する。ドイツ語で最初に挙がるのはHostingerでも世界的な事業者でもなく、IONOSである - 二つのエンジンの両方で。Perplexityはそれを「in mehreren Vergleichen auf Platz 1 bzw. Testsieger」と言い切る。スペイン語では、Geminiが決済でRedsys - スペインの銀行網 - を「muy utilizada en el mercado español」として浮かび上がらせる。この二社は他の言語では姿を見せない。
ドイツのホスティング事業者はドイツで1位である。英語では存在しない。この二つは同時に真である。
フランス語のCRMという例外
私たちの計測でどの企業も先頭を保てなかった唯一の組み合わせである。Geminiでは、同じ質問の五回の実行が三つの異なる1位を生む - Freshsales、HubSpot、monday。Perplexityでは、Pipedriveが、企業ですらない表記と交互に現れる。
そこに追い落とすべき王者はいない。これは商業的な情報である - この市場では1位の席が空いている。他方、決済のStripe、英語のレンタルサーバーのHostingerでは、毎回同じ企業がその席を占めている。
どう使うか
「私たちはChatGPTで1位です」は偽ではない。不完全なのである。
どの言語で、どのエンジンで、どの言い回しで1位なのか。この三つがなければ検証できない。
ある市場の1位を別の市場に持ち込まないこと。
英語で首位でも、ドイツ語については何も言えない。そこでは国内事業者が席を占めうるし、しかも二つのエンジンで同時に占めうる。
攻める前に、その席が守られているかを見ること。
毎回同じ企業が戻ってくるなら、1位は壁である。フランス語のCRMのように毎回変わるなら、開いている。
一回の実行では順位は定まらない。
半数の企業は動かないが、残りの半数は動く - 私たちの計測では最大5つ。順位は複数回の繰り返しで確かめるものであって、スクリーンショットで確かめるものではない。
限界
繰り返し部分は4分野・2言語・2エンジン。
ランニングシューズは除外した。この分野の回答は番号付きの型番を挙げ、抽出器がそれを捨てるため、結果とは言えないものが出てしまう。
ドイツ語とスペイン語に広げた表は8月24日の収集による
もので、組み合わせあたり一回の実行しかない。先頭が言語によって異なることは示すが、それらの言語における安定性は、繰り返しがない以上、示していない。
私たちの抽出器はなお不完全であり
、補正後もある組み合わせの先頭に断片が残っている。ひとつではなく両方の計算を公表し、残っているものを名指しする。
ここでいう「1位」とは、回答の文中で最初に挙げられたという意味である。
エンジンが公表する順位表ではなく、列挙の順序にすぎない。私たちはそこに序列づけの意図を読み込まない。
私たちは誰にもChatGPTの回答での順位を約束しない - 誠実にそれができる者はいない。測れるのは、言語ごと、エンジンごと、尋ねられた質問ごとの現在地である。たとえその答えが「その席は埋まっている。しかもあなたが思っているのとは別の相手に」であっても。