同じニーズでも聞き方を変えれば違う企業が返る - 重なりは31 %
「最も優れたX」と「10人の会社にはどれ」の推薦リストは31 %しか重なりません。まったく同じ質問を二度した場合の77 %に対して。
短い答え：質問の中の「購買の文脈」を変えると、推薦される企業が変わります。しかもアシスタント自身のばらつきよりはるかに大きく変わります。 まったく同じ質問を二度すれば、リストは77 %重なります。「最も優れたXは」ではなく「10人の会社にはどれ」と聞くと、31 %です。
ノイズ下限を46ポイント下回ります。 言い換えれば、あなたの買い手が要望をどう言い表すかは、アシスタントが勝手に揺らす分すべてよりも、あなたの存在に重くのしかかります。
一つの言い回ししか尋ねない可視性調査は、あなたの市場を測っていません。その四分の一を測っています。
なぜ今この問いなのか
私たちは、言語が推薦リストを変えること、読まれる情報源もそれとともに変わること、そしてその情報源が実際に推薦を支えていることを示してきました。残っていたのは、企業が最も疑わない変数です - なぜならまったく制御できないからです。顧客が要望をどう言い表すか。
誰もが「最良のCRM」とだけ打つわけではありません。買い手は「小さな所帯です」「コスパが一番いいのは」「初心者ですが一番簡単なのは」とも言います。これは四つの購買局面であって、同じことの四つの言い換えではありません。
何を測ったか
世界共通の5分野、2言語（英語・フランス語）、検索する2つのアシスタント - PerplexityとGemini。120回の実行、失敗ゼロ。 基準となる質問は、これまでの計測から一字一句そのまま取っています。だからこの計測は過去のものと並べて読めます。
| 意図 | 質問文 |
|---|---|
| 基準 | 「最も優れたXは何ですか？」 |
| 小さな会社 | 「10人の会社を経営しています。どのXをお勧めしますか？」 |
| 価格 | 「どのXが最もコストパフォーマンスに優れていますか？」 |
| 初心者 | 「まったくの初心者です。どのXが一番始めやすいですか？」 |
ノイズ下限 - これがなければこの記事は存在しません
アシスタントは決定論的ではありません。同じ質問をもう一度しても、同じリストは返ってきません。自分でどれだけ食い違うかを知らずに二つの言い回しを比べれば、偶然を結果と呼んで公表することになります。
そこで基準の質問を組み合わせごとに3回実行し、「同じ質問・二つの回答」のペアを46組つくりました。その平均の重なり - 77 % - が下限です。意図の違いによる差はすべてこれと照らして読み、決して絶対値では読みません。
結果
| 尋ねた質問 | 重なり | ノイズとの差 |
|---|---|---|
| 同じ質問をもう一度（下限） | 77 % | - |
| コスパが最もよいのは | 53 % | 24ポイント下 |
| 初心者です | 40 % | 37ポイント下 |
| 10人の会社です | 31 % | 46ポイント下 |
二つのエンジンが、別々に、同じ方向へ動きました - だから公表できます。Perplexityは下限84 %から「小さな会社」の質問で39 %へ、Geminiは68 %から23 %へ。値は違いますが、向きと大きさは違いません。
これを具体的にする一例
ホテル予約では、アシスタントは非常によく再現します - 同じ質問の二回の実行で86 %の重なり。そこに「10人の会社を経営しています」を加えると、重なりは0 %に落ちます。30でも15でもなく、ゼロ。共通する企業が一社もありません。
名前を見れば理由がわかります。基準の質問は誰もが知る一般消費者向けのプラットフォームを返します。「10人の会社」の質問はTravelPerk、Engine、Booking.com for Business - 出張向けの事業者を浮かび上がらせ、これらは最初のリストにありませんでした。順位が動いたのではなく、別の市場が答えているのです。
質問によって変わるのは、あなたの順位ではありません。候補者の一覧そのものです。
他分野でも同じ型が見られます。英語のレンタルサーバーでは、NamecheapとWixが「小さな会社」「価格」「初心者」の質問にしか現れません。フランス語のCRMでは、HubSpotが基準リストに不在なのに、「小さな会社」「始めたばかり」と添えた途端に現れます。
対立仮説を検証し、退けました
これほど明快な結果には真剣な反論がつきものなので、自分たち自身に対して立ててみました。私たちの名前抽出器は助言の断片（「連携を確認しましょう」「最低予算」）を通してしまいます。そして価格の質問は初心者の質問とは違う助言語彙を生みます。この雑音だけで差が作られていた可能性があるのです。
そこで、粗いものから最も厳しいものまで四段階の清掃で計算をやり直しました - 複数の回答に繰り返し現れる名前だけを残す方法です。本物の企業名は繰り返され、助言の言い回しは一回限りだからです。ノイズ下限は予想どおり62 %から79 %へ上がります。しかし差は四つのすべてで29〜36ポイントのまま。 反論は成り立ちません。私たちは最も厳しい計算を公表します。最も見栄えのよい計算ではありません。
どう使うか
自分のカテゴリーではなく、顧客の質問を書き出す。
「最良の請求書ソフト」は記者の質問です。あなたの買い手は「NPO向けに」「経理担当なしで」「海外へ請求するのに」と言います。測るべきはその文です。
一つの言い回しでの好成績は転用できません。
46ポイントの差とは、一般的な質問で推薦されることが、あなたの実際のセグメントの質問についてほとんど何も予測しない、ということです。
購買の文脈はリスクであると同時に、てこでもあります。
一般リストに不在でも、あなたのセグメントに固有の質問があるなら、存在すべきはそこです - そしてそこは競争がはるかに少ない。
自社ページに「誰のためか」を語らせる。
「10人の会社」の答えに名前を入れる情報源は、その事例を明示的に論じているページです。誰に向けたものか言わないページは、特定の人物像に対して選ばれようがありません。
限界
計測から外した分野が一つ：ランニングシューズ。
この分野の回答は番号付きの型番（「Ghost 16」「Clifton 9」）を挙げ、私たちの抽出器はそれを捨てます。そのため分野全体がどこでも0 %になりました - これは私たちのフィルターの副産物であって、結果ではありません。公表すれば不誠実です。
2言語・2エンジン。
英語とフランス語、PerplexityとGemini。API経由のChatGPTは除外しました - まったく検索しないことを計測済みで、意図が同じ役割を果たさないからです。
たった1日。
これらの計測には日付があり、アシスタントは変わります。だからこそ、すべての数字にノイズ下限を添えています。
私たちの抽出器はなお不完全です。
清掃後も一部の言い回し（「テクニカルサポート」「フランスの中小企業」）が集合に残っています。修正は進行中です。清掃を隠した数字は数字ではないので、ここで述べます。
私たちは誰にもChatGPTの回答での順位を約束しません - 誠実にそれができる者はいません。測れるのは、言語ごと、エンジンごと、そしていまや尋ねられた質問ごとの現在地です。