一覧には載りました。そのあと客は二つ目の質問をします。
18の会話、三か国、それぞれ二往復。アシスタントが選ばなければならない場面で、三回に一回は自分の一覧になかった会社の名を挙げました。
この記事の目次
8月14日、Googleは検索のAIモードの下に新しいモデルを据えました。前日に公開されたGemini 3.7 Flashです。Google Search の製品担当副社長ロビー・スタイン氏は、立ち止まる価値のある一文で告げました - 指示によりよく従い、意図をよりよく理解する、と。
本当の会話では、意図は一つ目の質問には現れません。二つ目で輪郭を持ちます。客は「ボルドーで一番いいパン屋は」と尋ね、一覧を読み、それから本当に知りたかったことを尋ねます - 「どこが本物の天然酵母ですか」。選ぶのはこの往復です。
ところが今年公表されたAI可視性の測定は、どれも一往復目で止まります。数字があちこちで引かれるAirOpsの報告書「State of AI Search」 - 一つの回答から次の回答へ残るブランドは30％、五回の試行を通じては20％ - も、同じ質問を繰り返しているだけです。会話を測る人はいません。今朝、私たちが測りました。
手順
六つの事例、三か国。リヨンの配管業者、ボルドーのパン屋、パリの労働法弁護士、マンチェスターの配管業者、ブリストルのパン屋、サンパウロの配管業者です。それぞれ同じ会話の中で二往復。一覧を求める質問、その回答を履歴に戻し、次に決めなければならない客の質問を、「名前は一つだけ挙げて」という指示つきで。アシスタントは三つ - ChatGPT、Gemini、Perplexity - つまり18の会話です。名前はすべて手作業で数え直しました。
ChatGPTは選びません。あなたがどこにいるかを尋ねます。
二往復目でChatGPTが会社の名を挙げたのは、六回中ゼロ回でした。六回のうち五回は、質問を返してきます。
- 「地区か郵便番号を教えてくれれば、今日対応できる一番いい連絡先を出します」 - リヨンの水漏れ。
- 「ボルドーのどのあたりにいますか」 - 天然酵母のパン。
- 「あなたは労働者側ですか、使用者側ですか」 - パリの解雇。
- 「Do you mean Manchester, UK or Manchester, NH?」、続いて「Do you mean Bristol, UK?」 - どの都市の話かすら分かっていません。
六回目、サンパウロでは名前を出しました。Triider - 職人を紹介するプラットフォームであって、職人そのものではありません。
世界で最も使われているアシスタントは、客が選ばねばならないその瞬間に、誰も指しません。郵便番号を尋ねます。
一覧に載ることは、決勝に残ることではありません
Perplexityは決めます。六回中六回、名前を一つだけ挙げました。ただし六回のうち三回、その名は自分の一往復目の一覧にありませんでした。
リヨン。
一往復目：Bilik、Les Bons Artisans、RingTwice、Yoojo、Travaux.com。二往復目：Accord Artisans - それまで一度も出ていません。
マンチェスター。
一往復目：Bee Heated MCR、AJ & RC Plumbing、SR Plumbing、JB Plumbing、About Town Plumbing。二往復目：Kang Plumbing - それまで一度も出ていません。
サンパウロ。
一往復目：Triider、GetNinjas、oHub、Encanador 24 Horas、Play Tec。二往復目：Assisty 24h - それまで一度も出ていません。
一覧を壊すもの - 緊急性
分かれ方は明快で、偶然ではありません。六つの二つ目の質問は二つの型に分かれます。三つはすぐ来られるかを訊いています - 今日中に誰かに来てほしい。三つは質を訊いています - 本物の天然酵母、proper sourdough、解雇を争う。
すぐ来られるかを訊いた三つは、いずれも新しい名前を呼び出しました。質を訊いた三つは、いずれも一覧の名前を保ちました - ボルドーのMaison Lamour、ブリストルのHart's Bakery、パリのKohen Avocats。
しかも理由はエンジン自身が書いています。Accord Artisans について - 「リヨンで30分での出動、24時間365日と告知している」。Kang Plumbing について - 「listed as open 24/7 in Manchester and says it offers immediate assistance」。この往復を勝たせるのは評判ではありません。どこかに書かれた一文 - いま連絡がつくと告げる一文です。
Geminiは自分の一覧から選びます - 弁護士を除いて
Geminiが会社の名を挙げたのは六回中三回、そのすべてで自分の一覧の名前でした。リヨンのBlicko、ボルドーのLe Blé en Herbe、ブリストルのFarro Bakery です。残る三回は別の場所へ回しました - マンチェスターでは水道事業者のUnited Utilities と名簿サイトのCheckatrade へ、サンパウロではプラットフォームのGetNinjas へ。
パリでは断り、そのことをはっきり書いています。中立の規則に従っており、ある専門家を他より上に名指しすることはできない、と。規制された職業では、二往復目に勝者がまったくいないこともあるのです。
捨てた数字が一つあります
私たちの自動抽出は、最初はエンジン別に0％、19％、50％という残存率を告げていました。公表はしません。誤りだからです。一覧を読み直すと、数えられた「会社」の一部は会社ではありません - 抽出が固有名詞と取り違えた助言の文でした。「口コミがやはり一番」「登録番号を確認しなさい」「Red flags」「Dica de emergência」。
これは私たちの道具に空いた穴であり、先週開いた文字体系に限った話ではありません。アシスタントが助言を太字にした瞬間、フランス語でも英語でも同じ穴が開きます。ここに書くのは、体裁のいい百分率を出すより、欠陥に名を与えるほうが役に立つからです。この記事の九つの名前は、一つずつ手で確かめました。
月曜の朝にできること
対応できる時間を、言葉で書き切ること。
サイトにも各種の掲載欄にも - 営業時間、営業日、対応範囲、出動までの時間。エンジンが三つの意外な選択を正当化するのに引いたのは、まさにその一文でした。
住所と地区を書くこと。
ChatGPTが二往復目に投げた六つの質問のうち五つは場所についてでした。どこにいるか分からない相手を、アシスタントは選べません。
一往復目の回答だけを測らないこと。
そこに載っても決勝に残る保証はありません。観測された選択の三分の一は、別のところから来ていました。
規制された職業なら
- 弁護士、医師、会計士 - 名指しの拒否を見込んでおくこと。そのとき効くのは、アシスタントが代わりに示す公式の名簿です。
いつもどおり限界を、そしてここではそれが効いてきます。六事例、三か国、事例ごとに二つ目の質問は一つ、エンジンごとに一モデル、一つの朝。緊急性と質の分かれ方は片側三例ずつに乗っています - エンジン自身が引いた、筋の通った仕組みではありますが、法則ではありません。堅いのは一文です。一往復目の一覧は、絞り込みではありません。