同じ質問を24時間後に - 誰も挙げなかったエンジンが、いま四つの診療所を挙げる

昨日は、同じ一分における三つのアシスタントの食い違いを測りました。残っていたのは、商いをする人が本当に気にする問いです - 明日もう一度試したら、同じことを言うのか。

今朝、昨日の六つの質問をやり直しました。書き直したのではありません。前日のファイルから読み出し、そのまま同じ三つのエンジンへ送りました。変わるのは時間だけです。

それだけで答えになっている一件

昨日、ニースで一番いい歯科はと尋ねられたGeminiは、診療所を一つも挙げませんでした。予約プラットフォームと選び方の基準で答えたのです。今日、同じ質問に対して、四つを挙げます - Cabinet Avident、Arenas Dentistes、Dentego、Clinadent。

この二十四時間で、これらの診療所に変わったことは何もありません。質問にも変わったことは何もありません。昨日試したニースの歯科医なら、自分の職種ではAIは誰も挙げないのだと確信して帰ったでしょう。同じ試験が今日は、四つの競合を見せます。

一度きりの試験は、あなたの可視性を測っていません。その日のあなたの可視性を測っているだけです。

一晩を越える名前はいくつか

一覧を名前ごとに、手作業で突き合わせました。表記のゆれは同一と見なしています（「Victor Plomberie」と「Victor Plombier」、「Caroline Meunier Avocat」と「Cabinet Caroline Meunier」）。六つの都市を通じて：

安定性は職種によって大きく違います。ニースの歯科では、Perplexityは七つのうち七つを保ち、加えたのは一つだけ。ほぼ固まった一覧です。ナントの自動車整備では、同じエンジンが七つのうち一つしか保ちませんでした。同じエンジン、同じ日、二つの職種。一方は安定した一覧、他方は籤引きです。

ChatGPTがようやく名前を挙げるとき、それは地元の店ではありません

一つ書き留めておくべき細部があります。ナントの自動車整備について、ChatGPTは今日、沈黙から出てきました - しかし挙げた名前はBosch Car Service、Norauto、Midas、Feu Vert、Speedy。全国チェーンであって、ナントの整備工場ではありません。

これは昨日の測定と整合します。このエンジンは地元の店を推薦せず、分類とチェーンへ誘導するのです。ナントの独立した整備工場にとって、「ChatGPTに不在」であることは大した意味を持ちません - 同じ立場の者は誰もそこにいないのですから。

測定にとって何が変わるか

この不安定さは私たちの道具の欠陥ではなく、対象そのものの性質です。ウェブを検索するエンジンは、変わりつづけるページを読み直しており、回答はそれに従います。だからこそ私たちは一度ではなく複数回測り、分散を「ならす」ことをしません。系列こそが情報であって、消すべき雑音ではないのです。

そして、だからこそ私たちは誰にもChatGPTでの順位を約束したことがありません。一晩で名前の三分の一から半分が入れ替わるエンジンで順位を約束することは、籤の結果を約束することです。

これをどう使うか

• 一度きりの試験から結論を出さないこと。「見えている」も「AIは誰も挙げない」も同じです。分かるのは、その朝どうだったかだけです。
• 点ではなく傾向を見ること。五回の測定のうち三回戻ってくる名前のほうが、一度だけ首位に現れた名前より価値があります。
• 安定した職種と、動きやすい職種を区別すること。歯科では一覧がもちますが、自動車整備では組み替わります。有用な測定間隔は同じではありません。
• ChatGPTだけを物差しに自分の存在を判断しないこと。私たちの六つの都市で、二日続けて、地元の店は一つも挙がりませんでした。

限界を書きます。六つの質問、六つの都市、二日、エンジンごとに一つのモデル。二つの点は曲線になりませんし、二回の測定で傾向を測ったとは言いません。しかしこの二点が立てる事実は堅いものです - まったく同一の質問に対して、今日の回答は昨日の回答ではない。