أنت في القائمة. ثم يطرح الزبون سؤالًا ثانيًا.
18 محادثة، ثلاث دول، جولتان في كل محادثة. في اللحظة التي يتعيّن فيها على المساعد أن يختار واحدًا، ذكر في ثلث الحالات اسم شركة لم تكن أصلًا في قائمته.
في هذا المقال
في الرابع عشر من أغسطس، وضعت جوجل نموذجًا جديدًا خلف وضع الذكاء الاصطناعي في بحثها: Gemini 3.7 Flash، الذي صدر في اليوم السابق. وأعلن روبي ستاين، نائب رئيس المنتج في جوجل سيرش، ذلك بجملة تستحق التوقف عندها - النموذج أفضل في اتباع التعليمات وأفضل في فهم النية.
النية، في محادثة حقيقية، لا تظهر في السؤال الأول. إنها تتضح في السؤال الثاني. يسأل الزبون عن «أفضل المخابز في بوردو»، ويقرأ القائمة، ثم يسأل عمّا كان يريد معرفته فعلًا: «أيها يصنع خبز العجين المخمّر الحقيقي؟». في هذه الجولة بالذات يختار.
غير أن كل قياسات الظهور في الذكاء الاصطناعي المنشورة هذا العام تتوقف عند الجولة الأولى. تقرير «State of AI Search» الصادر عن AirOps، الذي تُتداول أرقامه في كل مكان - 30 % من العلامات تبقى ظاهرة من إجابة إلى التي تليها، و20 % عبر خمس محاولات - يعيد طرح السؤال نفسه مرارًا. لا أحد يقيس المحادثة. نحن قسناها هذا الصباح.
الطريقة
ست حالات في ثلاث دول: سبّاك في ليون، مخبز في بوردو، محامٍ في قانون العمل في باريس، سبّاك في مانشستر، مخبز في بريستول، سبّاك في ساو باولو. لكل حالة جولتان داخل المحادثة نفسها: سؤال القائمة، ثم إعادة الإجابة إلى سجل المحادثة، ثم سؤال الزبون الذي عليه أن يحسم، مع التعليمة «أعطني اسمًا واحدًا فقط». ثلاثة مساعدين - ChatGPT وGemini وPerplexity - أي 18 محادثة. وقد أُعيد عدّ الأسماء كلها يدويًا.
ChatGPT لا يختار. يسأل أين أنت.
صفر مرة من ست ذكر ChatGPT اسم شركة في الجولة الثانية. وفي خمس مرات من ست ردّ بسؤال:
- «قل لي حيّك أو رمزك البريدي وأعطيك أفضل جهة اتصال متاحة اليوم.» - تسرّب الماء في ليون.
- «في أي حي من بوردو أنت؟» - خبز العجين المخمّر.
- «هل أنت الأجير أم صاحب العمل؟» - الفصل من العمل في باريس.
- «Do you mean Manchester, UK or Manchester, NH?» ثم «Do you mean Bristol, UK?» - إنه لا يعرف حتى عن أي مدينة نتحدث.
وفي المرة السادسة، في ساو باولو، أعطى اسمًا فعلًا: Triider - وهي منصة تصلك بالحرفيين، لا حرفيًا.
المساعد الأكثر استعمالًا في العالم، في اللحظة التي على الزبون أن يختار فيها، لا يشير إلى أحد. يطلب رمزًا بريديًا.
وجودك في القائمة لا يوصلك إلى النهائي
أما Perplexity فيحسم: ست مرات من ست أعطى اسمًا واحدًا لا غير. لكن في ثلاث مرات من ست لم يكن ذلك الاسم في قائمته هو نفسها في الجولة الأولى.
ليون.
الجولة الأولى: Bilik وLes Bons Artisans وRingTwice وYoojo وTravaux.com. الجولة الثانية: Accord Artisans - لم يُذكر قط من قبل.
مانشستر.
الجولة الأولى: Bee Heated MCR وAJ & RC Plumbing وSR Plumbing وJB Plumbing وAbout Town Plumbing. الجولة الثانية: Kang Plumbing - لم يُذكر قط من قبل.
ساو باولو.
الجولة الأولى: Triider وGetNinjas وoHub وEncanador 24 Horas وPlay Tec. الجولة الثانية: Assisty 24h - لم يُذكر قط من قبل.
ما الذي يكسر القائمة: الاستعجال
الانقسام واضح، وليس محض صدفة. أسئلتنا الثانية الستة تنقسم إلى عائلتين. ثلاثة منها عن التوافر: يلزم أن يأتي أحد اليوم. وثلاثة عن الجودة: عجين مخمّر حقيقي، proper sourdough، الطعن في فصل من العمل.
أسئلة التوافر الثلاثة أخرجت كلها اسمًا جديدًا. وأسئلة الجودة الثلاثة أبقت كلها اسمًا من القائمة - Maison Lamour في بوردو، وHart's Bakery في بريستول، وKohen Avocats في باريس.
والمحرك نفسه يقول السبب. عن Accord Artisans: «يعلنون تدخّلًا خلال 30 دقيقة في ليون، على مدار الساعة طوال الأسبوع». وعن Kang Plumbing: «listed as open 24/7 in Manchester and says it offers immediate assistance». ليست السمعة هي التي تكسب هذه الجولة، بل جملة مكتوبة في مكان ما تقول إنه يمكن الوصول إليك الآن.
Gemini يختار من قائمته - إلا عند المحامين
ذكر Gemini اسم شركة في ثلاث مرات من ست، وفي كل مرة كان اسمًا من قائمته هو: Blicko في ليون، وLe Blé en Herbe في بوردو، وFarro Bakery في بريستول. وفي الحالات الثلاث الأخرى أحالنا إلى جهة أخرى - في مانشستر إلى United Utilities، شركة المياه، وإلى Checkatrade، وهو دليل؛ وفي ساو باولو إلى GetNinjas، وهي منصة.
وفي باريس رفض، وكتب ذلك صراحةً: إنه خاضع لقواعد حياد تمنعه من تسمية مهني بعينه دون سواه. في مهنة منظَّمة، قد لا يكون للجولة الثانية فائز على الإطلاق.
رقم رميناه
أعلن استخراجنا الآلي في البداية نسب بقاء بلغت 0 % و19 % و50 % بحسب المحرك. لن ننشرها: فهي خاطئة. فعند إعادة قراءة القوائم، تبيّن أن جزءًا من «الشركات» المعدودة ليس شركات - بل جمل نصح يخلط بينها الاستخراج وبين أسماء الأعلام: «الكلام المتناقل يبقى الأقوى»، «تحقّق من رقم التسجيل»، «Red flags»، «Dica de emergência».
هذه ثغرة في أداتنا نحن، وهي ليست محصورة في الكتابات التي فتحناها الأسبوع الماضي: تنفتح في الفرنسية والإنجليزية أيضًا، ما إن يضع المساعد نصيحةً بخط عريض. نكتبها هنا لأن تسمية عيب أنفع من نشر نسبة مئوية مُرضية. أما الأسماء التسعة في هذا المقال فقد تُحقّق منها واحدًا واحدًا.
ما العمل صباح الاثنين
اكتب توافرك بالكلمات كاملة
، على موقعك وفي بطاقاتك: ساعات العمل، الأيام، النطاق المغطّى، مهلة التدخّل. تلك بالضبط هي الجملة التي استشهد بها المحرك لتبرير اختياراته المفاجئة الثلاثة.
اكتب عنوانك وحيّك.
خمسة من الأسئلة الستة التي طرحها ChatGPT في الجولة الثانية كانت عن المكان. مساعد لا يعرف أين أنت لا يستطيع أن يختارك.
لا تقس الإجابة الأولى وحدها.
الظهور فيها لا يضمن الوصول إلى النهائي: ثلث الاختيارات التي رصدناها جاءت من مكان آخر.
إن كانت مهنتك منظَّمة
- محامٍ، طبيب، محاسب - فتوقّع رفضًا لذكر الأسماء. ما يهم عندئذ هو الأدلّة الرسمية التي يشير إليها المساعد بدلًا من ذلك.
الحدود، كالعادة، وهي مهمة هنا: ست حالات، ثلاث دول، سؤال ثانٍ واحد لكل حالة، نموذج واحد لكل محرك، صباح واحد. والانقسام بين التوافر والجودة يقوم على ثلاث حالات في كل جهة - وهي آلية متماسكة استشهد بها المحرك نفسه، لا قانون. أما الصلب فيسع جملة واحدة: قائمة الجولة الأولى ليست تصفية أولية.