ظهر 147 اسمًا وبقي 28: معظم اقتباسات الذكاء الاصطناعي عبورٌ لا مقاعد
السؤال نفسه ثلاث مرات، في خمسة قطاعات وعلى محركين: اسمان من كل ثلاثة أسماء مذكورة يظهران مرة واحدة فقط. وقيمة الذكر تعتمد على المحرك - واحدة من اثنتين تثبت على Perplexity، وواحدة من عشرين على Gemini.
19 %
من الأسماء المذكورة صمدت في المحاولات الثلاث - 28 من 147
الجواب المختصر: أن يذكرك الذكاء الاصطناعي شيء، وأن يكون لك مقعد عنده شيء آخر - والفارق قابل للقياس. طرحنا السؤال نفسه ثلاث مرات متتالية، في خمسة قطاعات، بلغتين، على محركين. ظهر 147 اسم شركة مرة واحدة على الأقل. لكن 28 فقط حضرت في المحاولات الثلاث كلها. أما 98 - اثنان من كل ثلاثة - فظهرت مرة واحدة بالضبط: عبورٌ لا مقاعد.
5 أسماء
الطول الوسيط لقائمة التوصيات بعد التنقية
1 من 2 مقابل 1 من 20
احتمال أن يكون الذكر مقعدًا ثابتًا - Perplexity مقابل Gemini
من 147 اسمًا ظهرت عبر ثلاث محاولات، بقي 28. أما الأسماء الـ98 التي ظهرت مرة واحدة فلم تكن مقاعد: كانت عبورًا.
ماذا قسنا
سؤال المرجع نفسه المستخدم في كل قياساتنا منذ 23 أغسطس - « ما أفضل X؟ » - طُرح ثلاث مرات متتالية بصيغة متطابقة، في خمسة قطاعات عالمية، بالإنجليزية والفرنسية، على Perplexity وGemini. طلبنا 60 محاولة، فشلت 9 بسبب الواجهة البرمجية، وصلحت 51 للتحليل، جُمعت مساء 29 أغسطس.
لكل تركيبة قطاع-لغة-محرك نعدّ ثلاثة أشياء: الاتحاد (كل اسم ظهر مرة على الأقل)، والنواة (الأسماء الحاضرة في المحاولات الثلاث)، والذيل (ما ظهر مرة واحدة). النواة هي القائمة الوحيدة التي يُبنى عليها؛ والذيل مصادفة لا يستطيع أي تحسين استهدافها.
ننشر العدّ الخام والعدّ المنقّى معًا. ما زال مستخرجنا يُمرّر شذرات ليست أسماء شركات، وكل شذرة تخترع مقعدًا وهميًا. بعد التنقية، تحوي الإجابة الوسيطة 5 أسماء (8 خامًا) - 7 على Perplexity و4 على Gemini، و5 بالإنجليزية و4 بالفرنسية.
محرك يبني نواة، والآخر لا يكاد
| التركيبة | الأسماء الظاهرة | النواة | حصة النواة |
|---|---|---|---|
| حجز الفنادق (en) - Perplexity | 8 | 8 | 100 % |
| المدفوعات (en) - Perplexity | 8 | 7 | 88 % |
| المدفوعات (fr) - Perplexity | 9 | 4 | 44 % |
| CRM (en) - Perplexity | 9 | 3 | 33 % |
| حجز الفنادق (en) - Gemini | 13 | 2 | 15 % |
| CRM (en) - Gemini | 13 | 1 | 8 % |
| المدفوعات (en) - Gemini | 14 | 0 | 0 % |
| استضافة المواقع (en) - Gemini | 12 | 0 | 0 % |
القطاع نفسه، واللغة نفسها، واليوم نفسه: Perplexity في حجز الفنادق يعيد القائمة نفسها من 8 أسماء ثلاث مرات - نواة 100 %. وGemini في المدفوعات يُظهر 14 اسمًا عبر ثلاث محاولات ولا يحتفظ بواحد من محاولة إلى التي تليها.
على التركيبات السبع التي أجاب فيها المحركان معًا، الحساب واضح: على Perplexity، صمد 23 اسمًا من أصل 47 في المحاولات الثلاث - واحد من كل اثنين. وعلى Gemini، ثلاثة من 65 - واحد من كل عشرين. « ذكرٌ على Gemini » و« ذكرٌ على Perplexity » ليسا العملة نفسها، وأي درجة تجمعهما دون تصريح تخلط الذهب بالفيشات.
التركيبة الوسيطة بلا نواة إطلاقًا
أقسى رقم في هذا القياس ليس متوسطًا: وسيط النواة لكل تركيبة هو صفر. اختر تركيبة قطاع-لغة-محرك عشوائيًا، والحالة الأرجح أن لا اسم يصمد فيها ثلاث محاولات، بينما تعبر خمسة أسماء مرة واحدة ثم تختفي. أن تكون « موصى بك من الذكاء الاصطناعي » يوم الثلاثاء لا يقول شيئًا يُذكر عن الأربعاء.
إخفاقات الجمع الثلاثة كلها في جانب Perplexity.
حجز الفنادق بالفرنسية والاستضافة باللغتين بلا أي محاولة من Perplexity (حدود معدل الواجهة). لذلك لا يُقرأ نزال المحركين إلا على التركيبات السبع التي أجاب فيها الاثنان - ومنها خرج « 1 من 2 » و« 1 من 20 ».
قطاع أحذية الجري إخفاق من صنعنا.
مرشّح الضجيج عندنا يستبعد أي تسمية تحوي رقمًا - لكن الموديلات تُسمّى « Pegasus 41 » و« Clifton 10 ». فتخرج قوائم هذا القطاع شبه فارغة بعد التنقية: المرشّح هو من أفرغها لا المحركات. ننشر القطاع كما هو بدل حذفه بصمت.
ثلاث محاولات، مساء واحد، محركان: عيّنة لا إحصاء شامل.
ثلاث محاولات تكفي لفصل النواة عن الذيل؛ ولا تكفي لتأريخ سرعة دوران الأسماء. ولا شيء يضمن أن الليلة أو الأسبوع المقبل سيعطيان النسب نفسها.
ماذا تفعل بهذا
استهدف النواة لا القائمة.
الاسم الذي يظهر مرة في ثلاث محاولات ليس « له مقعد عند الذكاء الاصطناعي »: لقد عبر محاولةً واحدة. قبل الاحتفال بذكرٍ ما، اسأل هل يعود.
اسأل دائمًا: على أي محرك؟
الجملة نفسها - « أنتم مذكورون » - تصف على Perplexity موقعًا ثابتًا بنسبة 50 %، وعلى Gemini يانصيبًا بنسبة 5 %. تقريرٌ لا يسمّي المحرك لا يخبرك بشيء.
أعد القياس، بالطريقة نفسها، عبر الزمن.
هذا هو السبيل الوحيد للتمييز بين مقعد وعبور - فمحاولة واحدة عاجزة عن ذلك بحكم بنائها. ولهذا بالضبط تعيد مراقبتُنا السؤال نفسه كل 3 أيام.