بعد ثلاثة أيام لم تكد القائمة تتحرك - 6 نقاط، مقابل 46 لسؤال مختلف
نحن نبيع القياس المتكرر. لذلك اختبرنا هل تنجرف القائمة من يوم إلى آخر. إنها لا تكاد تنجرف - وفي أحد المحركين لا تنجرف إطلاقًا.
في هذا المقال
الجواب المختصر: اليوم الذي تسأل فيه لا يكاد يغيّر شيئًا. أما كيف تسأل فيغيّر كل شيء. بفارق ثلاثة أيام يعطي السؤال نفسه تقاطعًا بنسبة 70 %، مقابل 76 % بين تشغيلين تفصل بينهما دقائق. ست نقاط. وقد قسنا أمس أن تغيير سياق الشراء يكلّف 46.
نحن نبيع القياس المتكرر. وسيكون من المريح لنا أن نخلص إلى وجوب القياس المتواتر - ولهذا بالذات وجب طرح السؤال على أصوله، مع قبول الجواب المزعج سلفًا.
ما يحرّك القائمة ليس التقويم. بل السؤال، والمحرك.
ما الذي قِسناه
السؤال المرجعي نفسه الذي تستعمله كل قياساتنا منذ 23 أغسطس - مطابق حرفًا بحرف، تحققنا منه ولم نفترضه. أربعة قطاعات عالمية، ولغتان، ومساعدان يبحثان. 60 تشغيلًا اليوم، دون أي إخفاق، مضافًا إليها مجموعة 24 أغسطس المحفوظة لتكون نقطة المقارنة على ثلاثة أيام.
تبقى أرضية الضجيج هي القطعة الحاملة. فالمساعد يناقض نفسه أصلًا بفارق دقائق. والفارق بين يومين لا يعني شيئًا ما لم يُقرأ في مقابل ما تنتجه الصدفة خلال دقائق. لذلك طرحنا السؤال ثلاث مرات اليوم، لنحصل على أرضية اليوم نفسه بدل استيراد أرضية أول أمس.
النتيجة
| الفارق بين التشغيلين | منقّى | خام |
|---|---|---|
| اليوم نفسه، بفارق دقائق (الأرضية) | 76 % | 61 % |
| ثلاثة أيام | 70 % | 53 % |
| البعد عن الأرضية | 6 نقاط | 8 نقاط |
ست نقاط في الحساب الأشدّ، وثماني في الخام. وفي الحالتين تشبه قائمةُ ما قبل ثلاثة أيام قائمةَ اليوم بقدر ما يتشابه تشغيلان جريا في الدقيقة نفسها.
وهنا يكفّ المحركان عن التشابه
| المحرك | اليوم نفسه | بعد ثلاثة أيام | البعد |
|---|---|---|---|
| Perplexity | 85 % | 71 % | 14 نقطة |
| Gemini | 68 % | 69 % | لا شيء |
Gemini لا ينجرف إطلاقًا. فبعد ثلاثة أيام تشبه قائمتُه قائمةَ اليوم تمامًا بقدر ما تتشابه إجابتان متتاليتان من إجاباته هو. وليس ذلك ثباتًا: بل هو أصلًا قليل الاتساق مع نفسه - 68 % بين تشغيلين متتاليين - إلى حدّ لم يبقَ معه لثلاثة أيام ما تضيفه.
وPerplexity على العكس. يكرّر نفسه جيدًا على المدى القصير، 85 %، ولهذا بالذات يصير الانجراف الحقيقي مرئيًا: 14 نقطة في ثلاثة أيام. وعنده يكون القياس بفارق أسبوع ذا معنى، لأن الضجيج لا يغرق الإشارة.
عند أحد المحركين لسؤال «كل كم أقيس؟» جواب. وعند الآخر لا يقوم السؤال أصلًا، لأن تشغيلًا واحدًا هناك لا يعني شيئًا ابتداءً.
ستة في مقابل ستة وأربعين
لا يكتسب الرقم معناه إلا إلى جانب رقم الأمس، المستخرج بالتصميم نفسه والأرضية نفسها والتنقية نفسها.
| ما الذي يُغيَّر | الكلفة بالنقاط |
|---|---|
| اليوم الذي يُطرح فيه السؤال (3 أيام) | 6 |
| السعر معيارًا («أفضل قيمة مقابل السعر») | 24 |
| المستوى («أنا مبتدئ») | 37 |
| السياق («شركتي المكوّنة من 10 أشخاص») | 46 |
سبعة أضعاف. فالتدقيق الذي يكرّر الصياغة نفسها كل يوم يقيس، بدقة بالغة، ثُمنَ الموضوع. وميزانية القياس أفضل موضعًا في تنوّع الأسئلة منها في تواترها.
ما نستخلصه لمنتجنا نحن
القياس اليومي لا مبرّر له في هذه المرحلة.
فعلى ثلاثة أيام يظل الفارق داخل الضجيج. ولن نبيع وتيرة لا تسندها أرقامنا نحن.
القياس المفرد يبقى غير صالح للاستعمال
، وهو الوجه الآخر للنتيجة نفسها: فبتقاطع 68 % بين إجابتين متتاليتين، لا يُثبت تشغيلٌ واحد على Gemini شيئًا. التكرار لإسكات الضجيج، لا لملاحقة الأخبار.
الوتيرة المفيدة تتوقف على المحرك.
فعند Perplexity يظهر انجراف حقيقي في ثلاثة أيام؛ وعند Gemini تحتاج أولًا إلى عدة تشغيلات لتعرف عمّا تتحدث.
الرافعة هي تنوّع الأسئلة.
هناك تقع الـ46 نقطة، مقابل 6 للتقويم.
الحدود، وفقدان بيانات من صنعنا
أتلفنا بياناتنا نحن ليوم 26 أغسطس. فقد استورد نصٌّ تحليلي دالةً من جامع بيانات اليوم السابق؛ وذلك الجامع كان ينفّذ قياسه عند تحميل الوحدة ويعيد كتابة ملف مخرجاته. 120 تشغيلًا تقلّصت إلى 12، دون نسخة. ومن ثمّ فالمقارنتان على يوم وعلى يومين، اللتان كان يفترض أن يحملهما هذا المقال، غير قابلتين للقياس: فقياس يوم مضى لا يُعاد. ولم يبقَ إلا أرضية اليوم والفارق على ثلاثة أيام. وقد وُضع حاجز يمنع الاستيراد من تشغيل أي شيء.
نقطتان في الزمن، لا منحنى.
فست نقاط على ثلاثة أيام لا تقول شيئًا عن سلوك الانجراف بعد أسبوع أو شهر. ولا نستقرئ.
أربعة قطاعات ولغتان ومحركان.
أُخرجت أحذية الجري: فالإجابات فيها تذكر طُرزًا مرقّمة يستبعدها مستخرِجنا، فخرج القطاع بنسبة 0 % في كل مكان - أثرٌ من المرشّح لا نتيجة.
مستخرِجنا يبقى ناقصًا.
ولهذا يُنشر مستويا التنقية جنبًا إلى جنب: فإما أن يصمد الاستنتاج فيهما معًا، وإما فلا استنتاج.
الفترة الهادئة تبقى فترة هادئة.
ففي هذه الأيام الثلاثة لم يكن في القطاعات المختبَرة إطلاقٌ كبير ولا تغييرُ نموذج مُعلن. وانجرافٌ ضعيف في الهدوء لا يَعِد بشيء في الاضطراب.
نحن لا نعد أحدًا بمكان في إجابات ChatGPT - ولا أحد يستطيع ذلك بنزاهة. وما يمكن قياسه هو أين أنت: بحسب اللغة، وبحسب المحرك، وبحسب السؤال المطروح. والآن مع فكرة عمّا يفعله الزمن بذلك.