Zum Inhalt springen
Waseit
← Alle Artikel
AEOGEO

Sie stehen auf der Liste. Dann stellt der Kunde eine zweite Frage.

18 Gespräche, drei Länder, je zwei Runden. In dem Moment, in dem der Assistent einen auswählen muss, nennt er in einem Drittel der Fälle einen Betrieb, der nie auf seiner eigenen Liste stand.

21. August 20267 Min. Lesezeit
In diesem Artikel
  1. Das Vorgehen
  2. ChatGPT wählt nicht. Es fragt, wo Sie sind.
  3. Auf der Liste zu stehen bringt Sie nicht ins Finale
  4. Was die Liste sprengt: die Dringlichkeit
  5. Gemini wählt aus seiner Liste - außer bei Anwälten
  6. Eine Zahl, die wir weggeworfen haben
  7. Was Sie am Montagmorgen tun

Am 14. August hat Google ein neues Modell hinter den KI-Modus seiner Suche gestellt: Gemini 3.7 Flash, tags zuvor veröffentlicht. Robby Stein, Produktchef von Google Search, kündigte es mit einem Satz an, bei dem es sich zu verweilen lohnt - das Modell folge Anweisungen besser und verstehe die Absicht besser.

In einem echten Gespräch steckt die Absicht nicht in der ersten Frage. Sie schärft sich in der zweiten. Der Kunde fragt nach « den besten Bäckereien in Bordeaux », liest die Liste und fragt dann, was er wirklich wissen wollte: « welche macht echten Natursauerteig? ». In dieser Runde wählt er.

Alle in diesem Jahr veröffentlichten Messungen der KI-Sichtbarkeit hören bei der ersten Runde auf. Der Bericht « State of AI Search » von AirOps, dessen Zahlen überall zitiert werden - 30 % der Marken bleiben von einer Antwort zur nächsten sichtbar, 20 % über fünf Ziehungen -, stellt immer wieder dieselbe Frage. Niemand misst das Gespräch. Wir haben es heute Morgen getan.

Das Vorgehen

Sechs Fälle, drei Länder: Klempner in Lyon, Bäckerei in Bordeaux, Arbeitsrechtsanwalt in Paris, Klempner in Manchester, Bäckerei in Bristol, Klempner in São Paulo. Für jeden zwei Runden im selben Gespräch: die Listenfrage, die Antwort zurück in den Verlauf gelegt, dann die Frage eines Kunden, der sich entscheiden muss, mit der Anweisung « gib mir nur einen Namen ». Drei Assistenten - ChatGPT, Gemini, Perplexity -, also 18 Gespräche. Jeder Name wurde von Hand nachgezählt.

ChatGPT wählt nicht. Es fragt, wo Sie sind.

Null von sechs Malen nannte ChatGPT in der zweiten Runde einen Betrieb. Fünf von sechs Malen antwortete es mit einer eigenen Frage:

  • « Sag mir dein Viertel oder deine Postleitzahl, dann gebe ich dir den besten verfügbaren Kontakt. » - der Wasserschaden in Lyon.
  • « In welchem Viertel von Bordeaux bist du? » - der Natursauerteig.
  • « Sind Sie Arbeitnehmer oder Arbeitgeber? » - die Kündigung in Paris.
  • « Do you mean Manchester, UK or Manchester, NH? », dann « Do you mean Bristol, UK? » - es weiß nicht einmal, von welcher Stadt die Rede ist.

Beim sechsten Mal, in São Paulo, nannte es doch einen Namen: Triider - eine Vermittlungsplattform, kein Handwerker.

Der meistgenutzte Assistent der Welt zeigt in dem Moment, in dem der Kunde wählen muss, auf niemanden. Er fragt nach einer Postleitzahl.

Auf der Liste zu stehen bringt Sie nicht ins Finale

Perplexity entscheidet sehr wohl: sechs von sechs Malen nannte es einen Namen, und nur einen. Aber drei von sechs Malen stand dieser Name nicht auf seiner eigenen Liste der ersten Runde.

Lyon.

Erste Runde: Bilik, Les Bons Artisans, RingTwice, Yoojo, Travaux.com. Zweite Runde: Accord Artisans, nie zuvor erwähnt.

Manchester.

Erste Runde: Bee Heated MCR, AJ & RC Plumbing, SR Plumbing, JB Plumbing, About Town Plumbing. Zweite Runde: Kang Plumbing, nie zuvor erwähnt.

São Paulo.

Erste Runde: Triider, GetNinjas, oHub, Encanador 24 Horas, Play Tec. Zweite Runde: Assisty 24h, nie zuvor erwähnt.

Was die Liste sprengt: die Dringlichkeit

Die Aufteilung ist sauber, und sie ist kein Zufall. Unsere sechs zweiten Fragen zerfallen in zwei Familien. Drei betreffen die Verfügbarkeit: heute muss jemand kommen. Drei betreffen die Qualität: echter Natursauerteig, proper sourdough, eine Kündigung anfechten.

Alle drei Verfügbarkeitsfragen brachten einen neuen Namen hervor. Alle drei Qualitätsfragen behielten einen Namen von der Liste - Maison Lamour in Bordeaux, Hart's Bakery in Bristol, Kohen Avocats in Paris.

Und die Engine sagt selbst, warum. Zu Accord Artisans: « sie werben in Lyon mit einem Einsatz in 30 Minuten, rund um die Uhr, sieben Tage die Woche ». Zu Kang Plumbing: « listed as open 24/7 in Manchester and says it offers immediate assistance ». Diese Runde gewinnt nicht der Ruf. Sie gewinnt ein irgendwo geschriebener Satz - einer, der sagt, dass man Sie jetzt erreichen kann.

Gemini wählt aus seiner Liste - außer bei Anwälten

Gemini nannte drei von sechs Malen einen Betrieb, und jedes Mal war es ein Name von seiner eigenen Liste: Blicko in Lyon, Le Blé en Herbe in Bordeaux, Farro Bakery in Bristol. In den drei anderen Fällen schickte es uns woandershin - in Manchester zu United Utilities, dem Wasserversorger, und zu Checkatrade, einem Verzeichnis; in São Paulo zu GetNinjas, einer Plattform.

In Paris weigerte es sich und schrieb es klar hin: es sei an Neutralitätsregeln gebunden, die ihm verbieten, einen Fachmann vor einen anderen zu stellen. In einem reglementierten Beruf kann die zweite Runde gar keinen Sieger haben.

Eine Zahl, die wir weggeworfen haben

Unsere automatische Auswertung meldete zunächst Überlebensraten von 0 %, 19 % und 50 % je nach Engine. Wir veröffentlichen sie nicht: sie sind falsch. Beim erneuten Lesen der Listen sind einige der gezählten « Betriebe » überhaupt keine - es sind Ratschläge, die der Auswerter für Eigennamen hält: « Mundpropaganda ist weiterhin König », « Prüfen Sie die Registernummer », « Red flags », « Dica de emergência ».

Das ist ein Loch in unserem Werkzeug, und es beschränkt sich nicht auf die Schriften, die wir letzte Woche geöffnet haben: es öffnet sich auch im Französischen und Englischen, sobald der Assistent einen Ratschlag fett setzt. Wir schreiben es auf, weil einen Fehler zu benennen mehr wert ist, als einen schmeichelhaften Prozentsatz zu veröffentlichen. Die neun Namen dieses Artikels wurden einzeln von Hand geprüft.

Was Sie am Montagmorgen tun

Schreiben Sie Ihre Verfügbarkeit vollständig aus

, auf Ihrer Website und in Ihren Einträgen: Zeiten, Tage, abgedeckter Bereich, Einsatzfrist. Genau diesen Satz zitierte die Engine, um alle drei ihrer überraschenden Entscheidungen zu begründen.

Schreiben Sie Ihre Adresse und Ihr Viertel.

Fünf der sechs Fragen, die ChatGPT in der zweiten Runde stellte, betrafen den Ort. Ein Assistent, der nicht weiß, wo Sie sind, kann Sie nicht wählen.

Messen Sie nicht nur die erste Antwort.

Darin zu stehen bringt Sie nicht ins Finale: ein Drittel der beobachteten Entscheidungen kam von woanders.

Wenn Ihr Beruf reglementiert ist

- Anwalt, Arzt, Steuerberater -, rechnen Sie mit einer Weigerung, Namen zu nennen. Dann zählen die amtlichen Verzeichnisse, auf die der Assistent stattdessen verweist.

Die Grenzen, wie immer, und hier zählen sie: sechs Fälle, drei Länder, je eine zweite Frage, ein Modell je Engine, ein Morgen. Die Aufteilung Verfügbarkeit/Qualität ruht auf drei Fällen je Seite - ein stimmiger Mechanismus, von der Engine selbst zitiert, kein Gesetz. Was solide ist, passt in einen Satz: die Liste der ersten Runde ist keine Vorauswahl.