Ir para o conteúdo
Waseit
← Todos os artigos
AEOGEO

Você está na lista. Depois o cliente faz uma segunda pergunta.

18 conversas, três países, dois turnos cada. Na hora em que o assistente precisa escolher, uma vez em três ele cita uma empresa que não estava na própria lista dele.

21 de agosto de 20267 min de leitura
Neste artigo
  1. O protocolo
  2. O ChatGPT não escolhe. Ele pergunta onde você está.
  3. Estar na lista não leva você à final
  4. O que quebra a lista: a urgência
  5. O Gemini escolhe dentro da lista - menos para advogados
  6. Um número que jogamos fora
  7. O que fazer na segunda de manhã

No dia 14 de agosto, o Google colocou um novo modelo por trás do modo IA da busca: o Gemini 3.7 Flash, lançado na véspera. Robby Stein, vice-presidente de produto do Google Search, anunciou com uma frase que merece atenção - o modelo segue melhor as instruções e entende melhor a intenção.

Numa conversa de verdade, a intenção não está na primeira pergunta. Ela se define na segunda. O cliente pede "as melhores padarias de Bordeaux", lê a lista e então pergunta o que realmente queria saber: "qual delas faz pão de fermentação natural?". É nesse turno que ele escolhe.

Só que todas as medições de visibilidade em IA publicadas este ano param no primeiro turno. O relatório "State of AI Search" da AirOps, cujos números circulam por toda parte - 30 % das marcas seguem visíveis de uma resposta para a seguinte, 20 % em cinco rodadas -, repete a mesma pergunta várias vezes. Ninguém mede a conversa. Nós medimos, esta manhã.

O protocolo

Seis casos, três países: encanador em Lyon, padaria em Bordeaux, advogado trabalhista em Paris, plumber em Manchester, bakery em Bristol, encanador em São Paulo. Para cada um, dois turnos na mesma conversa: a pergunta de lista, a resposta devolvida ao histórico e então a pergunta de quem precisa decidir, com a instrução "me dá só um nome". Três assistentes - ChatGPT, Gemini, Perplexity -, ou seja, 18 conversas. Todos os nomes foram recontados à mão.

O ChatGPT não escolhe. Ele pergunta onde você está.

Zero vezes em seis o ChatGPT citou uma empresa no segundo turno. Cinco vezes em seis, respondeu com uma pergunta:

  • "Me diga seu bairro ou seu CEP e eu te dou o melhor contato disponível." - o vazamento em Lyon.
  • "Em que bairro de Bordeaux você está?" - o pão de fermentação natural.
  • "Você é o empregado ou o empregador?" - a demissão em Paris.
  • "Do you mean Manchester, UK or Manchester, NH?" e depois "Do you mean Bristol, UK?" - ele nem sabe de que cidade se trata.

Na sexta vez, em São Paulo, ele deu um nome: Triider - uma plataforma que conecta você a profissionais, não um profissional.

O assistente mais usado do mundo, na hora em que o cliente precisa escolher, não indica ninguém. Ele pede um CEP.

Estar na lista não leva você à final

O Perplexity, esse decide: seis vezes em seis deu um nome, e só um. Mas três vezes em seis esse nome não estava na própria lista do primeiro turno.

Lyon.

Primeiro turno: Bilik, Les Bons Artisans, RingTwice, Yoojo, Travaux.com. Segundo turno: Accord Artisans, nunca mencionado antes.

Manchester.

Primeiro turno: Bee Heated MCR, AJ & RC Plumbing, SR Plumbing, JB Plumbing, About Town Plumbing. Segundo turno: Kang Plumbing, nunca mencionado antes.

São Paulo.

Primeiro turno: Triider, GetNinjas, oHub, Encanador 24 Horas, Play Tec. Segundo turno: Assisty 24h, nunca mencionado antes.

O que quebra a lista: a urgência

A divisão é limpa, e não é sorte. Nossas seis segundas perguntas se dividem em duas famílias. Três são sobre disponibilidade: alguém precisa vir hoje. Três são sobre qualidade: fermentação natural de verdade, proper sourdough, contestar uma demissão.

As três perguntas de disponibilidade produziram um nome novo. As três perguntas de qualidade mantiveram um nome da lista - Maison Lamour em Bordeaux, Hart's Bakery em Bristol, Kohen Avocats em Paris.

E o próprio motor diz por quê. Sobre a Accord Artisans: "anunciam atendimento em 30 minutos em Lyon, 24 horas por dia, 7 dias por semana". Sobre a Kang Plumbing: "listed as open 24/7 in Manchester and says it offers immediate assistance". Não é a reputação que ganha esse turno. É uma frase escrita em algum lugar, dizendo que você pode ser contatado agora.

O Gemini escolhe dentro da lista - menos para advogados

O Gemini citou uma empresa três vezes em seis, e todas as vezes era um nome da própria lista: Blicko em Lyon, Le Blé en Herbe em Bordeaux, Farro Bakery em Bristol. Nos outros três casos mandou para outro lugar - em Manchester para a United Utilities, a companhia de água, e para o Checkatrade, um diretório; em São Paulo para o GetNinjas, uma plataforma.

Em Paris ele recusou, e escreveu com todas as letras: está sujeito a regras de neutralidade que o impedem de apontar um profissional em vez de outro. Numa profissão regulamentada, o segundo turno pode não ter vencedor nenhum.

Um número que jogamos fora

Nossa extração automática anunciava, de início, taxas de sobrevivência de 0 %, 19 % e 50 % conforme o motor. Não vamos publicá-las: estão erradas. Relendo as listas, parte das "empresas" contadas não são empresas - são frases de conselho que a extração toma por nomes próprios: "O boca a boca ainda manda", "Verifique o registro", "Red flags", "Dica de emergência".

É um buraco na nossa ferramenta, e ele não se limita às escritas que abrimos na semana passada: aparece também em francês e em inglês, assim que o assistente põe um conselho em negrito. Escrevemos isso aqui porque nomear um defeito vale mais do que publicar um percentual lisonjeiro. Os nove nomes deste artigo foram verificados um a um.

O que fazer na segunda de manhã

Escreva sua disponibilidade por extenso

, no seu site e nas suas fichas: horários, dias, área atendida, prazo de atendimento. Foi essa a frase que o motor citou para justificar as três escolhas surpresa.

Escreva seu endereço e seu bairro.

Cinco das seis perguntas que o ChatGPT fez no segundo turno eram sobre localização. Um assistente que não sabe onde você está não pode escolher você.

Não meça apenas a primeira resposta.

Estar nela não garante a final: um terço das escolhas observadas veio de outro lugar.

Se a sua profissão é regulamentada

- advogado, médico, contador -, espere uma recusa em citar nomes. O que conta então são os diretórios oficiais que o assistente indica no lugar.

Os limites, como sempre, e aqui eles contam: seis casos, três países, uma segunda pergunta por caso, um modelo por motor, uma manhã. A divisão disponibilidade/qualidade se apoia em três casos de cada lado - é um mecanismo coerente, citado pelo próprio motor, não uma lei. O que é sólido cabe numa frase: a lista do primeiro turno não é uma pré-seleção.