91 nomes no ChatGPT, 97 no Gemini, 1 em comum: nos Estados Unidos não há uma lista, há duas

Resposta curta: nos Estados Unidos, ser recomendado por uma IA não é uma coisa, são duas. Fizemos a mesma pergunta ao ChatGPT e ao Gemini, para quatro profissões em cinco cidades. O ChatGPT citou 91 empresas, o Gemini citou 97. Apenas uma aparece igual nas duas listas. Contando os casos em que a mesma empresa é escrita de forma diferente, chegamos a seis. E essas seis têm algo em comum que muda tudo.

Otimizar para um assistente de IA não coloca você no outro. Nesta medição, as duas listas quase não se tocam.

O que medimos, e o que não medimos

Quatro profissões: advogado, dentista, encanador, corretor de imóveis. Cinco cidades: Nova York, Los Angeles, Chicago, Houston e Phoenix. Uma pergunta feita como um morador faria, pedindo sem rodeios a lista dos melhores profissionais da cidade. Dois assistentes de IA consultados, ChatGPT e Gemini.

80 respostas aproveitáveis, e é preciso dizer logo o que falta. Tínhamos previsto um terceiro motor, o Perplexity: as 40 chamadas falharam por cota excedida. Esta medição não diz nada sobre ele. Ela também é pequena: nosso estudo francês cobre 1 386 respostas, este cobre 80. O que dá para tirar é uma diferença tão grande que uma amostra desse tamanho basta para vê-la; não uma medição fina.

As duas listas não se sobrepõem

Nos 19 pares profissão mais cidade em que os dois assistentes de IA responderam, retiramos as entradas que não são empresas, aquelas respostas em que o modelo enumera critérios de escolha em vez de nomes. Sobram 91 nomes do lado do ChatGPT e 97 do lado do Gemini.

Apenas um é idêntico nas duas listas. Não um em dez, não um em cinco: um em 188.

A comparação por nome exato é severa e subestima a sobreposição: um motor escreve « Dr. Michael Apa », o outro escreve « Apa Aesthetic », e é o mesmo endereço. Relendo cada par à mão para contar as empresas reais por trás dos rótulos, passamos de um para seis. Seis em 188.

As seis exceções contam a história real

Quatro das seis são grandes imobiliárias ou um corretor conhecido do grande público. A quinta é um escritório de advocacia de Chicago cujo nome circula há décadas. A sexta é uma franquia de encanamento presente em vários estados.

Nenhum consultório independente, em nenhuma das cinco cidades, é recomendado pelos dois motores ao mesmo tempo. O dentista do bairro, o encanador da cidade, o escritório com dois sócios: aparecem em um ou no outro, nunca nos dois.

Esse é o resultado, e ele se lê nos dois sentidos. É desanimador, porque um trabalho de visibilidade feito para um assistente de IA não leva você ao outro. É animador, porque a lista em que você não está não está trancada pelos seus concorrentes: ela é simplesmente outra.

Os dois motores nem recomendam a mesma coisa

Uma diferença mais profunda aparece quando se lê as respostas em vez de contá-las. Perguntado sobre dentistas em Nova York, o ChatGPT responde com uma lista de pessoas: « Dr. Michael Apa », « Dr. Steven Gold », « Dr. Rebecca L. Wexler ». O Gemini responde com uma lista de consultórios, com o endereço web: « Apa Aesthetic », seguido de um link, de um bairro e de uma frase sobre o motivo da recomendação.

A unidade de recomendação não é a mesma. Num você é um profissional, no outro você é um endereço. Isso muda o que há para trabalhar: uma biografia nominal e uma reputação profissional de um lado, um site nomeado e descrito do outro.

Três respostas em 80 não citam ninguém e apenas enumeram critérios, a qualidade da comunicação, as avaliações de clientes, a licença e o seguro. O modelo julgou a pergunta subjetiva demais para respondê-la com nomes. É raro, mas não é nulo: nesses casos, a pergunta não coroa ninguém.

Uma falha observada, que convém reconhecer

Em três respostas do ChatGPT, a lista se desfaz depois do quinto nome. Lê-se uma sequência de iniciais separadas por pontos, depois outra. O modelo esgotou o que sabia e continuou a produzir a forma de uma lista sem o conteúdo.

Não é uma curiosidade. Diz que o comprimento de uma resposta não é a medida da sua substância, e que as posições baixas de um ranking produzido por um assistente de IA valem muitas vezes menos que as altas. Nesta medição a média é de 7,1 nomes por resposta; os dois ou três últimos são regularmente os mais frágeis.

O que um dirigente pode fazer com isso

Os limites

• 80 respostas, quatro profissões, cinco cidades. Suficiente para ver uma diferença enorme, não para dimensioná-la com precisão, e não para falar de outras profissões nem de outras cidades.
• O Perplexity está ausente desta leitura: suas 40 chamadas falharam por cota. Não sabemos onde ele se situa.
• A contagem das sobreposições reais, seis, apoia-se numa leitura humana dos pares de nomes. Uma leitura diferente poderia achar cinco ou sete, não cinquenta.
• Uma resposta de assistente de IA depende de como a pergunta é formulada. Fizemos uma por profissão e cidade; outra formulação traria outros nomes.

A pergunta a fazer não é se a IA recomenda você. É qual delas, e para quem. Medir é gratuito e leva um minuto.