147 nomes apareceram, 28 ficaram: a maioria das citações de IA são passagens, não lugares
Três tentativas idênticas, cinco setores, dois motores: dois nomes citados em cada três aparecem uma única vez. E o valor de uma citação depende do motor - uma em duas se mantém no Perplexity, uma em vinte no Gemini.
19 %
dos nomes citados se mantêm nas três tentativas - 28 de 147
Neste artigo
Resposta curta: ser citado por uma IA e ter um lugar nela são duas coisas diferentes, e a distância se mede. Fizemos a mesma pergunta três vezes seguidas, em cinco setores, em dois idiomas, a dois motores. 147 nomes de empresas apareceram ao menos uma vez. Apenas 28 estão nas três tentativas. 98 - dois em cada três - aparecem uma única vez: passagens, não lugares.
5 nomes
o comprimento mediano de uma lista de recomendações, após a limpeza
1 em 2 vs 1 em 20
a chance de uma citação ser um lugar estável, no Perplexity vs no Gemini
De 147 nomes que apareceram em três tentativas, 28 ficaram. Os 98 que apareceram uma única vez não eram lugares: passagens.
O que medimos
A mesma pergunta de referência de todas as nossas medições desde 23 de agosto - « quais são os melhores X? » - feita três vezes seguidas, de forma idêntica, em cinco setores globais, em inglês e francês, ao Perplexity e ao Gemini. 60 tentativas pedidas, 9 falhas de API, 51 aproveitáveis, coletadas na noite de 29 de agosto.
Para cada combinação setor-idioma-motor contamos três coisas: a união (todos os nomes que apareceram ao menos uma vez), o núcleo (os presentes nas três tentativas) e a cauda (os que apareceram uma única vez). O núcleo é a única lista sobre a qual se pode construir; a cauda é acaso que nenhuma otimização consegue mirar.
O bruto e o filtrado são publicados juntos. Nosso extrator ainda deixa passar fragmentos que não são nomes de empresas, e cada fragmento inventa um lugar fictício. Após a limpeza, uma resposta mediana contém 5 nomes (8 no bruto) - 7 no Perplexity, 4 no Gemini, 5 em inglês, 4 em francês.
Um motor constrói um núcleo, o outro quase não
| Combinação | Nomes que apareceram | Núcleo | Parte do núcleo |
|---|---|---|---|
| Reserva de hotel (en) - Perplexity | 8 | 8 | 100 % |
| Pagamentos (en) - Perplexity | 8 | 7 | 88 % |
| Pagamentos (fr) - Perplexity | 9 | 4 | 44 % |
| CRM (en) - Perplexity | 9 | 3 | 33 % |
| Reserva de hotel (en) - Gemini | 13 | 2 | 15 % |
| CRM (en) - Gemini | 13 | 1 | 8 % |
| Pagamentos (en) - Gemini | 14 | 0 | 0 % |
| Hospedagem web (en) - Gemini | 12 | 0 | 0 % |
Mesmo setor, mesmo idioma, mesmo dia: o Perplexity na reserva de hotel devolve três vezes a mesma lista de 8 nomes - um núcleo de 100 %. O Gemini nos pagamentos faz aparecer 14 nomes em três tentativas e não mantém nenhum de uma tentativa para a outra.
Nas sete combinações em que os dois motores responderam, a conta é nítida: no Perplexity, 23 dos 47 nomes que apareceram se mantêm nas três tentativas - um em dois. No Gemini, 3 de 65 - um em vinte. Uma « citação Gemini » e uma « citação Perplexity » não são a mesma moeda, e uma nota que as soma sem dizer isso mistura ouro com fichas.
A combinação mediana não tem núcleo nenhum
O número mais duro da medição não é uma média: a mediana do núcleo por combinação é zero. Escolha uma combinação setor-idioma-motor ao acaso e o caso mais provável é que nenhum nome se mantenha ali por três tentativas, enquanto cinco nomes passam uma vez e somem. Ser « recomendado pela IA » numa terça-feira não diz quase nada sobre a quarta.
Três falhas de coleta se concentram no lado do Perplexity.
A reserva de hotel em francês e a hospedagem nos dois idiomas não têm nenhuma tentativa Perplexity (limites de taxa da API). O duelo dos motores só é lido, portanto, nas sete combinações em que os dois responderam - e é delas que saem o 1 em 2 e o 1 em 20.
O setor de tênis de corrida é uma falha nossa.
Nosso filtro antirruído descarta rótulos com dígitos - mas os modelos se chamam « Pegasus 41 » ou « Clifton 10 ». As listas desse setor saem quase vazias após a limpeza: é o filtro que as esvazia, não os motores. Publicamos o setor como está em vez de retirá-lo em silêncio.
Três tentativas, uma noite, dois motores: uma amostra, não um censo.
Três tentativas bastam para separar um núcleo de uma cauda; não bastam para datar a rotação dos nomes. E nada garante que a noite ou a semana seguinte daria as mesmas proporções.
O que fazer com isso
Mire o núcleo, não a lista.
Um nome que aparece uma vez em três tentativas não « tem um lugar na IA »: passou por uma tentativa. Antes de comemorar uma citação, pergunte se ela volta.
Pergunte sempre em qual motor.
A mesma frase - « você é citado » - descreve uma posição 50 % estável no Perplexity e uma loteria de 5 % no Gemini. Um relatório que não nomeia o motor não diz nada.
Meça de novo, do mesmo jeito, ao longo do tempo.
É o único jeito de distinguir um lugar de uma passagem - uma tentativa única não consegue, por construção. É exatamente por isso que nosso monitoramento repete a mesma pergunta a cada 3 dias.