« Primeiros na IA »: o lugar aguenta-se, mas há um por idioma e por motor
Cinco vezes a mesma pergunta: a marca citada em primeiro mantém-se em 81 % dos casos. O problema não é a estabilidade - é que não existe UM primeiro lugar.
81 %
das combinações mantêm a mesma marca em primeiro ao longo de cinco execuções idênticas
Neste artigo
Resposta curta: o primeiro lugar é bastante estável, e é precisamente isso que torna enganadora a frase « somos os primeiros na IA ». Faça cinco vezes exatamente a mesma pergunta: a marca citada em primeiro não muda em 81 % dos casos. Mas mude de idioma ou de motor, e já não é a mesma marca.
1 lugar
o deslocamento mediano de uma marca entre duas execuções - uma em cada duas não se move
100
execuções, zero falhas: 4 setores x 2 idiomas x 2 motores, cinco vezes cada
Na hospedagem de sites, a Hostinger aparece em primeiro em inglês, francês e espanhol - e a IONOS em alemão, nos dois motores. Nos pagamentos é a Stripe quase em toda a parte, mas a Redsys em espanhol no Gemini. Na reserva de hotéis, o Perplexity coloca a Booking.com em primeiro e o Gemini o Google Travel, no mesmo dia e no mesmo idioma.
Não há um primeiro lugar. Há um por idioma e por motor, e nada garante que se pareçam.
O que medimos
A mesma pergunta de referência que todas as nossas medições usam desde 23 de agosto, repetida cinco vezes seguidas por combinação. Quatro setores globais, dois idiomas, dois assistentes que procuram. 100 execuções, zero falhas. Nada muda entre duas execuções: nem o setor, nem o idioma, nem o motor, nem o dia. Só o acaso do assistente se exprime.
A limpeza precede a ordenação, e isso não é um pormenor. O nosso extrator ainda deixa passar fragmentos que não são nomes de empresa. Se caírem na primeira posição, fabricam uma instabilidade que é nossa e não do motor. Por isso guardamos apenas os nomes que se repetem em várias respostas, e só depois ordenamos.
O primeiro lugar aguenta-se
| Medida | Bruto | Após correção dos rótulos |
|---|---|---|
| Combinações que mantêm a mesma marca em primeiro | 12/16 (75 %) | 13/16 (81 %) |
| Marcas que não se deslocam nem um lugar | 50 % | 50 % |
| Deslocamento mediano de uma marca | 1 lugar | 1 lugar |
| Maior deslocamento observado | 5 lugares | 5 lugares |
Uma marca em cada duas ocupa exatamente o mesmo lugar sempre que se repete a pergunta. O deslocamento mediano é de um lugar. Ao contrário do que se ouve muitas vezes, a ordenação não é um sorteio.
Obtivemos primeiro 38 %, e esse número estava errado: fragmentos como « small teams » ou « performance » ocupavam o primeiro lugar. Limpar antes de ordenar dá 75 %, e depois 81 % ao fundir « hubspot crm » e « hubspot », que designam a mesma empresa. A instabilidade que íamos publicar era nossa.
Mas há oito primeiros lugares, não um
| Setor | Perplexity | Gemini |
|---|---|---|
| Pagamentos (en e fr) | Stripe | Stripe |
| Reserva de hotéis (en) | Booking.com | Google Travel |
| Reserva de hotéis (fr) | Booking.com | Booking.com |
| Hospedagem (en e fr) | Hostinger | Hostinger, exceto em inglês |
| CRM (en) | HubSpot | HubSpot |
| CRM (fr) | sem líder estável | sem líder estável |
E a medição de 24 de agosto, em mais idiomas, prolonga a tabela. Em alemão, o alojamento citado em primeiro não é a Hostinger nem um ator global: é a IONOS, nos dois motores. O Perplexity descreve-a por palavras suas como « in mehreren Vergleichen auf Platz 1 bzw. Testsieger ». Em espanhol, o Gemini faz aparecer a Redsys nos pagamentos - a rede bancária espanhola - « muy utilizada en el mercado español ». Ambas as empresas são invisíveis nos outros idiomas.
Um alojamento alemão é o primeiro na Alemanha. Não existe em inglês. As duas afirmações são verdadeiras ao mesmo tempo.
O caso do CRM em francês
É a única combinação da nossa medição em que nenhuma marca segura o primeiro lugar. No Gemini, cinco execuções da mesma pergunta dão três primeiros diferentes: Freshsales, HubSpot, monday. No Perplexity, a Pipedrive alterna com um rótulo que nem sequer é uma empresa.
Não há ali um líder a destronar, e isso é informação comercial: nesse mercado, o primeiro lugar está disponível. Noutros - Stripe nos pagamentos, Hostinger na hospedagem em inglês - está ocupado pela mesma marca em todas as execuções.
O que fazer com isto
Uma frase como « somos os primeiros no ChatGPT » não é falsa: é incompleta.
Primeiros em que idioma, em que motor e com que formulação? Sem estas três precisões, não se verifica.
Não transponha um primeiro lugar de um mercado para outro.
Liderar em inglês nada diz sobre o alemão, onde um ator nacional pode ocupar o lugar - e ocupá-lo nos dois motores ao mesmo tempo.
Veja se o topo está ocupado antes de o atacar.
Quando a mesma marca volta em todas as execuções, o primeiro lugar é um muro. Quando muda de cada vez, como no CRM em francês, está aberto.
Uma única execução não estabelece um lugar.
Metade das marcas não se desloca, mas a outra metade sim - até cinco lugares na nossa medição. Uma posição constata-se ao longo de várias repetições, nunca a partir de uma captura de ecrã.
Os limites
Quatro setores, dois idiomas, dois motores na parte repetida.
Os ténis de corrida ficam de fora: as respostas citam modelos numerados que o nosso extrator descarta, o que produzia um resultado que não o era.
A tabela alargada ao alemão e ao espanhol vem da recolha de 24 de agosto
, com uma única execução por combinação. Mostra que o primeiro difere consoante o idioma; não estabelece a sua estabilidade nesses idiomas, por falta de repetições.
O nosso extrator continua imperfeito
, e um fragmento persiste no topo de uma combinação mesmo após correção. Publicamos os dois cálculos em vez de um, e nomeamos o que resta.
« Primeiro » aqui significa citado em primeiro no texto da resposta.
Não é uma classificação que o motor publique: é a ordem pela qual enumera. Não lhe atribuímos intenção de hierarquizar.
Não prometemos a ninguém um lugar nas respostas do ChatGPT - ninguém pode fazê-lo honestamente. O que se mede é onde você está: por idioma, por motor, por pergunta feita. Inclusive quando a resposta é « o lugar está ocupado, e por alguém diferente do que julga ».