As fontes citadas explicam mesmo a recomendação? 128 verificadas uma a uma
Lemos as páginas que a IA diz ter consultado e procuramos nelas a marca recomendada. 128 marcas em 128, com uma mediana de seis páginas a citar cada uma.
Neste artigo
Resposta curta: sim. Das 128 empresas recomendadas pelo Perplexity, todas as 128 aparecem em pelo menos uma das páginas que o motor declara ter consultado. A mediana é de seis páginas citantes em doze fontes examinadas. As citações não são enfeite: elas sustentam mesmo a resposta.
Este artigo existe porque o de ontem terminava com uma ressalva que nós próprios escrevemos: « medimos o que é lido, não o que convenceu ». Uma página citada não é forçosamente a que colocou um nome na lista. Deixar a própria ressalva a dormir transforma-a em preciosismo de estilo. Ela pode ser resolvida, então resolvemo-la.
Se as fontes não explicassem as recomendações, tudo o que publicamos há três dias sobre onde ser citado seria conselho sem fundamento. É o tipo de verificação que mais vale fazer a si próprio.
O que medimos, exatamente
Partimos das respostas recolhidas em 24 de agosto - cinco setores globais, sem mencionar nenhum país. De cada uma temos duas coisas: o texto, portanto as empresas recomendadas, e os URL citados. Basta ler essas páginas e ver se o nome recomendado está lá.
A armadilha decide tudo, e é brutal. Uma página que não conseguimos ler - acesso recusado, tempo esgotado, conteúdo construído em JavaScript - faria uma marca parecer « não sustentada » quando talvez o seja. Estaríamos a fabricar o resultado mais espetacular do artigo a partir das nossas próprias falhas de recolha. Classificámos, por isso, em três estados, nunca dois:
| Estado | Significado |
|---|---|
| Sustentada | a marca aparece em pelo menos uma página citada |
| Não sustentada | todas as páginas citadas foram lidas, a marca não está lá |
| Indeterminada | pelo menos uma página citada ficou ilegível |
A taxa publicada é calculada apenas sobre os casos resolvidos, e a parcela de indeterminadas é publicada ao lado: 254 das 300 páginas citadas puderam ser lidas, ou seja 85 %. Anunciamo-nos como robô e não imitamos um navegador - um site que recusa robôs tem o direito de nos recusar, e isso conta como « ilegível », não como um facto.
O resultado
| Veredicto | Número |
|---|---|
| Sustentada por pelo menos uma página citada | 128 |
| Não sustentada | 0 |
| Indeterminada (página ilegível) | 6 |
| Taxa nos casos resolvidos | 100 % |
E o apoio não é escasso. A marca recomendada mediana aparece em seis das doze páginas examinadas, com média de 5,9. Não é uma coincidência de vocabulário: é convergência.
Os nove por cento que dependem de uma única página
11 marcas em 128 são sustentadas por apenas UMA página citada. É o número mais acionável da medição, e lê-se nos dois sentidos.
Como alavanca: nesses casos, uma única página bastou para colocar um nome na resposta. Um comparador nacional, um artigo de imprensa técnica, um texto numa plataforma local - uma página, e a empresa existe para o assistente. Isso torna a estratégia de fontes concreta em vez de incantatória.
Como fragilidade: se é citado por uma única página, a sua presença depende dela. Essa página muda de classificação, desaparece, ou deixa de ser lida - e você desaparece da resposta sem que nada tenha mudado do seu lado.
O que este resultado autoriza a dizer, e o que não autoriza
Autoriza dizer que a lista de fontes é uma alavanca real. Uma vez que as recomendações são efetivamente sustentadas pelo que o motor leu, e uma vez que - era a medição da véspera - essas páginas são nacionais, poucas e identificáveis por setor e por idioma, então trabalhar para aparecer nelas age sobre a causa e não sobre um sintoma.
Não autoriza dizer que aparecer numa página basta para ser recomendado. Mostrámos que toda a recomendação assenta numa fonte; não mostrámos que toda a fonte produz uma recomendação. As páginas citadas mencionam muito mais empresas do que o motor retém. Estar lá é uma condição, não um salvo-conduto.
Toda a recomendação assenta numa página lida. Nem toda a página lida produz uma recomendação. Confundir as duas seria vender um sonho.
Um defeito encontrado do nosso lado, não do deles
A mesma medição revelou um problema na nossa ferramenta. O nosso extrator de nomes devolvia 200 entradas; 66, um terço, não eram nomes de empresa - rótulos de classificação colados aos seus marcadores de citação, como `Best overall: HubSpot CRM[2][3][4][6]`, ou aberturas de conselho (« Para a maioria das pessoas »).
Pusemos essas 66 de lado antes de calcular, e é por isso que este artigo fala de 128 marcas e não de 200. Um detalhe que conta: as únicas cinco « não sustentadas » da medição bruta eram todas artefactos desse tipo - nenhuma era uma recomendação infundada. A correção está em fila. Dizemo-lo aqui porque um número cuja limpeza se esconde não é um número.
Os limites
Um só motor.
O Perplexity é o único dos três a devolver URL utilizáveis. O Gemini esconde os seus atrás de redirecionamentos, e o ChatGPT consultado pela API não procura de todo. Este resultado vale para um motor que procura, não para « as IA » em geral.
Cinco idiomas.
Inglês, francês, português, espanhol, alemão - aqueles em que o nosso extrator de nomes está verificado. Ele ainda devolve títulos de secção em japonês, coreano, polaco e árabe; medir a exatidão de uma citação com um extrator que erra o nome produziria ruído apresentado como resultado.
Um só dia
, e os assistentes não são determinísticos: duas execuções do mesmo prompt em inglês coincidem apenas em 62-76 %.
Presença não é causa.
O nome está na página citada - isso não prova que foi essa página a decidir. Estreitámos a pergunta de ontem, não a dissolvemos.
Não prometemos a ninguém um lugar nas respostas do ChatGPT - ninguém pode fazê-lo honestamente. O que se mede é onde você está, por idioma e por motor, e em que páginas assenta esse resultado.