Três dias depois, a lista quase não mudou - 6 pontos, contra 46 para outra pergunta
Vendemos medição repetida. Testámos então se a lista muda de um dia para o outro. Quase não muda - e num dos motores, nada.
Neste artigo
Resposta curta: o dia em que se pergunta quase não muda nada. A forma de perguntar muda tudo. Com três dias de intervalo, a mesma pergunta dá 70 % de coincidência, contra 76 % entre duas execuções feitas com minutos de diferença. Seis pontos. Ontem medimos que mudar o contexto de compra custava 46.
Vendemos medição repetida. Dar-nos-ia jeito concluir que é preciso medir com frequência, e é exatamente por isso que a pergunta tinha de ser feita como deve ser, aceitando de antemão a resposta que nos incomoda.
O que move a lista não é o calendário. É a pergunta, e é o motor.
O que medimos
A mesma pergunta de referência que todas as nossas medições usam desde 23 de agosto - idêntica ao caráter, verificada e não suposta. Quatro setores globais, dois idiomas, dois assistentes que procuram. 60 execuções hoje, zero falhas, mais uma recolha de 24 de agosto guardada como ponto de comparação a três dias.
O piso de ruído continua a ser a peça que sustenta tudo. Um assistente já se contradiz a si próprio com minutos de intervalo. Uma diferença entre dois dias nada significa enquanto não for lida contra o que o acaso produz em minutos. Por isso executámos a pergunta três vezes hoje, para ter o piso do próprio dia em vez de importar o de anteontem.
O resultado
| Intervalo entre as duas execuções | Limpo | Bruto |
|---|---|---|
| No mesmo dia, com minutos de diferença (piso) | 76 % | 61 % |
| Três dias | 70 % | 53 % |
| Distância ao piso | 6 pontos | 8 pontos |
Seis pontos no cálculo mais severo, oito no bruto. De uma forma ou de outra, a lista de há três dias parece-se com a de hoje tanto quanto duas execuções feitas no mesmo minuto.
E é aqui que os dois motores deixam de se parecer
| Motor | Mesmo dia | Três dias | Distância |
|---|---|---|---|
| Perplexity | 85 % | 71 % | 14 pontos |
| Gemini | 68 % | 69 % | nenhuma |
O Gemini não muda nada. Três dias depois, a sua lista parece-se com a de hoje exatamente tanto quanto duas das suas próprias respostas consecutivas. Não é estabilidade: é que já é tão pouco constante consigo próprio - 68 % entre execuções sucessivas - que três dias já nada têm a acrescentar.
O Perplexity é o contrário. Repete-se bem a curto prazo, 85 %, e é justamente por isso que uma mudança real se torna visível: 14 pontos em três dias. Aí, medir com uma semana de intervalo faz sentido, porque o ruído não afoga o sinal.
Num motor, «com que frequência devo medir?» tem resposta. No outro a pergunta nem se põe, porque ali uma única execução já não significa nada.
Seis contra quarenta e seis
O número só ganha sentido ao lado do de ontem, obtido no mesmo desenho, com o mesmo piso e a mesma limpeza.
| O que se muda | Custo em pontos |
|---|---|
| O dia em que se pergunta (3 dias) | 6 |
| O preço como critério («melhor custo-benefício») | 24 |
| O nível («sou iniciante») | 37 |
| O contexto («a minha empresa de 10 pessoas») | 46 |
Sete vezes mais. Uma auditoria que repete todos os dias a mesma formulação mede, com muita precisão, um oitavo do assunto. O orçamento de medição está mais bem aplicado na variedade das perguntas do que na sua frequência.
O que retiramos disto para o nosso próprio produto
Medir todos os dias não tem justificação nesta fase.
Em três dias a diferença fica dentro do ruído. Não venderemos uma cadência que os nossos próprios números não sustentam.
Uma medição isolada continua inutilizável
, e é a outra face do mesmo resultado: com 68 % de coincidência entre respostas consecutivas, uma execução única no Gemini não estabelece nada. A repetição serve para calar o ruído, não para acompanhar a atualidade.
A cadência útil depende do motor.
No Perplexity uma mudança real aparece em três dias. No Gemini é preciso primeiro várias execuções para saber do que se está a falar.
A alavanca é a variedade das perguntas.
É aí que estão 46 pontos, contra 6 para o calendário.
Os limites, e uma perda de dados da nossa responsabilidade
Destruímos os nossos próprios dados de 26 de agosto. Um script de análise importou uma função do coletor da véspera; esse coletor executava a sua medição ao carregar o módulo e reescreveu o seu ficheiro de saída. 120 execuções reduzidas a 12, sem cópia. As comparações a um e a dois dias que este artigo devia conter não são, portanto, mensuráveis: a medição de um dia passado não se repete. Restam o piso do dia e a diferença a três dias. Foi colocada uma salvaguarda para que a importação deixe de desencadear seja o que for.
Dois pontos no tempo, não uma curva.
Seis pontos a três dias nada dizem sobre como a variação se comporta a uma semana ou a um mês. Não extrapolamos.
Quatro setores, dois idiomas, dois motores.
Os ténis de corrida ficam de fora: as respostas citam modelos numerados que o nosso extrator descarta, o que fazia o setor sair a 0 % em toda a parte - um artefacto de filtro, não um resultado.
O nosso extrator continua imperfeito.
É por isso que os dois níveis de limpeza são publicados lado a lado: a conclusão sustenta-se nos dois, ou não há conclusão.
Um período calmo continua a ser um período calmo.
Nestes três dias não houve lançamento importante nem mudança de modelo anunciada nos setores testados. Pouca variação em período calmo nada promete em período agitado.
Não prometemos a ninguém um lugar nas respostas do ChatGPT - ninguém pode fazê-lo honestamente. O que se mede é onde você está: por idioma, por motor, por pergunta feita. E, agora, com alguma ideia do que o tempo lhe faz.