A IA Te Citar Não Significa que Ela Disse a Verdade
É muito comum ver alguém comemorar um print de tela: “olha, o Perplexity me citou, colocou meu site como fonte.”
Quase ninguém para pra ler o que a IA disse com base nessa citação. Assume-se que, se tem uma fonte, o que foi dito é verdade.
Essa mesma suposição — “se cita, é verdade” — é exatamente a que um grupo de pesquisadores decidiu testar. E o resultado não é tranquilizador.
O experimento
Pranav Narayanan Venkit, Philippe Laban, Yilun Zhou, Yixin Mao e Chien-Sheng Wu (equipe com passagem pela Salesforce AI Research) desenharam duas provas, publicadas na ACM FAccT 2025 (uma das conferências mais respeitadas sobre IA justa e responsável):
- Teste com humanos: 24 pessoas — com alta formação acadêmica (cerca de 62% cursando ou com doutorado/pós-doutorado, o restante especialistas de indústria) — usaram You.com, Bing Copilot e Perplexity durante 90 minutos cada, comparando a experiência com o Google tradicional.
- Teste automatizado: 303 perguntas reais, avaliadas com 8 métricas distintas de precisão e fundamentação.
Venkit et al., “Search Engines in an AI Era”, ACM FAccT 2025 — o objetivo era simples: medir se as citações que esses motores mostram realmente sustentam o que a IA afirma, ou se são só decoração que dá aparência de rigor.
O dado que mais incomoda
Esta é a taxa de citações que realmente sustentam o que foi dito, por motor:
| Motor | % de citações que de fato sustentam a afirmação |
|---|---|
| You.com | 68,3% |
| Bing Copilot | 65,8% |
| Perplexity | 49,0% |
Perplexity — o motor que boa parte do mercado trata como o mais rigoroso, o que “sempre mostra suas fontes” — foi o pior dos três. Praticamente cara ou coroa.
E não termina aí: 31,6% das afirmações do Perplexity e 30,8% das do You.com não tinham nenhuma fonte real por trás — quase 1 em cada 3. O Bing Copilot ficou um pouco melhor nesse ponto específico (23,1%), mas ainda assim é quase 1 em cada 4 afirmações sem respaldo real — apesar de os três motores usarem a mesma tecnologia (RAG, retrieval-augmented generation) que deveria resolver exatamente esse problema.
O que mais surpreende no estudo
Dois achados que quase ninguém menciona quando fala desse paper:
- O Bing Copilot mostra fontes que nem usa: 36,2% dos links listados nunca são de fato citados no texto da resposta. Estão lá só pra dar sensação de respaldo.
- O Perplexity respondeu de forma unilateral (mostrando só um lado) em 83,4% das perguntas tipo debate — e fez isso com 81,6% de confiança total, mesmo quando esse único lado estava errado.
E talvez o dado mais revelador dos dois estudos combinados: as pessoas verificam muito menos com a IA do que com o Google. Em média, abrem só 2 fontes pra confirmar uma resposta de IA, contra 12 quando usam o Google tradicional.
Um dos participantes, ao ser perguntado se sentia que a IA usava as citações para dar legitimidade ao que gerava, resumiu assim:
“Você vê uma citação, assume que é uma fonte válida… Eu só vejo que tem uma fonte. É isso. Eu não verifico.”
O que fazer na prática
- Não celebre uma citação sem ler o que ela diz. Antes de usar uma menção da IA como prova social, confirme qual afirmação específica ela está fazendo sobre sua marca.
- Assuma que o usuário não vai verificar. Se só 2 das 12 checagens que ele faria no Google ele faz com IA, o que a IA diz sobre o seu negócio é, na prática, a última palavra para muita gente.
- Trate o Perplexity com mais cautela do que sua reputação sugere. É o motor em que o mercado mais confia — e o que, segundo este estudo, tem mais margem de erro.
- Faça com que os fatos corretos sobre sua marca sejam fáceis de encontrar e difíceis de confundir (dados estruturados, informação consistente em todo o site) — não porque garanta que a IA nunca vai errar, mas porque reduz as chances de isso acontecer.
Uma limitação honesta
É um estudo com uma amostra de pessoas relativamente pequena (24) e focado em três motores específicos — não cobre ChatGPT nem Gemini diretamente. Mas o teste automatizado (303 perguntas, 8 métricas) sustenta a mesma conclusão por outro caminho, e o paper passou por revisão por pares numa conferência séria. É evidência sólida, não o veredito final sobre todos os motores de IA.
Você sabe o que a IA está dizendo sobre sua marca agora?
Na Tentacron IA fazemos esse diagnóstico — gratuito, em 48 horas, sem compromisso. Verificamos o que ChatGPT, Perplexity e Gemini estão afirmando sobre seu negócio hoje, e se há algo dito errado, mal entendido, ou simplesmente ausente.
Solicitar diagnóstico gratuito → tentacronia.com
Fonte: Pranav Narayanan Venkit, Philippe Laban, Yilun Zhou, Yixin Mao & Chien-Sheng Wu, “Search Engines in an AI Era: A Qualitative Understanding to the False Promise of Factual and Verifiable Source-Cited Responses in LLM-based Search”, ACM Conference on Fairness, Accountability, and Transparency (FAccT ‘25), 2025.