A IA Te Citar Não Significa que Ela Disse a Verdade
← Todos os artigos

A IA Te Citar Não Significa que Ela Disse a Verdade


É muito comum ver alguém comemorar um print de tela: “olha, o Perplexity me citou, colocou meu site como fonte.”

Quase ninguém para pra ler o que a IA disse com base nessa citação. Assume-se que, se tem uma fonte, o que foi dito é verdade.

Essa mesma suposição — “se cita, é verdade” — é exatamente a que um grupo de pesquisadores decidiu testar. E o resultado não é tranquilizador.

O experimento

Pranav Narayanan Venkit, Philippe Laban, Yilun Zhou, Yixin Mao e Chien-Sheng Wu (equipe com passagem pela Salesforce AI Research) desenharam duas provas, publicadas na ACM FAccT 2025 (uma das conferências mais respeitadas sobre IA justa e responsável):

  1. Teste com humanos: 24 pessoas — com alta formação acadêmica (cerca de 62% cursando ou com doutorado/pós-doutorado, o restante especialistas de indústria) — usaram You.com, Bing Copilot e Perplexity durante 90 minutos cada, comparando a experiência com o Google tradicional.
  2. Teste automatizado: 303 perguntas reais, avaliadas com 8 métricas distintas de precisão e fundamentação.

Venkit et al., “Search Engines in an AI Era”, ACM FAccT 2025 — o objetivo era simples: medir se as citações que esses motores mostram realmente sustentam o que a IA afirma, ou se são só decoração que dá aparência de rigor.

O dado que mais incomoda

Esta é a taxa de citações que realmente sustentam o que foi dito, por motor:

Motor% de citações que de fato sustentam a afirmação
You.com68,3%
Bing Copilot65,8%
Perplexity49,0%

Perplexity — o motor que boa parte do mercado trata como o mais rigoroso, o que “sempre mostra suas fontes” — foi o pior dos três. Praticamente cara ou coroa.

E não termina aí: 31,6% das afirmações do Perplexity e 30,8% das do You.com não tinham nenhuma fonte real por trás — quase 1 em cada 3. O Bing Copilot ficou um pouco melhor nesse ponto específico (23,1%), mas ainda assim é quase 1 em cada 4 afirmações sem respaldo real — apesar de os três motores usarem a mesma tecnologia (RAG, retrieval-augmented generation) que deveria resolver exatamente esse problema.

O que mais surpreende no estudo

Dois achados que quase ninguém menciona quando fala desse paper:

  • O Bing Copilot mostra fontes que nem usa: 36,2% dos links listados nunca são de fato citados no texto da resposta. Estão lá só pra dar sensação de respaldo.
  • O Perplexity respondeu de forma unilateral (mostrando só um lado) em 83,4% das perguntas tipo debate — e fez isso com 81,6% de confiança total, mesmo quando esse único lado estava errado.

E talvez o dado mais revelador dos dois estudos combinados: as pessoas verificam muito menos com a IA do que com o Google. Em média, abrem só 2 fontes pra confirmar uma resposta de IA, contra 12 quando usam o Google tradicional.

Um dos participantes, ao ser perguntado se sentia que a IA usava as citações para dar legitimidade ao que gerava, resumiu assim:

“Você vê uma citação, assume que é uma fonte válida… Eu só vejo que tem uma fonte. É isso. Eu não verifico.”

O que fazer na prática

  1. Não celebre uma citação sem ler o que ela diz. Antes de usar uma menção da IA como prova social, confirme qual afirmação específica ela está fazendo sobre sua marca.
  2. Assuma que o usuário não vai verificar. Se só 2 das 12 checagens que ele faria no Google ele faz com IA, o que a IA diz sobre o seu negócio é, na prática, a última palavra para muita gente.
  3. Trate o Perplexity com mais cautela do que sua reputação sugere. É o motor em que o mercado mais confia — e o que, segundo este estudo, tem mais margem de erro.
  4. Faça com que os fatos corretos sobre sua marca sejam fáceis de encontrar e difíceis de confundir (dados estruturados, informação consistente em todo o site) — não porque garanta que a IA nunca vai errar, mas porque reduz as chances de isso acontecer.

Uma limitação honesta

É um estudo com uma amostra de pessoas relativamente pequena (24) e focado em três motores específicos — não cobre ChatGPT nem Gemini diretamente. Mas o teste automatizado (303 perguntas, 8 métricas) sustenta a mesma conclusão por outro caminho, e o paper passou por revisão por pares numa conferência séria. É evidência sólida, não o veredito final sobre todos os motores de IA.

Você sabe o que a IA está dizendo sobre sua marca agora?

Na Tentacron IA fazemos esse diagnóstico — gratuito, em 48 horas, sem compromisso. Verificamos o que ChatGPT, Perplexity e Gemini estão afirmando sobre seu negócio hoje, e se há algo dito errado, mal entendido, ou simplesmente ausente.

Solicitar diagnóstico gratuito → tentacronia.com


Fonte: Pranav Narayanan Venkit, Philippe Laban, Yilun Zhou, Yixin Mao & Chien-Sheng Wu, “Search Engines in an AI Era: A Qualitative Understanding to the False Promise of Factual and Verifiable Source-Cited Responses in LLM-based Search”, ACM Conference on Fairness, Accountability, and Transparency (FAccT ‘25), 2025.