Métodos de Avaliação Baseados em Fontes para Verificar a Fidedignidade de LLMs

Quando um modelo de linguagem como GPT-4 responde a uma pergunta, você pode ter certeza de que a resposta vem dos documentos que você forneceu - ou ele apenas inventou algo? Esse é o problema central da avaliação grounded QA. Em ambientes empresariais, onde respostas erradas podem custar milhões, não basta que o modelo soe convincente. Ele precisa ser verificável. E isso só é possível com métodos que analisam diretamente a conexão entre o que o modelo diz e as fontes reais usadas para gerar aquela resposta.

O que é avaliação grounded QA?

Avaliação grounded QA é um sistema que mede a fidedignidade de respostas geradas por modelos de linguagem. Em vez de apenas avaliar se a resposta parece correta, ele verifica se cada afirmação feita pelo modelo é apoiada por um trecho específico dos documentos fornecidos. Se o modelo disser que "a taxa de juros do empréstimo é de 5,2%" e esse número aparece em um contrato anexado, a resposta é considerada grounded. Se ele disser isso sem nenhuma fonte, é uma alucinação - e o sistema de avaliação pune isso.

Esse tipo de avaliação surgiu em 2022-2023, paralelamente ao crescimento do RAG (Retrieval-Augmented Generation). Antes disso, os modelos eram avaliados apenas por como bem respondiam a perguntas gerais. Com RAG, a realidade mudou: agora, o modelo não pode mais confiar em seu treinamento interno. Ele precisa se prender ao que está na sua base de documentos. E foi aí que a necessidade de medir essa aderência se tornou crítica.

Como funcionam os métodos de pontuação baseados em fontes?

Existem três abordagens principais, cada uma com vantagens e limitações.

O Groundedness Score, desenvolvido pela deepset AI, divide a resposta em pequenas afirmações e compara cada uma com os documentos de contexto usando similaridade semântica. Ele atribui uma pontuação de 0% a 100% para cada afirmação. Se 95% das afirmações tiverem suporte, a resposta recebe uma pontuação alta. Esse método é usado na plataforma Haystack Enterprise e é o mais adotado por empresas de grande porte, especialmente em áreas como direito e saúde.

O ContextNLI usa um modelo treinado para detectar contradições. Ele compara cada frase da resposta com cada frase dos documentos e calcula a probabilidade mínima de contradição. Se o modelo detectar que a resposta contradiz o contexto - mesmo que indiretamente -, ele marca como alucinação. Essa abordagem é mais precisa que métricas tradicionais como BLEU ou ROUGE, e supera essas em 41 pontos percentuais na detecção de erros em perguntas jurídicas, segundo estudos do ClapNQ.

O RAGAS é um framework aberto que combina várias métricas: não só fidedignidade, mas também relevância da resposta, precisão do contexto recuperado e recuperação do contexto. Ele é o mais popular entre desenvolvedores - mais de 14 mil downloads no PyPI até dezembro de 2025. Mas seu ponto fraco é que ele não identifica exatamente qual parte da resposta é falsa, apenas se houve ou não alucinação.

Por que os modelos como GPT-4 são usados como juízes?

Muitos sistemas de avaliação não usam regras fixas. Em vez disso, eles usam outros modelos de linguagem - como GPT-4-turbo - para julgar se a resposta é fiel. Isso se chama LLM-as-judge.

O motivo? Modelos humanos são lentos e caros. Avaliar 10 mil respostas manualmente levaria meses. Já um modelo como GPT-4 pode fazer isso em horas. Estudos do LMSYS mostram que GPT-4 concorda com avaliadores humanos em 89% dos casos. Isso o torna viável para escala.

Mas há um problema: o juiz também mente. Modelos diferentes dão pontuações diferentes. GPT-4-turbo tende a dar 12-15% mais pontos do que modelos abertos como Llama-3-70B, mesmo quando a resposta é idêntica. Isso acontece porque os modelos são treinados com critérios diferentes. Um estudo de Sebastian Raschka em outubro de 2025 mostrou que a escolha do modelo-julgador pode variar os resultados em até 37%. Isso significa que você não pode comparar pontuações de diferentes sistemas sem saber qual juiz foi usado.

Quais são os principais desafios na prática?

Mesmo com todas essas tecnologias, implementar avaliação grounded QA não é fácil. Os maiores problemas enfrentados por equipes reais são:

• Limiares arbitrários: 80% de fidedignidade é bom? E 70%? Empresas costumam definir isso por tentativa e erro. Um levantamento da Evidently AI mostrou que 67% das empresas definem limiares muito altos no início, gerando falsos positivos e sobrecarregando a equipe de QA.
• Prompts sensíveis: Mudar uma palavra na instrução de avaliação pode alterar a pontuação em até 25%. Isso é o que os desenvolvedores chamam de "prompt sensitivity" - e é o problema mais relatado em fóruns como GitHub.
• Custo computacional: Avaliar cada resposta com GPT-4-turbo pode custar de 1,2 a 8,7 segundos por pergunta. Para empresas com milhares de consultas diárias, isso soma US$ 3.200 a US$ 8.700 por mês em custos de nuvem, segundo dados de 127 startups.
• Idiomas não ingleses: 43% das implementações internacionais relatam falhas na detecção de alucinações em português, espanhol ou alemão. Os modelos são treinados majoritariamente em inglês, e isso cria viés.

Quem já está usando isso e com que resultados?

As empresas que adotaram avaliação grounded QA estão vendo mudanças reais.

Na Thomson Reuters, o uso do ContextNLI reduziu erros de citação legal em 63% no assistente AI da Westlaw. Isso poupou cerca de 1.200 horas de trabalho de advogados por mês.

Uma empresa farmacêutica em Boston relatou que, após implementar o Groundedness Score, as alucinações em consultas sobre interações medicamentosas caíram de 38% para 9% em três meses. Mas o custo foi alto: dois engenheiros dedicados por meses para integrar o sistema.

Na área de seguros, empresas que adotaram esses métodos viram uma redução de 47% nas escaladas de suporte ao cliente - porque os clientes deixaram de receber respostas erradas que os levavam a ligar ou reclamar.

Qual a diferença entre métodos baseados em referência e LLM-as-judge?

Métodos baseados em referência - como os usados pela Evidently AI - exigem que você tenha uma "resposta correta" pré-definida. Eles comparam a resposta do modelo com essa resposta ideal. Funcionam bem em domínios fechados, como perguntas de exames ou bases de conhecimento fixas.

Mas falham em situações abertas. Por exemplo: se você pergunta "quais são as melhores práticas para proteger dados em nuvem?" e o modelo responde com uma lista válida que não está na sua base de documentos, o sistema vai marcar como alucinação - mesmo que a resposta esteja correta. Isso é um falso positivo.

Já os métodos LLM-as-judge não precisam de respostas corretas. Eles apenas verificam se o que foi dito está apoiado pelos documentos. Isso os torna mais flexíveis, mas menos previsíveis. Eles dependem da qualidade do modelo-julgador e da clareza das instruções.

Como começar a implementar?

Se você quer testar avaliação grounded QA, não comece com tudo. Siga este passo a passo real:

1. Crie um conjunto pequeno: 100 perguntas reais que seus usuários fazem, com os documentos correspondentes e respostas geradas pelo seu modelo.
2. Use RAGAS (gratuito) para avaliar esse conjunto. Ele é fácil de instalar com Python e tem documentação excelente.
3. Identifique os 5 tipos de alucinações mais comuns. Exemplo: "o modelo inventa nomes de leis que não existem" ou "confunde dados de 2023 com 2024".
4. Ajuste os limiares de pontuação com base nesses erros. Não use 80% como padrão - teste 65%, 70%, 75%.
5. Monitore em produção. Não é um projeto de uma vez. É um ciclo contínuo: avalie → ajuste → monitore → melhore.

Empresas com equipe de NLP conseguem fazer isso em 3 a 5 dias. Sem experiência, leve 2 a 3 semanas. Mas o retorno é rápido: a maioria vê redução de erros em menos de um mês.

O que vem a seguir?

O futuro da avaliação grounded QA é claro: ela vai se tornar tão comum quanto testes unitários em software. Em 2027, 85% das implementações empresariais de IA devem incluir essa avaliação, segundo a Gartner.

Novidades já estão chegando. Em janeiro de 2026, a deepset lançou uma versão que permite clicar em cada afirmação da resposta e ver exatamente qual trecho do documento a sustenta. Isso transforma a avaliação de um número abstrato em uma experiência visual - e é já usado por 78% dos clientes corporativos.

O EU AI Act, que entrou em vigor em fevereiro de 2026, exige que sistemas de IA de alto risco - como os usados em saúde ou justiça - tenham verificação sistemática da fundamentação factual. Isso não é opcional. É lei.

E a NIST, que define padrões de IA nos EUA, deve lançar diretrizes específicas para medição de groundedness em junho de 2026. Quando isso acontecer, todos os fornecedores de IA serão forçados a padronizar seus métodos - ou perderão contratos públicos.

Conclusão: é o momento de agir

Avaliar a fidedignidade de respostas de IA não é mais um luxo de pesquisadores. É uma necessidade operacional. Se sua empresa usa IA para atender clientes, gerar relatórios ou tomar decisões, você já está em risco.

Não espere um erro grave acontecer para começar. Comece com 100 perguntas. Use RAGAS. Veja onde o modelo inventa. Ajuste. Monitore. Repita.

A tecnologia está pronta. O que falta é a coragem de medir o que realmente importa: não se o modelo é inteligente, mas se ele é confiável.