O problema não é a IA "mentir", é ela preencher lacunas
Os modelos de linguagem são treinados para produzir uma resposta plausível, não para dizer "não sei". Quando um cliente pergunta algo que sua base de conhecimento não cobre totalmente, um assistente sem controles vai preencher a lacuna com o que "parece razoável" — uma política de devolução que não existe, um prazo que não é o seu, uma função que o produto não tem. Não é má intenção do modelo: é o comportamento padrão dele diante de informação incompleta.
O que é um critic pass
Um critic pass é uma segunda etapa de verificação, separada da geração da resposta, na qual o sistema audita o que está prestes a enviar. O assistente redige uma resposta candidata usando os artigos da base de conhecimento que recuperou, e antes de enviá-la, uma segunda checagem — com acesso aos mesmos artigos-fonte — avalia se cada afirmação dessa resposta está de fato respaldada pelo conteúdo recuperado. Se encontra uma afirmação sem respaldo, a resposta é corrigida ou encaminhada a um humano em vez de ser enviada como está.
Por que "dar mais contexto" não basta
A solução ingênua é achar que, se o modelo tiver mais informação no prompt, ele não vai inventar. Ajuda, mas não resolve o problema de fundo: mesmo com o contexto correto, um modelo pode generalizar demais ("a política de devoluções é de 30 dias" quando o artigo diz 30 dias só para um produto específico) ou misturar informações de dois artigos diferentes de um jeito que nenhum dos dois sustenta individualmente o que acabou sendo dito. O critic pass não confia que a geração foi fiel — ele verifica isso depois de pronta.
O custo de não ter um
Um assistente que inventa uma vez perde algo mais caro do que aquela conversa: perde a confiança de que pode ser responsável pelo canal inteiro. Se um cliente recebe uma resposta incorreta sobre um reembolso e depois sua equipe humana precisa desmentir isso, o custo não é só o erro — é que, a partir daí, alguém na sua empresa vai querer revisar tudo o que a IA diz antes de enviar, o que mata o propósito de automatizar.
Como isso aparece na prática
Quando o critic pass detecta que uma resposta não está bem respaldada, há uma ordem que importa: primeiro, tentar regenerar a resposta usando estritamente o que está nos artigos recuperados; se isso deixar a resposta incompleta, encaminhar explicitamente para um agente humano em vez de enviar uma versão "aguada"; e registrar o caso, porque uma pergunta que o sistema não conseguiu responder com confiança é o sinal mais útil que existe para saber o que falta na base de conhecimento.
Não é mágica, é arquitetura
Não existe modelo, por maior que seja, que garanta zero alucinações por design. O que se pode construir é um sistema em que a responsabilidade de não inventar não recaia sobre uma única etapa de geração, mas sobre um processo com verificação explícita antes de a resposta chegar ao cliente. É isso que torna um assistente de suporte com IA confiável para produção, e não apenas uma demonstração que funciona bem nas primeiras dez perguntas.