Alucinações de IA: o perigo de confiar cegamente nas respostas do chatbot

• Citar livros, artigos científicos ou processos judiciais que não existem.
• Inventar números, estatísticas e datas.
• Atribuir frases a pessoas que nunca as disseram.
• Criar links que levam a páginas inexistentes.
• Misturar informações verdadeiras de fontes diferentes de forma errada.

Por que acontece

Modelos de linguagem funcionam prevendo a próxima palavra mais provável com base em padrões aprendidos em enormes quantidades de texto. Eles são excelentes em produzir texto coerente, mas não têm um mecanismo interno de checagem de fatos. Quando o modelo não tem a informação, ele pode "completar" com algo que parece plausível.

Alguns fatores aumentam o risco:

• Perguntas sobre temas muito específicos, raros ou recentes.
• Pedidos de números exatos, citações e referências.
• Perguntas que pressupõem algo falso ("por que tal lei proibiu X?" quando a lei não existe).
• Falta de acesso à web ou a documentos de referência.

Casos reais

Advogados multados por processos inventados

No caso Mata contra Avianca, julgado em um tribunal federal de Nova York, advogados apresentaram uma petição citando decisões judiciais que haviam sido geradas pelo ChatGPT — e que não existiam. Em junho de 2023, o juiz P. Kevin Castel aplicou multa aos advogados. O caso se agravou porque, ao serem questionados, eles insistiram nas citações em vez de verificá-las. O episódio virou referência mundial sobre o uso irresponsável de IA (resumo do caso).

A empresa responde pelo chatbot

Em fevereiro de 2024, no caso Moffatt contra Air Canada, um tribunal da Colúmbia Britânica (Canadá) analisou a situação de um passageiro que recebeu do chatbot da companhia uma informação errada sobre desconto em passagens por luto. A empresa alegou que o chatbot era responsável pelas próprias informações. O tribunal rejeitou o argumento e determinou que a Air Canada indenizasse o cliente, entendendo que a empresa responde por tudo o que aparece em seu site, inclusive o que o chatbot diz.

Esses casos mostram dois riscos diferentes: o do profissional que confia sem verificar e o da empresa que coloca um chatbot para falar com clientes sem limites claros.

Onde o risco é maior

Tenha cuidado redobrado com respostas de IA sobre:

• Saúde: diagnósticos, medicamentos e doses.
• Direito: leis, prazos, jurisprudência e contratos.
• Finanças: impostos, investimentos e cálculos.
• Fatos recentes: notícias, preços, versões de produtos.
• Dados técnicos: comandos, configurações de segurança, valores críticos.

Nesses casos, a IA pode ajudar a entender o assunto e organizar perguntas, mas a decisão deve se apoiar em fontes oficiais e, quando necessário, em profissionais habilitados.

Um método simples de verificação

1. Separe opinião de fato. Sugestões de texto e ideias não precisam de checagem; números, nomes, datas e citações precisam.
2. Peça as fontes. Com a pesquisa na web ativada, peça links para cada afirmação importante.
3. Abra as fontes. Verifique se o link existe e se ele realmente diz o que a IA afirmou. É comum a fonte existir, mas não confirmar a afirmação.
4. Prefira fontes primárias: sites oficiais, documentos originais, órgãos públicos e publicações científicas.
5. Faça a pergunta de outro jeito. Respostas inconsistentes entre tentativas são sinal de alerta.
6. Desconfie da precisão excessiva. Um número muito exato sem fonte merece checagem.

Como reduzir alucinações nos seus pedidos

• Forneça o material: "com base apenas no documento abaixo, responda...".
• Autorize a incerteza: "se não souber, diga que não sabe".
• Ative a pesquisa na web para fatos recentes.
• Peça citações literais do documento quando a precisão importar.

Veja mais técnicas no guia como escrever prompts que funcionam.

Para empresas que usam chatbots

Se a sua empresa usa IA no atendimento:

• Restrinja o assistente a uma base de conhecimento oficial e atualizada.
• Proíba que ele faça promessas sobre preços, prazos e políticas sem consultar fontes oficiais.
• Encaminhe casos sensíveis para atendimento humano.
• Monitore as conversas e corrija respostas erradas rapidamente.

Conclusão

A IA é uma ferramenta poderosa para escrever, resumir e pensar, mas não é uma fonte de verdade. Trate as respostas como o rascunho de um assistente muito rápido e às vezes confiante demais: útil, mas que precisa de revisão. Quem verifica antes de usar aproveita o melhor da tecnologia sem cair nos seus piores erros.