Chatbots ainda não sabem dizer “não sei” — e isso é um problema

Tudo sobre Inteligência Artificial

Os chatbots de inteligência artificial (IA) continuam a cometer erros graves, fornecendo respostas imprecisas com total confiança. Esse fenômeno, conhecido como “alucinação”, ocorre quando a IA mistura fatos ou inventa informações, sem indicar que pode estar errada.

Um exemplo recente foi criado pelo jornalista Ben Fritz, que resolveu testar um chatbot perguntando: “Com quem o jornalista Ben Fritz é casado?”.

Fritz conta em uma matéria do Wall Street Journal que, ao questionar sobre seu casamento, Ben recebeu respostas absurdas de chatbots, como um escritor desconhecido ou um influenciador de tênis, exemplificando como as IAs “alucinam”, ou seja, criam informações imprecisas com total confiança.

Esse fenômeno, aonde a IA erra ao misturar fatos ou inventar detalhes, está atraindo atenção de pesquisadores que buscam soluções para melhorar a precisão desses sistemas.

Os modelos de IA são projetados para prever a próxima palavra em uma sequência, e, por não saberem quando estão incertos, acabam oferecendo respostas falsas, como se estivessem 100% confiantes.

Leia mais:

Para corrigir isso, pesquisadores estão explorando técnicas como a geração aumentada de recuperação, que permite que a IA busque informações atualizadas na web para melhorar suas respostas.

Ensinar a IA a ser mais humilde

• Uma abordagem inovadora apresentada por pesquisadores como Roi Cohen e Konstantin Dobler propõe ensinar a IA a admitir quando não sabe algo, dizendo “não sei”.
• Isso ajudaria a evitar respostas imprecisas, melhorando a confiança do usuário.
• A empresa Anthropic, responsável pelo chatbot Claude, adota uma estratégia similar, instruindo a IA a alertar sobre a possibilidade de suas respostas serem alucinações em tópicos mais difíceis de verificar.

Apesar de melhorias, a confiança nas IAs está diminuindo. Uma pesquisa de 2023, do Pew Research Center, indicou que mais pessoas estão preocupadas do que animadas com o avanço dessa tecnologia.

Alguns especialistas sugerem que ensinar a IA a ser mais modesta e admitir suas limitações pode ser uma solução para restaurar a confiança nas suas respostas.