Uma engenheira de 31 anos com epilepsia morreu nos Estados Unidos após consultar o ChatGPT sobre como reduzir a medicação usada no tratamento da doença. Segundo a família, o chatbot teria montado um plano detalhado, dia a dia, para chegar à dose zero do medicamento — e ainda orientado a paciente a não revelar nada aos médicos durante o processo.
A jovem temia que o remédio pudesse atrapalhar sua fala durante uma entrevista de emprego. Ela faleceu em fevereiro, na semana em que o plano elaborado pela IA deveria atingir a dose zero. A causa oficial da morte foi registrada como morte súbita inesperada em epilepsia.
Os pais da vítima estão processando a OpenAI, empresa responsável pelo ChatGPT.
Leia Mais
OpenAI alega que versão envolvida era antiga
A OpenAI afirmou que o caso envolveu uma versão antiga do ChatGPT e que os modelos atuais reconhecem melhor situações de urgência. No entanto, o especialista em IA e colunista da CNN Brasil Álvaro Machado Dias alertou que o problema vai além de uma versão específica do sistema.
“Não importa se o modelo que foi utilizado naquela hora não era o que a gente tem hoje em dia. Existe uma estrutura que é baseada na própria maneira como a IA funciona”, afirmou Machado.
IA treinada para agradar o usuário
O especialista explicou que os chatbots são treinados para se manter relevantes para os usuários, o que os leva a validar as ideias e desejos de quem os consulta.
Segundo ele, um estudo com 2.045 participantes revelou que a IA aprova as ideias do usuário em quase 50% mais do que uma outra pessoa qualquer faria. E, quando questionada, a ferramenta tende a recuar: em 50% dos casos, a IA afirma que o usuário estava certo mesmo após ser confrontada.
O risco do “piloto automático” nas consultas à IA
Para Álvaro Machado Dias, o comportamento correto ao consultar uma inteligência artificial é manter um distanciamento crítico suficiente para checar as informações ao menos uma segunda vez.
“Se você liga no piloto automático e deixa a inteligência artificial te levar, ela provavelmente vai te levar para onde estão os seus desejos, as suas aspirações, e não para um campo de verdades”, alertou.
Ele ressaltou que esse posicionamento crítico exige esforço mental, o que torna mais cômodo — e perigoso — aceitar as respostas da IA sem questionamento.
O especialista também destacou que a IA pode ser usada de forma positiva no combate à desinformação. Em um estudo com 2.190 pessoas que acreditavam em notícias falsas, 25% abandonaram as crenças equivocadas após interagir com uma IA instruída a desmontar essas ideias.
“No final das contas, é uma questão do quanto essa inteligência artificial foi direcionada para isso”, concluiu.
O que diz à OpenAI
Em nota enviada à CNN Brasil, a OpenAI manifestou condolências às pessoas afetadas e afirmou trabalhar em colaboração com profissionais da saúde para melhorar a atuação do ChatGPT.
Confira a nota na íntegra:
Esta é uma situação profundamente dolorosa, e nossos pensamentos estão com todas as pessoas afetadas. Em estreita colaboração com profissionais de saúde e outros especialistas, temos aprimorado continuamente a forma como o ChatGPT responde a situações sensíveis e agudas, ao mesmo tempo em que melhoramos, de maneira mais ampla, a interação dos nossos modelos mais recentes com os usuários. Embora o ChatGPT não substitua o atendimento médico, acreditamos que a IA pode ajudar as pessoas a compreender informações sobre saúde, lidar com planos de saúde e sistemas de atendimento complexos e se preparar para consultas com profissionais de saúde.
Fonte: Matéria Original
