Parte do trabalho de Chris Painter é ajudar a descobrir o que acontece quando a IA se descontrola e, em seguida, publicar os resultados em relatórios públicos.
Ele e o METR, o grupo de pesquisa em IA sem fins lucrativos que ele ajuda a liderar, têm estado bastante ocupados ultimamente: ajudaram a OpenAI a desvendar o ataque hacker à Hugging Face este ano, e Painter testemunhou recentemente perante uma subcomissão do Senado após uma série de outros incidentes envolvendo IA desonesta.
Os pesquisadores do METR examinam minuciosamente os rascunhos dos agentes de IA – os dados da “cadeia de pensamento” que podem ajudar os humanos a entender os passos que os bots seguiram antes de responder a uma solicitação. Essa informação foi fundamental na investigação do METR sobre o incidente da Hugging Face.
Mas Painter teme que esse trabalho possa ficar muito mais difícil em breve.
A capacidade dos humanos de monitorar agentes de IA depende da capacidade de se comunicar da mesma forma que os bots, em uma linguagem compartilhada.
O que acontece se pararmos de falar a mesma língua? Ou, e se os agentes de IA parassem completamente de mostrar seu trabalho?
“Se eles se tornarem menos monitoráveis, terão mais oportunidades de fazer coisas que não pretendemos”, disse Painter à CNN Internacional no mês passado.
Entender como os modelos de IA pensam
Muitos modelos de IA — e os agentes de IA que eles alimentam — usam um método conhecido como “raciocínio em cadeia”, que descreve seu processo para concluir uma tarefa. O raciocínio em cadeia decompõe os processos em uma sequência lógica de etapas, o que pode ajudar os modelos de IA a chegar a respostas mais precisas.
Para os pesquisadores, os dados de raciocínio podem fornecer pistas sobre o que deu errado.
Se um agente de IA se descontrolar e invadir outros sistemas, os pesquisadores podem verificar se os dados de raciocínio incluem menções a ações fraudulentas, como invasões. O METR examinou aproximadamente 1.300 transcrições brutas de raciocínio durante sua investigação sobre o incidente do Hugging Face da OpenAI.
Acompanhe Economia nas Redes Sociais
Fonte: Matéria Original
