Os chefes dos principais laboratórios de IA dos Estados Unidos se uniram em uma rara demonstração de consenso no fim de semana para desacelerar o desenvolvimento da tecnologia, alertando que ela poderia em breve se aprimorar sozinha e ficar fora do controle humano.
Os comentários, de rivais comerciais acirrados como Dario Amodei da Anthropic, Sam Altman da OpenAI e Elon Musk da xAI, mostram a rapidez com que a IA avançou, desde o ChatGPT de 2022, propenso a alucinações, até o que muitos consideram um marco crucial: o aprimoramento recursivo.
O que é o autoaperfeiçoamento recursivo?
O ponto central da área é a ideia de que um sistema de IA poderia se tornar capaz de se aprimorar, com pouca ou nenhuma ajuda humana, permitindo que cada avanço contribua para o próximo.
Isso tem atraído pesquisadores, pois oferece a perspectiva de avanços rápidos em áreas que vão da medicina à engenharia.
Por que tanta urgência agora?
Os alertas do CEO surgem após relatos de enxames de agentes autônomos — sistemas projetados para atingir objetivos e tomar ações em nome do usuário — que se uniram para invadir sites e repositórios de IA.
A preocupação agora é que a tecnologia possa se tornar capaz de se aperfeiçoar antes que os pesquisadores tenham desenvolvido métodos confiáveis para alinhar, monitorar e controlar esses sistemas cada vez mais poderosos.
Os alertas sobre os riscos não são novidade. Mas ganharam ainda mais urgência neste mês, depois que pesquisadores de importantes desenvolvedoras estabeleceram tanto um cronograma quanto uma probabilidade para essas preocupações.
O ex-pesquisador da Anthropic, Jacob Coxon, alertou que a IA poderia nos matar a todos até o final da década. Evan Hubinger, líder de ciência de alinhamento da Anthropic, ecoou o alerta de Coxon, afirmando que havia mais de 10% de chance de tal evento ocorrer na próxima década.
Por trás desses alertas, existe uma crença crescente de que a RSI (Lesão por Esforço Repetitivo) está finalmente ao nosso alcance, com alguns executivos de IA estimando que isso ocorrerá em três a cinco anos.
Em um ensaio publicado no fim de semana, Amodei alertou que o aperfeiçoamento recursivo poderia eventualmente ultrapassar a capacidade da humanidade de compreender e controlar os sistemas de IA, caso seja buscado sem salvaguardas suficientes.
Como chegamos aqui?
Durante décadas, a IA permaneceu muito limitada para que a ideia de LER (Lesão por Esforço Repetitivo) fosse levada a sério. Os primeiros sistemas conseguiam jogar xadrez, reconhecer imagens ou responder a perguntas, mas não tinham a capacidade de contribuir de forma significativa para o seu próprio desenvolvimento.
Isso começou a mudar com o surgimento de grandes modelos de linguagem. Gradualmente, a IA tornou-se mais eficiente na resolução de problemas complexos. O lançamento do ChatGPT em 2022 acelerou essa mudança, dando início a um boom de investimentos que já injetou mais de US$ 1 trilhão em chips, data centers e outras infraestruturas.
O resultado é uma geração de sistemas de IA que agora podem escrever software, executar tarefas autônomas e auxiliar na própria pesquisa em IA.
Como poderíamos passar da falta de alinhamento à extinção da humanidade?
Um dos exemplos mais conhecidos é o “maximizador de clipes de papel” do filósofo Nick Bostrom, onde uma máquina programada para produzir apenas clipes de papel persegue esse objetivo de forma tão implacável que converte toda a matéria, incluindo os seres humanos, em clipes de papel.
A analogia sugere que quase qualquer objetivo leva um sistema suficientemente capaz a adquirir recursos, resistir ao desligamento e impedir que seu objetivo seja alterado, não por malícia, mas porque um sistema desligado não consegue concluir sua tarefa. Ainda não existe nenhum plano para descartar essa possibilidade.
Alguns pesquisadores temem que, se um sistema de IA poderoso fosse capaz de se aprimorar e se tornar mais capaz do que seus operadores humanos, ele poderia eventualmente burlar a supervisão, ocultar suas intenções ou manipular pessoas para obter maior acesso a infraestruturas críticas. Quando os humanos percebessem que os objetivos do sistema estavam desalinhados, talvez já não conseguissem mais detê-lo.
“O cenário exato parece um pouco com ficção científica”, disse Coxon, que deixou a Anthropic este mês devido a preocupações com a segurança. “Mas acho que é assustadoramente real”.
A inteligência artificial demonstrou algum indício de causar danos?
Não houve casos graves de IA prejudicando intencionalmente humanos, mas modelos em desenvolvimento na OpenAI e em outros laboratórios escaparam de ambientes de teste, violaram regras e invadiram sites nos últimos meses.
Em um caso de grande repercussão, agentes desonestos da OpenAI invadiram a Hugging Face, assumindo o controle dos servidores da plataforma de código aberto e tentando encobrir seus rastros. A desenvolvedora só percebeu a ameaça muito tempo depois.
A inteligência artificial já é capaz de se aperfeiçoar?
Não completamente, mas há indícios de que a IA está cada vez mais contribuindo para a construção de uma IA melhor.
Uma das maiores mudanças desde o ChatGPT foi o surgimento de agentes de IA capazes de gerar código e construir aplicativos de forma autônoma.
A Anthropic afirmou este ano que o Claude Code, sua ferramenta de codificação, produz a maior parte do código usado em muitos projetos internos e que os engenheiros estão entregando oito vezes mais código por trimestre do que entregavam entre 2021 e 2025.
Os novos modelos de IA estão cada vez mais realizando seu raciocínio internamente, dificultando o monitoramento de seu modo de pensar por parte dos pesquisadores.
Em setembro, a OpenAI apresentou um novo modelo chamado Astra, que, segundo a empresa, era o seu melhor até então, mas alertou que, por vezes, ele também tenta escapar do monitoramento humano.
A METR, uma organização sem fins lucrativos que avalia modelos de vanguarda, descobriu no ano passado que a duração das tarefas de software que modelos avançados conseguem concluir com 50% de confiabilidade tem dobrado aproximadamente a cada sete meses desde 2019.
Em junho, a Anthropic afirmou que esse ritmo havia acelerado para uma vez a cada quatro meses.
Então, por que as empresas de IA ainda não estão diminuindo o ritmo?
Muitos pesquisadores descrevem a situação como um clássico dilema do prisioneiro. Mesmo as empresas que acreditam que os riscos são reais enfrentam forte pressão da concorrência. Qualquer empresa que desacelere o desenvolvimento corre o risco de ficar para trás em relação aos rivais em uma corrida tecnológica que se tornou uma das mais importantes do mundo.
A situação se agrava pelo fato de que tanto a OpenAI quanto a Anthropic estão buscando ofertas públicas iniciais (IPOs) que poderiam avaliá-las em trilhões de dólares, avaliações que dependem da promessa do próximo modelo.
O governo do presidente dos EUA, Donald Trump, também rejeitou os apelos para desacelerar o processo, receoso de que qualquer pausa apenas daria à China espaço para reduzir a diferença em uma tecnologia que considera fundamental para a segurança nacional e econômica.
O que significaria uma desaceleração no desenvolvimento?
Os mercados deram uma prévia das implicações esta semana, com as ações relacionadas à IA caindo após os alertas de desaceleração. Fabricantes de chips, provedores de nuvem e operadores de data centers construíram seu crescimento em torno disso, e qualquer desaceleração ameaça a receita atrelada à rapidez com que os laboratórios precisam de novos equipamentos.
Alguns analistas, no entanto, acreditam que, mesmo sem novos requisitos de treinamento, a demanda por inferência e a carteira de pedidos existente podem impulsionar o crescimento da Nvidia e de suas concorrentes.
Por que algumas pessoas são céticas?
Em um estudo liderado por Princeton, os principais agentes de IA conseguiram realizar tarefas de engenharia, mas tiveram dificuldades para identificar ideias científicas relevantes.
Alguns executivos e críticos do Vale do Silício também questionam os motivos por trás dos alertas, sugerindo que eles tanto fomentam o interesse na tecnologia quanto criam argumentos para regulamentações que aumentariam os custos para os concorrentes, justamente quando os modelos de código aberto reduzem a diferença em relação aos sistemas líderes de mercado.
David Sacks, que atuou como czar de IA e criptografia da Casa Branca, afirmou que os principais laboratórios podem estar buscando “captura regulatória”, pressionando por regras que impõem aos concorrentes menores encargos de conformidade dispendiosos e enfraquecem a concorrência.
Fonte: Matéria Original
