CEO da Anthropic propõe ‘frear a fronteira’ da IA

Dario Amodei, CEO da Anthropic, publicou um novo post no blog em que ecoa os chamados para “pace the frontier” — ou seja, controlar o ritmo da fronteira da IA — e delineia três estratégias amplas para isso. Segundo ele, a Anthropic está “se comprometendo unilateralmente” com uma delas.

O debate sobre segurança e alinhamento de IA se intensificou após o pesquisador Jacob Coxon anunciar sua demissão da Anthropic, dizendo que as empresas líderes estão “apostando com nossas vidas” enquanto quem constrói a tecnologia “acredita sinceramente que ela pode matar todos nós até o fim da década”. Amodei não citou Coxon diretamente, mas disse que dois fatores o convenceram a adotar uma abordagem mais cautelosa: o hack OpenAI-HuggingFace e o fato de que “a IA está avançando drasticamente mais rápido” nos últimos meses, especialmente com sua “crescente capacidade de construir a próxima geração de IA”.

“Precisamos desacelerar o ritmo com que melhoramos as capacidades dos modelos de IA”, escreveu Amodei. “O progresso ainda parecerá rápido, e precisamos usar sabiamente o tempo que ganharmos.”

As três frentes propostas

• Avaliadores embutidos: Amodei propõe avaliadores de organizações terceiras como a METR, que verifiquem se as empresas de IA estão cumprindo compromissos de ritmo e segurança e reportem incidentes. Ele compara esses avaliadores a reguladores embutidos em bancos e diz que convidá-los é “algo com que a Anthropic está se comprometendo unilateralmente (e pede que governos exijam que outras empresas de fronteira façam o mesmo)”. Isso significa dar crachás, mesas e laptops, além de acesso “em grande parte comparável ao que as equipes internas de avaliação de risco têm”, com exceções legais ou contratuais.
• Coordenação entre empresas democráticas: O CEO pede que as principais empresas de IA “em países democráticos” coordenem “padrões comuns de segurança, bem como limites à taxa de progresso não controlado da IA”. Ele reconhece a aparente animosidade entre Sam Altman e Amodei e a preocupação de que uma pausa coordenada atraia escrutínio antitruste. Por isso, escreve que “por razões antitruste, é útil que o governo dos EUA medie ou ao menos viabilize essas discussões — ele não precisa participar, mas precisa emitir uma isenção estreita para certos tipos de conversas de segurança”.
• Coordenação global: Amodei defende que os EUA e aliados “tentem coordenar com governos autoritários, na medida do possível”, incluindo “cooperação com a China”. Ele admite “limites rígidos” ao que pode ser alcançado, mas sugere acordos em áreas estreitas e obviamente perigosas, como “proibir certos usos da IA para produção de armas biológicas ou permitir que usuários o façam”.

Sobre o receio de dominância chinesa, Amodei diz que, se o governo dos EUA e as empresas recusarem vender chips potentes ou equipamentos de fabricação de semicondutores para empresas chinesas, além de reprimirem a destilação de modelos, isso poderia “desacelerar o progresso da China o suficiente para ampliar significativamente a liderança americana nos próximos 3–5 anos”.

Críticas e resposta

Alguns entusiastas de IA já criticaram Amodei como um “doomer” cujos comentários alimentam a reação negativa atual. Ele diz que tenta oferecer uma perspectiva “equilibrada” e argumenta que a reação é “fundamentalmente uma crise de confiança”, já que as pessoas se tornaram céticas em relação às empresas de tecnologia, ao setor e ao governo.

Críticos da indústria também duvidam desses avisos apocalípticos, sugerindo que eles desviam atenção dos danos que a tecnologia já causa. O jornalista Brian Merchant, por exemplo, escreveu que ainda não viu “uma documentação credível, passo a passo, de como exatamente a IA poderia passar de autoaperfeiçoamento recursivo para matar todos os seres humanos do planeta”; ele também sugeriu que propostas semelhantes à de Amodei “provavelmente só acabariam servindo à Anthropic e à OpenAI; é o que a captura regulatória parece na prática”.

“Meu desejo de alcançar esses benefícios não diminuiu”, disse ele. “Mas os benefícios só serão alcançados se construirmos a tecnologia da maneira certa e — desde que usemos bem o tempo que ganharmos — vale a pena tomar um cuidado incomumente deliberado para acertar.”

Fonte: baseado na análise de Anthony Ha, publicada pela TechCrunch. Acesse a matéria original.