O que está por trás dos mais recentes alertas apocalípticos da indústria de IA?

A indústria de IA está no meio de seu debate mais barulhento até agora sobre se a tecnologia representa uma ameaça existencial à humanidade.

O estopim

A discussão ganhou força após o pesquisador de IA Jacob Coxon dizer que pediu demissão da Anthropic por temer que as principais empresas de IA estejam “jogando com nossas vidas”. Depois, o líder de alinhamento da Anthropic publicou no X: “Nós realmente acreditamos sinceramente que a IA poderia matar todos os humanos!”, acrescentando que, pessoalmente, acha a chance “>10% na próxima década”.

O debate no Equity

No episódio mais recente do podcast Equity, da TechCrunch, Kirsten Korosec, Sean O’Kane e Anthony Ha discutiram os alertas. O episódio foi gravado antes de o CEO da Anthropic, Dario Amodei, publicar seu plano para um desenvolvimento de IA mais cauteloso.

Anthony tentou explicar por que é cético em relação a muitas narrativas “doomer”; Kirsten perguntou se isso não seria “apenas uma forma estranha de se exibir para mostrar o quão avançado é o modelo de IA da sua empresa”, especialmente com essas companhias se preparando para abrir capital.

Sean questionou como essas preocupações apareceriam no S-1 da Anthropic para seu IPO: “Existem advogados júniores agora que estão tendo que reescrever toda aquela seção do S-1 para dizer: ‘É posição oficial da Anthropic que há mais de 10% de chance de desenvolvermos algo que erradicaria toda a humanidade e que seria materialmente ruim para nossos negócios’?”

Exibição ou preocupação real?

Sean disse que é difícil lembrar de algo que explodiu tão rápido: o alerta veio de um pesquisador jovem que também trabalhou na OpenAI e foi imediatamente compartilhado pelo líder de alinhamento da Anthropic. Para ele, foi combustível numa sequência já tensa, após o hack da Hugging Face envolvendo um modelo interno da OpenAI e os avanços dos últimos modelos da Anthropic e da OpenAI com o Astra.

Anthony discordou: se alguém acredita que a IA pode destruir toda a humanidade, isso merece um ponto de exclamação. Seu problema com o tweet era o “nós” — quem seria esse “nós”? — e o número de mais de 10%, que, para ele, é inventado e não significa nada. Ele lembrou que o tweet provavelmente se referia ao conceito de P(doom), mas ainda acha a ideia tola. Ainda assim, deu créditos a Coxon por colocar sua trajetória profissional onde estava sua boca.

Kirsten colocou Coxon num campo separado. Ela especulou se cada novo post sobre um incidente em que um agente de IA escapa sem querer, ou sobre como a humanidade está em risco, não seria uma forma estranha de se gabar da capacidade dos modelos da própria empresa. Anthony concordou em parte: não acha que seja sempre um plano de marketing consciente, mas há interesse comercial em dizer “nós criamos o software mais letal já feito”. Sean acrescentou que os exemplos recentes passam a sensação de que as empresas não têm controle total sobre essas coisas, especialmente no caso da OpenAI, com relatos de agentes internos acessando wikis e deixando mensagens entre si.

E o IPO da Anthropic?

Sean destacou o timing: falta pouco para o S-1 da Anthropic e um ou dois meses para um possível IPO. Ele quer saber o que isso significa para o processo. Kirsten lembrou que, num ambiente de investimento tradicional, uma linguagem assim poderia ferir a valuation por sugerir perigo. Mas, em tempos nada normais, isso pode acabar sendo uma estranha vantagem: capacidade, força e até elementos de perigo virando alta valuation. “Vamos ver em algumas semanas”, disse.

Controle e riscos imediatos

O assunto também passou pelo ControlAI: Connor Leahy, diretor executivo da ONG, participou do programa nesta semana para falar sobre controle. Anthony disse não ter uma grande resposta, mas vê que parte do problema é as grandes empresas de IA sentirem que não controlam mais esses modelos — algo que deveria preocupar todos. Ele é cético da narrativa apocalíptica porque a histeria de “isso pode destruir a humanidade em 10 anos” distrai dos danos mais imediatos da IA, como trabalho, meio ambiente e clima. O ideal seria discutir tudo e criar salvaguardas, mas termos como AGI e superinteligência sugam todo o oxigênio da sala.

Fonte: baseado na análise de Anthony Ha, publicada pela TechCrunch. Acesse a matéria original.