Treinar modelos de IA com outros modelos de IA virou uma meta popular nos laboratórios de inteligência artificial. Um pesquisador do programa de fellows da Anthropic acaba de dar uma prévia de como isso pode funcionar na prática.
Na última sexta-feira, a Anthropic publicou o paper Automated Researchers Can Reliably Mitigate Alignment Failures, detalhando como sistemas automatizados conseguem melhorar o desempenho de um modelo em 10 benchmarks de comportamentos desalinhados — sem degradar o resultado geral.
Como funciona
Liderado pelo fellow Chen Yueh-Han, o sistema replica a abordagem tradicional de pesquisa: busca na literatura disponível, propõe um método e treina o modelo por 30 minutos, repetindo o processo até subir o benchmark. Métodos eficazes são mantidos; os ineficazes, descartados. Isso permite que o sistema opere rápido e em grande escala.
“No geral, esses resultados fornecem evidências iniciais de que o pós-treinamento automatizado de alinhamento pode se tornar prático no curto prazo”, diz o artigo.
Por que isso importa
O estudo é um passo rumo ao autoaperfeiçoamento recursivo, visto por muitos como a próxima grande fronteira da IA. Se um modelo consegue melhorar o próprio alinhamento, é plausível que também possa melhorar outras áreas do treinamento — e, nesse cenário, pesquisadores humanos podem se tornar obsoletos.
“O melhor método AAR supera o que humanos experientes propõem, em média, dentro de seis horas. Direções de pesquisa guiadas por humanos não levam a um desempenho mais forte.”
O artigo ainda compara custos: “Um AAR custa cerca de US$ 4 por hora em inferência de API contra os US$ 150 por hora que pagamos aos nossos pesquisadores humanos.”
Limitações
O paper também reconhece limites. O sistema só é eficaz se os benchmarks refletirem os objetivos reais de alinhamento, e ainda há bastante trabalho para manter esses benchmarks — e a literatura que alimenta os pesquisadores automatizados.
Fonte: baseado na análise de Russell Brandom, publicada pela TechCrunch. Acesse a matéria original.