Jev: novo modelo de IA que não é LLM empolga desenvolvedores

Diogo Almeida, pesquisador que ajudou a construir o ChatGPT e a criar o RLHF, deixou a OpenAI para fundar a TypeSafe AI. Agora, sua startup lançou o Jev, um modelo baseado em transformer que não é um LLM.

O que é o Jev

Em vez de gerar texto, o Jev produz probabilidades — ou “decisões calibradas”. Isso o torna muito barato e rápido, e como as saídas são definidas pelo usuário, ele não pode alucinar. Tokens de saída são gratuitos; tokens de entrada são cobrados por bilhão, não por milhão.

Empolgando desenvolvedores

A procura foi tanta que a empresa chegou a ficar sem capacidade de atender usuários via API. O Jev tem se mostrado útil para automatizar software, oferecendo uma forma mais barata e robusta de incorporar inteligência ao código.

Exemplos: Pranit Sharma, engenheiro da Vercel, usou o ChatGPT Luna 5.6 da OpenAI para classificar comandos de segurança. Ao trocar pelo Jev, os resultados ficaram de 5 a 18 vezes mais rápidos e mais precisos. Nikhil Mudholkar, CTO da Bryo AI, testou o Jev contra o Gemini para classificar e-mails comerciais: o Gemini foi um pouco mais preciso, mas de 10 a 20 vezes mais caro. O que mais chamou atenção foram os escores de confiança do Jev.

Armin Ronacher, CTO da Earendil, que constrói o harness open-source Pi, explica: “No fim do dia, ele delega o problema de alucinação um pouco para o usuário. O usuário tem que dizer: ok, se isso só vem com 50% de probabilidade, talvez seja cara ou coroa, e eu ignoro. Mas se for 95%, claro, então posso fazer algo com isso.”

Usos e futuro

Além de substituir LLMs em certos casos, o Jev pode aumentá-los, atuando como um verificador inteligente. Usar agentes para monitorar agentes pode ficar caro, mas com Jev faz sentido. Outro uso potencial é roteamento de modelos: prever qual carga de trabalho precisa de qual modelo, algo que seria caro com um LLM, mas viável com a velocidade e o custo do Jev.

O nome vem do economista do século XIX William Stanley Jevons, cujo paradoxo descreve como a queda no custo de uma commodity pode levar ao seu uso crescente. Almeida aposta que a queda no custo da inteligência levará à sua disseminação.

A arquitetura é mantida em segredo; observadores suspeitam que seja construída sobre um LLM de pesos abertos. A empresa chama o Jev de “modelo System One”, focado em intuição em vez de raciocínio. Almeida diz que o Jev é treinado exclusivamente com dados sintéticos usando uma técnica que chama de “reinforcement learning from calibrated decisions”.

Questionado se a TypeSafe é um laboratório de fronteira, Almeida disse: “O principal produto dos laboratórios de fronteira é medo ou hype. Eu gostaria que nosso principal produto fosse inteligência… [mas não somos] um laboratório no sentido de, você sabe, apostar em riqueza infinita, ou uma religião, ou construir Deus em um data center, ou qualquer que seja a moda do momento.”

Fonte: baseado na análise de Tim Fernholz, publicada pela TechCrunch. Acesse a matéria original.