O Instituto Allen para Inteligência Artificial (Ai2) lançou o OLMo 2, uma inovadora família de modelos de linguagem. Esses modelos, com 7 e 13 bilhões de parâmetros, foram treinados em até 5 trilhões de tokens. De forma impressionante, eles superam modelos como o Llama 3.1, destacando-se em benchmarks acadêmicos.
OLMo 2: o futuro da IA aberta
Desde o lançamento do primeiro OLMo em fevereiro de 2024, o cenário da IA aberta passou por avanços significativos. A diferença entre modelos de código aberto e proprietários diminuiu substancialmente.
O OLMo 2 apresenta desempenho notável em tarefas downstream, ultrapassando sua versão inicial, o OLMo-0424. Além disso, projetos como Amber, Neo e DCLM têm fortalecido o ecossistema de inteligência artificial aberta. O modelo OLMoE, apresentado em setembro, alcançou a fronteira de Pareto em termos de eficiência e tamanho.
Estratégias avançadas garantem resultados
O Ai2 implementou técnicas modernas para o desenvolvimento do OLMo 2:
- Estabilidade no treinamento: Métodos inovadores estabilizaram o treinamento de longa duração, aprimorando a consistência dos resultados.
- Treinamento em etapas: A equipe utilizou currículos de dados e ajustes precisos para corrigir lacunas no desempenho.
- Pós-treinamento refinado: Estratégias desenvolvidas a partir do Tülu 3 resultaram no OLMo 2-Instruct, que atende demandas específicas com precisão elevada.
Sistema OLMES: eficiência na avaliação
O Ai2 criou o Open Language Modeling Evaluation System (OLMES), que inclui 20 benchmarks especializados. Dessa forma, o sistema avalia raciocínio lógico, recall de conhecimento e outras habilidades críticas.
Os benchmarks foram ajustados para maximizar a relação sinal-ruído. Analogamente, isso facilitou o acompanhamento das melhorias ao longo do desenvolvimento.
Desempenho e inovação
Os modelos OLMo 2-13B e OLMo 2-7B lideram em eficiência. Eles superam opções como Llama 3.1, StableLM 2 e Qwen 2.5 em benchmarks. Assim, o Ai2 reafirma seu compromisso com a excelência no campo da IA aberta.
Ciência aberta como prioridade
O Ai2 compartilha pesos, códigos e checkpoints intermediários com a comunidade científica. Dessa forma, espera-se que os avanços sejam acelerados. Além disso, um relatório técnico detalhado será publicado em breve, oferecendo mais informações sobre o processo de desenvolvimento do OLMo 2.
Fonte: Allen AI
