OLMo 2: Avanços no Desenvolvimento de Modelos de Linguagem Abertos da Ai2

Tecnologia Inteligência Artificial Desenvolvimento de Software

A Ai2 anunciou o lançamento do OLMo 2, uma nova família de modelos de linguagem de código aberto, que promete democratizar a inteligência artificial e reduzir a diferença de desempenho entre soluções abertas e proprietárias.

Imagine a vector style, 2D-linear perspective image that celebrates the launch of 'OLMo 2', a family of open-source language models, on a white, textureless background. The image should have graphics and other visual elements that highlight the training process and a comparative performance between different models. Include a graph that visually represents the performance comparison between multiple models. Include icons that symbolically represent the open-source nature of these models. Make use of blue and green colors in the image to denote innovation and technology.

Imagem gerada utilizando Dall-E 3

O OLMo 2, disponível em versões de 7 bilhões e 13 bilhões de parâmetros, foi treinado com até 5 trilhões de tokens e apresenta níveis de desempenho que igualam ou superam modelos totalmente abertos, ao mesmo tempo que se mantém competitivo com modelos de pesos abertos como o Llama 3.1 em benchmarks acadêmicos em inglês.

Desde o lançamento do primeiro OLMo em fevereiro de 2024, a Ai2 observou um crescimento acelerado no ecossistema de modelos de linguagem abertos e uma redução na diferença de desempenho em comparação com modelos proprietários. Esse progresso foi alcançado através de diversas inovações em treinamentos, incluindo medidas de estabilidade aprimoradas e metodologias de pós-treinamento do framework Tülu 3.

A equipe de desenvolvimento utilizou um processo de treinamento em duas etapas, começando com o dataset OLMo-Mix-1124 de aproximadamente 3,9 trilhões de tokens, seguido por uma mistura curada de dados da web de alta qualidade e conteúdo específico de domínio através do Dolmino-Mix-1124. O modelo OLMo 2-Instruct-13B se destaca como o mais avançado da linha.

Além disso, a Ai2 reforçou seu compromisso com a ciência aberta ao publicar documentação abrangente, incluindo pesos, dados, códigos e modelos sintonizados por instruções, permitindo a inspeção e reprodução completa dos resultados pela comunidade de IA. Destaca-se também a introdução de um novo framework de avaliação, o OLMES, que consiste em 20 benchmarks para avaliar capacidades básicas como recordação de conhecimento e raciocínio matemático.

Com a liberação do OLMo 2, a Ai2 não apenas eleva os padrões de desenvolvimento em IA aberta, mas também potencializa inovações futuras na área. Os interessados em inteligência artificial devem acompanhar esses avanços, e para mais conteúdos atualizados diariamente, é recomendável assinar a nossa newsletter.