NuminaMath 7B TIR: O Novo Modelo de Linguagem Focado em Matemática

Tecnologia Inteligência Artificial Matemática

Na semana passada, a equipe Numina lançou o NuminaMath 7B TIR, um novo modelo de linguagem focado em matemática, que rapidamente alcançou a primeira posição no ranking 'Top-Trending LLMs over the Last Week'. O modelo se destaca por suas capacidades de raciocínio integrado com ferramentas (TIR) e execução de código Python, sendo uma adição significativa para pesquisadores de IA e matemáticos.

Imagem gerada utilizando Dall-E 3

O NuminaMath 7B TIR é construído sobre a base deepseek-ai/deepseek-math-7b-base e possui 6,91 bilhões de parâmetros. Sua principal característica é o raciocínio integrado com ferramentas (TIR) que utiliza o Python REPL, permitindo a tradução de problemas matemáticos em código Python e sua execução. O modelo é de código aberto e licenciado sob a Apache 2.0.

Construído sobre: deepseek-ai/deepseek-math-7b-base
Parâmetros: 6,91 bilhões
Característica principal: Raciocínio Integrado com Ferramentas (TIR) com Python REPL
Licença: Apache 2.0 (código aberto)

O modelo demonstrou suas capacidades ao vencer o primeiro prêmio de progresso na AI Math Olympiad (AIMO), com uma pontuação de 29/50 nos conjuntos de testes públicos e privados. O treinamento do NuminaMath 7B TIR foi dividido em duas etapas: primeiro, foi ajustado em um grande conjunto de dados de problemas matemáticos com soluções em cadeia de pensamento; em seguida, foi refinado em conjuntos de dados sintéticos utilizando raciocínio integrado com ferramentas.

- Taxa de aprendizado: 2e-05 - Tamanho do lote de treinamento: 4 (total 32 em 8 GPUs) - Otimizador: Adam - Número de épocas: 4.0 - Versões dos frameworks: Transformers 4.40.1, Pytorch 2.3.1, Datasets 2.18.0, Tokenizers 0.19.1

A comunidade de IA mostrou grande interesse no desempenho deste modelo de código aberto em matemática. Ele é especialmente eficaz para problemas no nível AMC 12, mas pode enfrentar dificuldades com problemas mais avançados ou de geometria. O NuminaMath 7B TIR não é adequado para aplicações de chat geral, mas representa um avanço significativo para pesquisadores e matemáticos interessados em combinar habilidades de matemática e codificação.

O NuminaMath 7B TIR marca um novo desenvolvimento nos modelos de linguagem focados em matemática, oferecendo uma ferramenta poderosa para pesquisadores e matemáticos. Com sua capacidade de integrar raciocínio matemático e codificação, este modelo pode abrir novas possibilidades para a resolução de problemas complexos e avançar o campo da inteligência artificial.