NVIDIA e Meta Otimizam Modelos Llama com Técnicas de Poda e Destilação

Tecnologia Inteligência Artificial Inovação

A NVIDIA, em parceria com a Meta, está utilizando técnicas de poda estruturada de pesos e destilação de conhecimento para otimizar os modelos Llama, tornando-os mais acessíveis e eficientes. A colaboração resultou na criação do Llama-Minitron 3.1 4B, uma versão compacta do modelo Llama 3.1 8B, sem a necessidade de treinar um novo modelo do zero.

Generate a 2D, linear perspective image in a flat, corporate, and vector-based style. The background should be white and texture-less. Central to the layout, depict a stylized human brain, symbolizing artificial intelligence and learning ability. Incorporating imagery of electronic circuits, manifesting technology and computation. Fuse the logos of two un-named tech companies to represent teamwork (please do not use real logos, create a simple, non-representative green and blue emblem instead). Introduce arrows that indicate downward movement to denote model optimization. The color palette should primarily feature shades of blue and green, aligning with themes of technology and innovation.

Imagem gerada utilizando Dall-E 3

Os modelos de linguagem de grande porte, como o Llama da Meta, têm mostrado uma capacidade impressionante em tarefas complexas, incluindo a geração de código, resolução de problemas matemáticos e apoio a decisões médicas. No entanto, esses modelos são notoriamente intensivos em recursos, o que dificulta sua ampla adoção. Para enfrentar esse desafio, a NVIDIA e a Meta estão trabalhando juntas para tornar esses modelos mais acessíveis.

No mês passado, a Meta anunciou o lançamento do Llama 3.1, que inclui seu maior modelo até agora, com 405 bilhões de parâmetros, além de modelos menores com 70 bilhões e 8 bilhões de parâmetros. Modelos menores são geralmente mais baratos de implantar e ainda assim eficazes em muitas tarefas de linguagem. Em um novo artigo de pesquisa, a NVIDIA demonstra como modelos grandes podem ser reduzidos usando poda estruturada de pesos e destilação de conhecimento, sem a necessidade de treinar um novo modelo do zero.

Trabalhando com o modelo Llama 3.1 8B, a equipe da NVIDIA conseguiu criar o Llama-Minitron 3.1 4B. Este é o primeiro trabalho dentro da família de código aberto Llama 3.1, mostrando que é possível otimizar modelos grandes para torná-los mais eficientes e acessíveis. Mais detalhes sobre a estratégia de poda e destilação podem ser encontrados no blog da NVIDIA.

A colaboração entre a NVIDIA e a Meta representa um avanço significativo na otimização de modelos de linguagem de grande porte. Ao utilizar técnicas de poda e destilação, as empresas estão tornando esses modelos mais acessíveis e eficientes, o que pode levar a uma adoção mais ampla em diversas áreas. O futuro promete mais inovações à medida que essas técnicas são refinadas e aplicadas a outros modelos.