Os desenvolvedores Cerebras e Neural Magic atingiram um marco no campo dos modelos de linguagem grandes (LLMs) ao implementar técnicas de poda inovadoras e pré-treinamento esparso. Esta nova abordagem permite uma redução de até 70% nos parâmetros dos modelos, mantendo a precisão em tarefas complexas, o que promete democratizar o acesso a esses modelos em diversas indústrias.

A obtenção de 70% de esparsidade em LLMs representa um avanço considerável, pois a maioria das GPUs não alcança sequer 50% em cargas de trabalho de produção. O hardware Cerebras CS-3 acelerou o treinamento em até 8 vezes, enquanto o motor DeepSparse da Neural Magic oferece inferências até três vezes mais rápidas em comparação com modelos densos. Esses avanços são fundamentais para a eficiência e a acessibilidade na implementação de LLMs.

A pesquisa em esparsidade de modelos de linguagem vem se expandindo, mas as dificuldades históricas incluíam a complexidade da relação entre parâmetros e a limitação do hardware de GPU. A arquitetura do Cerebras Wafer Scale Engine (WSE) foi projetada para suportar padrões de esparsidade variados, permitindo que a equipe aproveite a estrutura natural dos modelos para obter melhor desempenho.

1. 70% de esparsidade alcançada.

2. Manutenção da precisão em tarefas desafiadoras.

3. Aceleração de treinamento de até 8x.

4. Inferência até 3x mais rápida.

5. Lançamento de recursos para a comunidade de IA.

O novo método de fine-tuning esparso desenvolvido em colaboração com a Neural Magic combina poda em uma única etapa, pré-treinamento e fine-tuning, resultando em LLMs altamente esparsos. O modelo LLAMA, por exemplo, consegue manter o mesmo nível de precisão que seu equivalente denso, mas com uma redução significativa de tamanho.

- Inovação em LLMs. - Acesso ampliado para organizações. - Potencial de uso em várias indústrias.

As implicações desses avanços são vastas, pois a eficiência melhorada torna a implementação de LLMs mais viável em ambientes de diversos portes. A democratização do uso destes modelos poderá abrir novas possibilidades para aplicações em setores como saúde, finanças e educação.

O progresso realizado pela Cerebras e Neural Magic não apenas redefine as capacidades dos LLMs, mas também estabelece um novo paradigma na eficiência de processamento. Ao disponibilizar pacotes de recursos para a comunidade, eles promovem a inovação contínua nesse campo. Para se manter atualizado sobre mais desenvolvimentos como esse, assine nossa newsletter.

FONTES:

1. Cerebras AI

2. Neural Magic

3. GitHub Neural Magic