A Hugging Face apresentou um estudo de caso que revela como pequenos modelos de linguagem podem ser configurados para superar seus concorrentes maiores. O modelo Llama 3 com 3 bilhões de parâmetros, por exemplo, consegue se sair melhor que um modelo com 70 bilhões de parâmetros em problemas de matemática complexos. A pesquisa fornece documentação completa sobre o processo, além de um roteiro para empresas que buscam desenvolver seus próprios modelos de raciocínio personalizados.

Inspirado pelo modelo OpenAI o1, que utiliza computação adicional durante a inferência, o estudo se concentra na técnica de test-time compute. Essa abordagem permite que mais ciclos computacionais sejam empregados na verificação de diferentes respostas e caminhos de raciocínio antes da formulação da resposta final. Isso é especialmente vantajoso em cenários com recursos limitados.

A pesquisa introduziu algoritmos de raciocínio diversificados em que a simples votação da maioria é superada por métodos mais complexos como o 'Best-of-N' e 'Weighted Best-of-N', onde um modelo de recompensa avalia as respostas geradas. O uso da 'Process Reward Model' permite que o SLM não apenas avalie a resposta final, mas também leve em consideração as etapas do processo para alcançar aquela resposta.

1. O 'beam search' otimiza o processo de resposta, gerando respostas parciais em cada etapa.

2. Diverse Verifier Tree Search (DVTS) evita que o modelo siga caminhos de raciocínio falhos.

3. A estratégia de escalonamento de computação dinâmica permite melhor alocação de recursos computacionais.

4. Resultados mostram que o Llama-3.2 1B pode superar o Llama-3.2 8B em benchmarks complexos.

5. A abordagem tem limitações em tarefas subjetivas que requerem mais pesquisa.

O avanço do test-time scaling representa uma nova dinâmica na escolha e alocação de recursos computacionais. Essa técnica permite que empresas optem por usar modelos menores, gastando mais ciclos de inferência para obter respostas mais precisas, embora as limitações ainda sejam evidentes, principalmente ao depender de modelos externos para validação.

O estudo da Hugging Face é um passo significativo na forma como pequenos modelos de linguagem podem competir com seus concorrentes maiores, revelando um potencial promissor. À medida que a pesquisa nesse campo avança, espera-se que novas ferramentas e técnicas surjam, tornando o cenário ainda mais dinâmico. Para se manter atualizado sobre as últimas tendências em IA, não deixe de se inscrever na nossa newsletter.

FONTES:

1. VentureBeat

2. Hugging Face

3. DeepMind

4. OpenAI o1

5. Open Alternatives