No contexto atual de inteligência artificial generativa, uma das principais questões que preocupam os pesquisadores e desenvolvedores é quanto tempo e recursos devem ser investidos no treinamento de modelos de linguagem. Nos últimos anos, modelos de escalonamento emergiram como fórmulas empíricas que estimam a maneira mais eficiente de escalonar o pré-treinamento desses modelos. No entanto, as leis de escalonamento populares geralmente focam apenas nos custos de treinamento, ignorando os custos, também substanciais, de implementação.

O estudo apresenta uma nova lei de escalonamento que combina os custos de treinamento e inferência, propondo que, em cenários de alta demanda de inferência, deve-se treinar modelos significativamente menores com dados muito mais extensos do que os sugeridos anteriormente. A investigação revelou que modelos menores podem igualar a qualidade de modelos maiores se forem treinados em uma quantidade de dados muito maior.

1. A nova lei de escalonamento considera tanto os custos de treinamento quanto os de inferência.

2. Modelos pequenos treinados em mais dados podem ser mais eficientes que os modelos maiores.

3. A pesquisa sugere treinar modelos menores, mas por mais tempo e com mais dados.

4. Não há evidências de que exista um ponto de saturação para melhoria da qualidade do modelo.

5. A abordagem envolve otimização de custos, não apenas de operações computacionais.

Os resultados obtidos demonstram que a qualidade do modelo melhora à medida que se aumenta a quantidade de dados por parâmetro, mesmo em proporções extremas. Além de reduzir os custos totais, essa nova metodologia pode ser aplicada a diferentes tipos de hardware, otimizando gastos tanto em treinamento quanto em inferência.

A pesquisa realizada modifica as leis de escalonamento para considerar os custos reais de treinamento e inferência, demonstrando que modelos menores, treinados por mais tempo com mais dados, podem ser mais vantajosos em cenários de alta demanda. Este estudo não apenas contribui para a literatura acadêmica, mas também serve como um guia prático para desenvolvedores. Interessados em aprofundar-se nessa área dinâmica devem ficar atentos às inovações contínuas e considerar a adesão a essas novas práticas. Acompanhe nossa newsletter para mais conteúdos atualizados diariamente.

FONTES:

1. Databricks Research

2. ICML 2024

3. Chinchilla Scaling Law

4. DBRX Mixture-of-Experts

5. Mosaic Evaluation Gauntlet