O ajuste fino de LLMs envolve uma combinação de arte e ciência, com práticas recomendadas ainda em desenvolvimento. O artigo destaca variáveis de design para ajuste fino e oferece orientações sobre como maximizar o desempenho dos modelos com restrições de recursos. A escolha entre ajuste fino completo e PEFT depende de fatores como a disponibilidade de computação, desempenho em tarefas além do objetivo principal e custos de anotação humana.

1. O ajuste fino completo é suscetível a problemas como colapso do modelo e esquecimento catastrófico.

2. Técnicas PEFT atuam como regularizadores naturais e são mais acessíveis em cenários com restrições de recursos.

3. A qualidade do conjunto de dados é crucial para o sucesso do ajuste fino, com a qualidade sendo mais importante que a quantidade.

A curadoria de conjuntos de dados envolve garantir a diversidade e a qualidade dos dados. É essencial evitar duplicações e garantir que os dados reflitam o comportamento esperado do modelo no mundo real. Técnicas como observação de modos de falha e a inclusão de humanos no loop de anotação são recomendadas para melhorar a eficiência e reduzir custos.

- Observação de modos de falha: adicionar exemplos que abordem falhas anteriores do modelo. - Inclusão de humanos no loop: usar automação de LLM para gerar respostas base que são refinadas por anotadores humanos. - Diversidade no conjunto de dados: usar dados variados para melhorar o equilíbrio entre aprendizado e esquecimento. - Padronização de saídas: remover espaços em branco e formatações desnecessárias para focar no aprendizado de conceitos importantes.

O uso de pipelines baseados em LLM para curar conjuntos de dados de alta qualidade pode reduzir os custos de anotação. Técnicas como avaliação, geração e inclusão de humanos no loop são observadas na prática. A avaliação de conjuntos de dados para saídas ruins e a verificação do equilíbrio de classes positivas/negativas são essenciais para garantir a consistência e a exaustividade dos exemplos de treinamento.

O ajuste fino é uma parte crucial do desenvolvimento de LLMs que exige um equilíbrio delicado entre arte e ciência. A qualidade e a curadoria dos conjuntos de dados desempenham um papel significativo no sucesso do ajuste fino, com pequenos LLMs ajustados frequentemente superando modelos maiores em tarefas específicas. À medida que o campo evolui, espera-se o surgimento de práticas recomendadas gerais, mantendo a natureza criativa e adaptativa do ajuste fino.

FONTES:

1. Meta AI Blog

2. Part 1

3. Part 2

4. Academic Study

5. Practical Settings

6. Model Collapse

7. Catastrophic Forgetting

8. Full Fine-Tuning vs. PEFT

9. LIMA Dataset

10. [OpenAI Fine-Tuning Documentation](https://platform.openai.com/docs/guides/fine-tuning/common-use-cases)

11. [Duplication Study](https://aclanthology.org/2022.acl-long.577.pdf)

12. [SQLCoder2 Details](https://defog.ai/blog/sqlcoder2-technical-details/)

13. [Instruction Backtranslation](https://arxiv.org/abs/2308.06259)

14. [Hindi Language Adaptation](https://www.sarvam.ai/blog/announcing-openhathi-series)

15. [Odia Language Adaptation](https://arxiv.org/pdf/2312.12624.pdf)

16. [FLAN](https://github.com/google-research/FLAN)

17. [Alpaca](https://github.com/tatsu-lab/stanford_alpaca)

18. [Synthetic Dataset Best Practices](https://arxiv.org/html/2404.07503v1)

19. [Small Fine-Tuned LLMs](https://arxiv.org/abs/2405.00732)

20. [Llama Fine-Tuning Guide](https://llama.meta.com/docs/how-to-guides/fine-tuning/)