O novo espaço GGUF-my-LoRA foi criado após a recente reformulação do suporte a LoRA no repositório llama.cpp. Essa alteração permite que qualquer adaptador PEFT LoRA seja convertido em GGUF e utilizado em conjunto com modelos base GGUF, otimizando o processo de ajuste de modelos de linguagem.

LoRA, que significa Low-Rank Adaptation, é uma técnica de aprendizado de máquina que visa o ajuste eficiente de grandes modelos de linguagem, permitindo que pequenas instruções especializadas sejam adicionadas a modelos genéricos sem a necessidade de reeducação completa. Isso é particularmente útil para personalizações específicas, como adaptar um chatbot para diferentes indústrias.

Para converter um adaptador PEFT LoRA para GGUF, os usuários devem acessar o espaço GGUF-my-LoRA, fazer login e selecionar o adaptador desejado. Após a conversão, uma nova repositório será criada na conta pessoal do usuário, possibilitando o uso dos adaptadores convertidos.

1. Direcione-se ao GGUF-my-LoRA e faça login.

2. Selecione o adaptador PEFT LoRA desejado para conversão.

3. Complete o processo de conversão para criar um repositório.

4. Utilize o terminal com o comando llama-cli para carregar o modelo base.

5. Adicione adaptadores usando as opções de linha de comando.

O uso de adaptadores pode variar em configuração; por exemplo, os comandos para carregar o modelo base e os adaptadores podem incluir opções como --lora para modelos únicos ou a possibilidade de carregar múltiplos adaptadores simultaneamente.

A introdução do GGUF-my-LoRA representa uma evolução significativa na personalização de modelos de linguagem, tornando o processo mais acessível e eficiente. Para saber mais sobre como essas tecnologias podem impactar o desenvolvimento de IA, inscreva-se em nossa newsletter e fique atualizado com conteúdos diários sobre inovações tecnológicas.

FONTES:

1. Hugging Face

2. GitHub - llama.cpp

3. GitHub - PEFT

4. Hugging Face - Meta-Llama-3

5. Hugging Face - LoRA Adapter