A Adept revelou o Persimmon-8B como o modelo de linguagem mais poderoso e de licença totalmente permissiva na classe de 8 bilhões de parâmetros. O código e os pesos estão disponíveis publicamente, permitindo que desenvolvedores e pesquisadores aproveitem seus recursos avançados.

Com um contexto de 16K, o Persimmon-8B apresenta capacidades superiores em comparação a outros modelos de tamanho similar, como o LLaMA2. Ele pode ser facilmente ajustado para ser executado em configurações de computação menos robustas, como um único GPU, tornando-o acessível para mais usuários.

O lançamento também se destaca pela qualidade de avaliação, onde a Adept adota métodos que imitam interações reais, permitindo que os usuários vejam como o modelo responde a questões práticas. Os resultados das comparações mostram que o Persimmon-8B-FT é o modelo de melhor desempenho, superando rivais em diversas métricas.

1. Modelo open-source e permissivo com menos de 10 bilhões de parâmetros.

2. Capacidade de treinar em contexto de 16K, 4 vezes mais do que modelos semelhantes.

3. Performance superior mesmo com menos dados de treinamento em comparação a LLaMA2.

4. Inferência rápida e flexível, facilitando o uso prático em diversas aplicações.

5. Estimulo à inovação na comunidade através do acesso às funcionalidades do modelo.

O Persimmon-8B é construído sobre um transformador estilo decoder com modificações arquitetônicas que melhoram sua performance. Durante o treinamento, o modelo foi exposto a longas sequências de texto, o que o torna único no espaço dos modelos open-source, geralmente limitados a 4096 tokens durante a maioria do treinamento.

O lançamento do Persimmon-8B representa um marco significativo na área de modelos de linguagem. Com sua licença permissiva e alta capacidade de desempenho, promete incentivar desenvolvimentos inovadores na inteligência artificial. A Adept convida os interessados a experimentar o modelo e se inscrever em nossa newsletter para mais novidades diariamente.

FONTES:

1. Adept AI

2. GitHub - Persimmon AI Labs

3. Stanford HELM

4. NVIDIA FasterTransformer