A Scale, como parceira de lançamento do Llama 3.1, contribuiu com um grande volume de dados para o treinamento do modelo, que agora se destaca no mercado de LLMs (Modelos de Linguagem de Grande Escala). A colaboração entre Meta e Scale visa superar a desconfiança das empresas em relação ao desempenho e confiabilidade dos modelos de GenAI, que atualmente estão em produção em apenas 10% das organizações.

Para garantir a eficácia do Llama 3.1 em aplicações empresariais, a Scale GenAI Platform foi utilizada para criar um conjunto privado de avaliações que analisam o desempenho do modelo em casos de uso específicos, como serviços financeiros, jurídico e edTech. Avaliações imparciais foram realizadas por especialistas humanos, que compararam o Llama 3.1 com modelos de código fechado e aberto.

1. O Llama 3.1 se destacou em critérios como completude, precisão e profundidade.

2. Embora não alcance o conhecimento abrangente dos modelos de código fechado líderes, seu desempenho é notável em tarefas de resumo e geração aumentada por recuperação.

3. A Scale GenAI Platform permite que as empresas personalizem e implementem o modelo em suas operações.

Os resultados das avaliações demonstraram que o Llama 3.1 405B rivaliza com modelos de código fechado e supera outros modelos de código aberto, destacando-se especialmente na clareza e estrutura das respostas.

Com a possibilidade de personalização e um custo de entrada mais baixo, o Llama 3.1 apresenta-se como uma alternativa viável para empresas que buscam integrar soluções de inteligência artificial em seus processos.

A colaboração entre Meta e Scale não apenas eleva o Llama 3.1 como uma opção robusta para aplicações empresariais, mas também pode incentivar uma maior adoção de modelos open-source no mercado, promovendo inovação e competitividade.

FONTES:

1. Meta Blog

2. Scale Data Engine

3. Scale GenAI Platform

4. Scale Evaluation

5. SEAL Leaderboard

6. Scale Blog