O Codestral Mamba é mais um passo na evolução da Mistral, após o lançamento da família Mixtral. Desenvolvido em colaboração com Albert Gu e Tri Dao, o novo modelo visa proporcionar um ambiente de pesquisa arquitetônica ao ser disponibilizado gratuitamente para uso, modificação e distribuição.

Diferentemente dos modelos Transformer, os modelos Mamba se destacam pela inferência em tempo linear e a capacidade teórica de modelar sequências de comprimento infinito. Essa característica torna o Codestral Mamba ideal para aplicações que exigem produtividade em código, sendo capaz de fornecer respostas rápidas e eficientes.

O modelo foi testado em capacidades de recuperação em contexto com até 256 mil tokens e está pronto para ser utilizado como um assistente de código local. O processo de implantação pode ser realizado através do SDK mistral-inference ou pelo TensorRT-LLM, com suporte planejado na biblioteca llama.cpp.

1. Modelo disponível sob licença Apache 2.0.

2. Colaboração de Albert Gu e Tri Dao.

3. Capacidade de inferência em tempo linear.

4. Desempenho em aplicações de geração de código.

5. Teste realizado com até 256k tokens.

Além do Codestral Mamba, está disponível a versão Codestral 22B, que opera sob uma licença comercial, enquanto o Mamba oferece uma alternativa acessível no campo da inteligência artificial aplicada à programação.

- Acesso gratuito e personalizado. - Promove inovações na arquitetura de modelos. - Possibilidade de modificação e distribuição.

Com o lançamento do Codestral Mamba, espera-se que novas iniciativas de pesquisa e desenvolvimento sejam estimuladas, propiciando avanços significativos na produtividade do desenvolvimento de software.

O lançamento do Codestral Mamba não só representa um marco na evolução de modelos de linguagem especializados em código, mas também abre possibilidades para a comunidade de desenvolvedores. Convidamos os leitores a se inscreverem em nossa newsletter para receber atualizações diárias sobre novas tecnologias e inovações no campo da inteligência artificial.

FONTES:

1. Mistral AI

2. HuggingFace

3. TensorRT-LLM

4. mistral-inference

5. Console Mistral