A Baseten apresentou sua nova ferramenta, Chains, que visa resolver as complexidades enfrentadas no desenvolvimento de fluxos de trabalho de inteligência artificial (IA). Antes do Chains, a Baseten já havia lançado o Truss, uma biblioteca Python de código aberto destinada a simplificar o empacotamento, a servição e a implementação de modelos de machine learning (ML). Contudo, a empresa identificou desafios enfrentados pelos engenheiros, como a necessidade de coordenar múltiplos modelos e otimizar a execução de cargas computacionais, especialmente entre CPUs e GPUs.

O Chains é composto por "Chainlets", serviços modulares que podem ser interligados para realizar inferências em tempo real. Isso permite que os desenvolvedores integrem lógica de negócios com modelos de ML de forma eficiente. A estrutura foi desenvolvida para proporcionar uma experiência de programação intuitiva, com suporte para testes locais, verificação de tipos e aplicação de código, além de otimizar o uso de hardware.

1. Criação de pipelines de inferência modularizados.

2. Utilização ótima de hardware para cada etapa.

3. Facilidade de testabilidade local.

4. Integração simplificada entre serviços.

5. Versão e gestão de fluxos na interface do Baseten.

Para exemplificar o uso do Chains, o artigo descreve um cenário de transcrição de áudio em texto, onde o modelo deve processar longos arquivos de áudio. O Chains permite a divisão e o processamento paralelo desses arquivos, otimizando custos ao alocar tarefas computacionais em hardware adequado para cada operação, como CPUs para pré-processamento e GPUs para transcrição.

O lançamento do Chains promete transformar a forma como os desenvolvedores interagem com fluxos de trabalho em inteligência artificial, oferecendo uma experiência mais simples e eficiente. À medida que a Baseten coleta feedback sobre seus usuários, novas funcionalidades e melhorias estão previstas para aprimorar ainda mais essa ferramenta. Para ficar por dentro de mais inovações em tecnologia, assine nossa newsletter e acompanhe conteúdos atualizados diariamente.

FONTES:

1. Baseten

2. Blog Baseten sobre Chains

3. Guia de Transcrição de Áudio Baseten

4. Exemplo de RAG Pipeline Baseten