A Vannevar Labs utiliza machine learning para extrair insights dos dados que coleta, enfrentando o desafio de manter a conformidade regulatória ao auto-hospedar todos os seus modelos. A necessidade de uma solução de inferência online que pudesse ser hospedada internamente levou a equipe a decidir pelo uso do Ray, uma tecnologia que oferece uma plataforma extensível e escalável para a infraestrutura de serviços ML.

Os principais critérios para a escolha de uma solução incluíram a capacidade de auto-hospedagem devido a requisitos de segurança interna, a confiabilidade e adoção com uma ampla comunidade de apoio, e a extensibilidade para atender a futuras demandas como treinamento de modelos e inferência offline. Essas necessidades restringiram as opções a soluções de código aberto, levando à avaliação de plataformas como Cortex, BentoML, Nvidia Triton e, finalmente, Ray Serve.

Ray Serve se destacou por permitir a implantação de múltiplos modelos em um único cluster, alocação fracionada de GPU e facilidade no processo de implantação. O uso de comandos automatizados e a configuração simplificada de serviços tornaram a implementação menos onerosa, especialmente para a equipe de DevOps.

1. Execução de mais de 20 modelos em um cluster de tempo real.

2. Apoio de uma comunidade ampla e ativa.

3. Redução de custos com alocação eficiente de recursos.

4. Processo de implantação simplificado para novos modelos.

5. Capacidade de escalar operações em futuras aplicações.

A decisão de auto-hospedar um cluster Ray permitiu à Vannevar Labs ter controle total sobre o processo de implantação, aumentando a eficiência e personalização do ambiente de desenvolvimento. A flexibilidade da infraestrutura não só acelerou a implementação de soluções de ML, mas também garantiu um bom desempenho e escalabilidade para as necessidades futuras da empresa.

- Adoção de tecnologia de ponta. - Necessidade de conformidade em ambientes protegidos. - Desenvolvimento de soluções escaláveis de ML.

A Vannevar Labs busca continuamente talentos para avançar em sua missão de desenvolver produtos inovadores utilizando técnicas avançadas de aprendizado de máquina e coleta de dados, especialmente focadas em resolver problemas para o Departamento de Defesa dos EUA.

A escolha do Ray Serve pela Vannevar Labs pode servir de exemplo para outras startups e empresas que enfrentam desafios semelhantes na implementação de soluções de aprendizado de máquina em ambientes restritos. Este testemunho sobre a eficácia e a comunidade de suporte do Ray Serve reforça a importância da colaboração em tecnologia. Para mais atualizações e conteúdos sobre tecnologia e inovação, inscreva-se em nossa newsletter.

FONTES:

1. Ray Serve

2. Cortex

3. BentoML

4. Nvidia Triton

5. Vannevar Labs