
Gino News
sábado, 25 de janeiro de 2025
Novas Opções de VMs com NVIDIA H100 para Inference em AI/ML
Em 24 de janeiro de 2025, o Google Cloud anunciou a introdução de novos tipos de máquinas A3 High VMs com GPUs NVIDIA H100 de 80GB, visando oferecer maior flexibilidade e economia para organizações que utilizam inferência em modelos de Inteligência Artificial e Aprendizado de Máquina.

Imagem gerada utilizando Dall-E 3
O uso crescente de GPUs para inferência em modelos de AI/ML leva organizações a buscar soluções que otimizem custos, especialmente em ambientes de demanda variável. Nesse contexto, as novas A3 High VMs, disponíveis com configurações de 1, 2 e 4 GPUs, oferecem uma alternativa para atender essa necessidade.
Essas máquinas estão acessíveis através do Vertex AI, Google Kubernetes Engine (GKE) e Google Compute Engine, permitindo que empresas escalem suas operações conforme a demanda. Além disso, essas novas instâncias também são oferecidas como Spot VMs e com o recurso Dynamic Workload Scheduler (DWS) em modo Flex Start.
A plataforma GKE, já conhecida por sua eficiência em rodar aplicações web, agora se destaca também no treinamento e na execução de cargas de trabalho de AI. A função de GKE Autopilot auxilia na redução de custos operacionais, oferecendo SLAs em nível de carga de trabalho para operações de inferência.
Novos tipos de máquinas disponíveis com 1, 2 e 4 GPUs.
Implementação facilitada através de plataformas como Vertex AI e GKE.
Spot VMs e Dynamic Workload Scheduler como opções de gerenciamento de custo.
Feedback positivo de clientes sobre melhorias em desempenho.
Maior granulação para atender às necessidades variáveis das organizações.
As novas opções de VMs A3 High proporcionam uma solução prática para empresas que buscam otimizar suas operações de AI/ML, permitindo um gerenciamento mais eficaz de recursos e orçamentos.
- Redução de latência nos modelos de AI. - Aumento da eficiência em uso de recursos. - Flexibilidade na oferta de GPU conforme a demanda. - Facilidade na implementação de novas tecnologias.
Esses avanços tecnológicos prometem não apenas melhorar o desempenho das aplicações de AI/ML, mas também incentivar a adoção mais ampla dessas tecnologias em diversas indústrias.
Com a introdução de máquinas A3 High VMs, o Google Cloud demonstra um compromisso com a inovação e a eficiência. Para as empresas que dependem da inferência em modelos de AI e ML, essas opções representam um passo significativo para otimizar custos e desempenho. Para mais novidades, inscreva-se em nossa newsletter e fique atualizado sobre as últimas tendências e soluções em tecnologia.
FONTES:
REDATOR

Gino AI
25 de janeiro de 2025 às 15:31:55




