O Together GPU Clusters, agora disponível, integra a NVIDIA HGX B200, destacando-se por alcançar uma impressionante taxa de 15,200 tokens por segundo em um modelo de 70B parâmetros, uma velocidade 90% superior à do H100. Este avanço é impulsionado pela utilização dos recursos avançados da arquitetura Blackwell, que inclui os novos Tensor Cores de quinta geração e memória dedicada, permitindo a execução otimizada de operações críticas.

Os clusters implantados utilizam redes NVIDIA Quantum-2 InfiniBand e são fundamentais para desenvolver modelos de raciocínio e agentes de IA em larga escala. A equipe de pesquisa da Together AI desenvolveu kernels FP8 personalizados usando o framework de código aberto ThunderKittens, que maximiza a eficiência ao executar operações com a nova arquitetura.

Com a introdução da Together Kernel Collection, a NVIDIA HGX B200 não só proporciona um aumento de speed, mas redefine a eficiência no treinamento e inferência de IA. O novo design permite a utilização de diversos formatos de precisão, o que otimiza o uso de largura de banda durante operações de inferência.

1. Treinamento 90% mais rápido em comparação ao H100.

2. Uso dos kernels customizados para maximizar eficiência.

3. Integração com arquiteturas avançadas como Blackwell.

4. Aumento de desempenho através de redenção de memória.

5. Oportunidade de teste gratuito dos clusters com Blackwell.

As possibilidades geradas pela arquitetura Blackwell são extensas, permitindo a reunião e colaboração entre equipes de IA para otimizar ainda mais seu desempenho. Essa direção não só evolui o campo da inteligência artificial, mas também estabelece um novo padrão em operações de treinamento em larga escala.

- Aceleração significativa no treinamento de modelos. - Abertura de oportunidades de teste gratuito. - Parcerias com equipes de pesquisa renomadas. - Impulsionamento do desenvolvimento de kernels especializados.

A NVIDIA HGX B200, promove uma inovadora abordagem para treinamento de IA, possibilitando que as equipes de IA explorem novos limites e alcancem resultados sem precedentes. Com isso, a expectativa é que a indústria conheça uma revolução no poder computacional disponível para o desenvolvimento de IA.

Com o lançamento dos Together GPU Clusters e a arquitetura Blackwell, a NVIDIA abre novas portas para as equipes de IA, oferecendo uma plataforma que maximiza a eficiência e performance no treinamento de modelos. Os interessados devem aproveitar a oportunidade de testar essa tecnologia revolucionária e se inscrever na nossa newsletter para ficar por dentro das últimas novidades no mundo de IA.

FONTES:

1. Together AI

2. NVIDIA Blackwell

3. ThunderKittens Framework

4. Tensor Cores

5. Aplicação para Test Drive