A infraestrutura moderna de deep learning exige a transferência eficiente de grandes volumes de dados entre GPUs, especialmente em ambientes de alta demanda. A Perplexity enfrentou o desafio de transferir regiões de memória GPU não contíguas entre máquinas, visando a velocidade máxima. Aproveitando a rede de 3200 Gbps da AWS p5, a equipe desenvolveu uma solução inovadora de redes de alto desempenho.

Os requisitos técnicos do projeto incluíam a criação de um sistema que suportasse transferências de memória não contíguas com altíssima largura de banda e a habilidade para adicionar ou remover nós em tempo real no Kubernetes. Embora a biblioteca NCCL da NVIDIA fosse uma opção padrão, suas limitações em relação à comunicação assíncrona e controle direto sobre os padrões de transferência levaram a equipe a desenvolver sua própria solução.

A equipe utilizou o framework libfabric para estabelecer uma comunicação RDMA (Remote Direct Memory Access), que permite a transferência direta de dados entre a memória GPU e o cartão de rede, eliminando a necessidade de intervenção da CPU. Com várias otimizações, como enfileiramento de operações e alocação de recursos ciente da arquitetura NUMA, conseguiram otimizar a comunicação entre 32 cartões de rede, alcançando 97,1% do desempenho teórico.

1. Implementação de comunicação bidirecional.

2. Adição de GPUDirect RDMA WRITE para transferências diretas entre GPUs.

3. Otimizando transferências simultâneas entre várias GPUs.

4. Introdução de técnicas de enfileiramento de operações.

5. Ajustes de alocação de recursos baseados em NUMA.

A jornada da Perplexity evidencia que, embora ferramentas existentes como a NCCL sejam eficazes para muitos cenários, a personalização é vital em contextos específicos. A equipe conseguiu não apenas otimizar a transferência de dados, mas também demonstrar um uso eficiente da infraestrutura de rede avançada da AWS, resultando em altas taxas de transferência e mostrando como otimizações no design do sistema podem levar a resultados significativos.

- Importância do design de sistemas para alta performance. - A relevância da customização em soluções de rede. - Impacto da tecnologia RDMA na eficiência da transferência de dados.

No geral, a experiência da Perplexity não apenas destaca o potencial da AWS e suas soluções de rede de alto desempenho, mas também incentiva outras empresas a explorarem soluções personalizadas que podem superar as limitações das abordagens padrões. Com o advento de tecnologias cada vez mais avançadas, a eficiência na transferência de dados se torna crítica para o sucesso de projetos em deep learning.

A jornada para construir uma rede de alto desempenho exige um entendimento profundo da arquitetura de hardware e dos princípios de design do sistema. As lições aprendidas pela Perplexity servem como um guia para outras empresas que buscam otimizar suas operações em ambientes de alta demanda. Os leitores são convidados a acompanhar mais conteúdos como este em nossa newsletter, que traz atualizações diárias sobre inovações tecnológicas e soluções em deep learning.

FONTES:

1. AWS - Elastic Fabric Adapter

2. AWS - Scalable Reliable Datagram

3. GitHub - Repo da Perplexity