A crescente quantidade de dados gerados por modelos de machine learning traz desafios significativos para as operações de machine learning (MLOps), especialmente na fase de pré-processamento. Este momento é essencial para transformar dados brutos em um formato adequado ao treinamento de modelos, mas muitas vezes se torna um gargalo que prejudica a produtividade, levando horas para tarefas simples.

Para solucionar essas dificuldades, o artigo propõe um pipeline de pré-processamento de dados distribuído que se apoia na infraestrutura do GKE e na capacidade do Ray para computação distribuída. Essa combinação permite um processamento mais eficiente de grandes conjuntos de dados e acelera o fluxo geral de trabalho em machine learning.

Os passos do pré-processamento incluem limpeza de dados, engenharia de características, escalonamento e codificação. Uma das grandes inovações apresentadas é o uso de paralelismo para resolver problemas de escalabilidade, onde a divisão de dados em pequenos pedaços e a sua distribuição em múltiplas threads reduzem drasticamente o tempo de processamento, de mais de 8 horas para apenas 17 minutos.

1. Limpeza do arquivo de dados e remoção de nulos.

2. Separação das colunas relevantes em dados estruturados.

3. Validação e download de imagens de URLs.

4. Uso do Ray para distribuição de tarefas e paralelismo.

5. Execução em cluster utilizando GKE.

Essas implementações demonstram como a abordagem de pré-processamento distribuído pode eliminar gargalos, permitindo que cientistas de dados e engenheiros de machine learning se concentrem mais no desenvolvimento e inovação de modelos, ao invés de se preocuparem com a preparação de dados.

A adoção do pré-processamento de dados distribuído com GKE e Ray representa um passo significativo para enfrentar os desafios das operações de machine learning atuais. Ao permitir uma escalabilidade eficaz, esta solução não apenas melhora a produtividade, mas também se prepara para enfrentar o aumento contínuo do volume de dados. Para mais informações e atualizações diárias sobre tecnologia e machine learning, inscreva-se em nossa newsletter.

FONTES:

1. Google Cloud - GKE

2. Ray Framework

3. Dataset Pre-crawled

4. GitHub - Accelerated Platforms

5. Ray Autoscaling