Com o aumento dos projetos de Inteligência Artificial (IA) nas empresas, a disponibilidade de dados de treino de qualidade se tornou um grande gargalo. Grandes players como OpenAI e Google estão estabelecendo parcerias exclusivas para expandir seus conjuntos de dados proprietários, dificultando o acesso para outras empresas. Em resposta a essa situação, a Salesforce lançou o ProVision, um framework inovador que gera dados de instrução visual programaticamente.

Os dados de instrução são essenciais para o pré-treinamento e a afinação de IA multimodal, permitindo que os modelos analisem conteúdos visuais após aprenderem a partir de diferentes pontos de dados, acompanhados de pares de perguntas e respostas. Produzir esses conjuntos de dados de instrução visual manualmente envolve um grande desperdício de tempo e recursos, enquanto o uso de modelos de linguagem proprietários pode acarretar custos computacionais altos e a possibilidade de imprecisões nos dados gerados.

O ProVision utiliza gráficos de cena, representações estruturadas da semântica das imagens, em combinação com programas escritos por humanos para sintetizar dados de instrução visual. A partir dessa abordagem, a equipe da Salesforce criou o conjunto de dados ProVision-10M, que inclui mais de 10 milhões de pontos de dados únicos para o treinamento de IA.

1. A equipe desenvolveu geradores de dados que utilizam gráficos de cena para gerar perguntas e respostas.

2. O ProVision-10M foi criado com 1,5 milhão de dados de instrução de imagem única e 4,2 milhões de dados de instrução multi-imagem.

3. Durante a afinação com o ProVision-10M, as melhorias de desempenho dos modelos de IA foram significativas.

4. A abordagem permite maior controle e interpretação na geração de dados.

5. A empresa visa expandir o uso de grafos de cena para criar novos tipos de dados de instrução, incluindo vídeos.

A geração de dados sintéticos, como a promovida pelo ProVision, representa uma solução viável para o problema da escassez de dados de qualidade, permitindo que as empresas escalem suas capacidades de treinamento de IA de maneira eficiente. A Salesforce espera que essa inovação permita aos pesquisadores aprimorar as pipelines de geração de gráficos de cena.

- Melhoria na eficiência do treinamento de IA. - Redução de custos e tempo no processo de geração de dados. - Possibilidade de gerar dados para novos tipos de multimodalidade. - Aumento do controle e a capacidade de interpretação nos dados gerados.

Com a chegada do ProVision, a Salesforce não apenas aborda um gargalo significativo na área de IA, como também abre possibilidades para o desenvolvimento de novos métodos e aplicações na inteligência artificial que podem beneficiar empresas de diversos setores.

Em síntese, o ProVision da Salesforce é um avanço promissor que pode elevar o patamar do treinamento de modelos de IA multimodal, solucionando um dos principais desafios enfrentados pelas empresas. Para saber mais sobre essas novidades e como elas podem impactar o seu negócio, inscreva-se em nossa newsletter e acompanhe conteúdos atualizados diariamente.

FONTES:

1. VentureBeat

2. The Verge

3. VentureBeat - OpenAI

4. arXiv

5. Salesforce Blog