O artigo discute a evolução das técnicas de compreensão de documentos que combinam visão computacional (CV) e processamento de linguagem natural (NLP). Os algoritmos de compreensão analisam o conteúdo das documentações por meio de um pipeline encoder-decoder que transforma imagens em representações processáveis por transformadores, similar à forma como modelos de NLP lidam com tokens.

A transição de redes neurais convolucionais (CNNs) para transformadores visuais (ViTs) é destacada, ressaltando que enquanto as CNNs eram predominantes, os ViTs têm ganhado espaço por sua capacidade de entender relações globais nas imagens. O processo de segmentação de imagens em patches e a transformação desses patches em embeddings lineares, comparáveis a tokens em NLP, são descritos como uma inovação significativa.

1. ViTs proporcionam uma maior compreensão de relações globais nas imagens.

2. Transformadores visuais exigem mais dados para treinamento em comparação às CNNs.

3. A complexidade computacional aumenta com o número de tokens nos ViTs.

4. Modelos como Donut processam imagens diretamente para gerar representações estruturadas.

5. A equipe da Unstructured está desenvolvendo pipelines para extração de informações de recibos e faturas.

O modelo Donut, que não requer pré-processamento para identificar caixas de limite e realizar OCR, representa um avanço ao converter imagens diretamente em JSON estruturado, embora sacrifique a informação de localização dos dados no documento. A Unstructured planeja liberar seus modelos no GitHub e Hugging Face em breve, mantendo a comunidade informada sobre suas inovações.

O uso de transformadores visuais para a compreensão de documentos não só reflete uma evolução significativa nas técnicas de ciência de dados, mas também promete otimizar a extração de informações cruciais de documentos diversos. Para mais novidades, inscreva-se na nossa newsletter e fique por dentro de conteúdos atualizados diariamente.

FONTES:

1. HuggingFace

2. Donut Model

3. Unstructured Team

4. LinkedIn Unstructured

5. Medium Unstructured