O artigo analisou e comparou os modelos de linguagem visual (VLM) Florence-2 da Microsoft e Qwen2-VL da Alibaba Cloud, com foco na capacidade de cada modelo em processar e descrever obras de arte. Florence-2, lançado em junho de 2024, possui 5,4 bilhões de anotações visuais, enquanto Qwen2-VL, lançado em agosto de 2024, é descrito como de ponta, com desempenho superior em benchmarks de compreensão visual.

Os resultados indicaram que o Florence-2 é capaz de identificar objetos em imagens, mas apresenta dificuldades em reconhecer obras ou artistas, bem como em diferenciar objetos similares. O Qwen2-VL, por outro lado, demonstrou uma capacidade superior em descrever obras de arte, identificando corretamente períodos de tempo e estilos artísticos, mesmo com mínimas orientações.

O artigo trouxe uma análise detalhada das capacidades de ambos os modelos em várias obras, como 'A Escola de Atenas' de Rafael e 'Luncheon on the Grass' de Monet, evidenciando que o Qwen2-VL forneceu descrições mais precisas e completas. As análises do Florence-2, embora úteis para identificar elementos naturais e arquitetônicos, falharam em descrever figuras humanas e conceituais.

1. Florence-2 é eficaz em identificar objetos, mas falha em reconhecer figuras e artistas.

2. Qwen2-VL se destacou na descrição precisa das obras, mesmo com dados limitados.

3. Ambos os modelos enfrentaram dificuldades com arte abstrata.

4. Qwen2-VL conseguiu identificar obras famosas sem instruções.

5. Os resultados revelam a necessidade de melhorias em ambos os modelos.

A análise final foi clara sobre as limitações de cada modelo. O Florence-2 é considerado mais eficiente em contextos menos saturados, enquanto o Qwen2-VL mostrou-se mais adaptável e preciso, especialmente em obras mais conhecidas. Existe um potencial claro para ambas as plataformas se tornarem mais eficazes com o tempo, especialmente ao se referirem a obras de arte.

Em conclusão, este comparativo entre Florence-2 e Qwen2-VL evidencia a evolução dos modelos de análise de arte, sugerindo que investimentos futuros em tecnologia de VLM podem resultar em ferramentas ainda mais sofisticadas para a compreensão artística. Leitores são incentivados a se inscrever na nossa newsletter para mais atualizações sobre esses desenvolvimentos e outros tópicos relevantes.

FONTES:

1. Florence-2: Advancing a Unified Representation for a Variety of Vision Tasks

2. Qwen2-VL page of presentation

3. The Lady and The Unicorn

4. The School of Athens

5. The Starry Night