O SAM 2 é um modelo unificado que permite a segmentação de objetos em imagens e vídeos em tempo real, oferecendo uma generalização zero-shot para conteúdos visuais não vistos anteriormente. Isso significa que o modelo pode ser aplicado a novos domínios visuais sem necessidade de adaptação personalizada.

1. O código e os pesos do modelo SAM 2 foram disponibilizados sob a licença Apache 2.0.

2. O dataset SA-V, utilizado para treinar o SAM 2, contém aproximadamente 51.000 vídeos reais e mais de 600.000 máscaras spatio-temporais.

3. O SAM 2 pode ser utilizado em diversas aplicações, como criação de novos efeitos de vídeo, ferramentas de anotação mais rápidas e sistemas avançados de visão computacional.

Desde o lançamento do SAM original, o modelo teve um impacto significativo em várias disciplinas, incluindo ciência, medicina e plataformas de anotação de dados. O SAM 2 promete continuar essa trajetória, oferecendo capacidades aprimoradas e novas possibilidades de uso.

- O SAM 2 supera os modelos anteriores em precisão de segmentação de imagens e vídeos. - O modelo requer três vezes menos interação humana para segmentação de vídeos. - A inferência com o SAM 2 é realizada em tempo real, com aproximadamente 44 quadros por segundo. - O SAM 2 é 8,4 vezes mais rápido na anotação de vídeos em comparação com a anotação manual.

Apesar das melhorias, o SAM 2 ainda enfrenta desafios em cenários complexos, como mudanças drásticas de perspectiva da câmera, longas oclusões e cenas lotadas. No entanto, o modelo foi projetado para ser interativo, permitindo intervenções manuais para corrigir previsões.

O lançamento do SAM 2 pela Meta representa um avanço significativo na segmentação de objetos em imagens e vídeos. Com suas capacidades aprimoradas e a disponibilidade de código aberto, o SAM 2 tem o potencial de revolucionar diversas indústrias e aplicações, desde a criação de conteúdo até a pesquisa científica e médica. A Meta espera que a comunidade de IA explore novas capacidades e casos de uso com essa tecnologia inovadora.

FONTES:

1. Meta Segment Anything Model

2. SAM 2 no GitHub

3. SA-V dataset

4. Open Source AI

5. Backdrop e Cutouts no Instagram

6. Sonar images

7. Coral reefs analysis

8. Satellite imagery analysis

9. Cellular images segmentation

10. [Detecção de câncer de pele](https://arxiv.org/abs/2304.13973)

11. [Open letter de Mark Zuckerberg](https://about.fb.com/news/2024/07/open-source-ai-is-the-path-forward/)

12. [Pesquisa sobre SAM 2](https://ai.meta.com/research/publications/sam-2-segment-anything-in-images-and-videos/)

13. [Web demo do SAM 2](https://sam2.metademolab.com/)