Meta Segment Anything Model 2 Introdução

O SAM 2 utiliza uma arquitetura baseada em transformadores, combinando um codificador de imagem Vision Transformer (ViT), um codificador de prompts para interações do usuário e um decodificador de máscaras para gerar resultados de segmentação. O modelo introduz um módulo de memória por sessão que captura informações sobre objetos-alvo em vídeos, permitindo que ele rastreie objetos em quadros mesmo que eles desapareçam temporariamente da vista. Os usuários podem interagir com o SAM 2 através de vários prompts de entrada, como cliques, caixas ou máscaras em qualquer quadro de imagem ou vídeo. O modelo então processa essas entradas para segmentar e rastrear objetos em tempo real. Para o processamento de vídeo, o SAM 2 emprega uma arquitetura de streaming, analisando quadros sequencialmente para manter a eficiência e permitir aplicações em tempo real. Quando aplicado a imagens estáticas, o módulo de memória permanece vazio, e o modelo funciona de maneira semelhante ao SAM original.