Meta Segment Anything Model 2 Introducción

SAM 2 utiliza una arquitectura basada en transformadores, combinando un codificador de imágenes Vision Transformer (ViT), un codificador de indicaciones para interacciones del usuario y un decodificador de máscaras para generar resultados de segmentación. El modelo introduce un módulo de memoria por sesión que captura información sobre objetos objetivo en videos, lo que le permite rastrear objetos a través de fotogramas incluso si desaparecen temporalmente de la vista. Los usuarios pueden interactuar con SAM 2 a través de varias indicaciones de entrada como clics, cuadros o máscaras en cualquier fotograma de imagen o video. El modelo luego procesa estas entradas para segmentar y rastrear objetos en tiempo real. Para el procesamiento de video, SAM 2 emplea una arquitectura de transmisión, analizando fotogramas secuencialmente para mantener la eficiencia y permitir aplicaciones en tiempo real. Cuando se aplica a imágenes estáticas, el módulo de memoria permanece vacío, y el modelo funciona de manera similar al SAM original.