Meta Segment Anything Model 2 Introduzione

SAM 2 utilizza un'architettura basata su transformer, combinando un codificatore di immagini Vision Transformer (ViT), un codificatore di suggerimenti per le interazioni degli utenti e un decodificatore di maschere per generare risultati di segmentazione. Il modello introduce un modulo di memoria per sessione che cattura informazioni sugli oggetti target nei video, consentendogli di tracciare oggetti attraverso i fotogrammi anche se scompaiono temporaneamente dalla vista. Gli utenti possono interagire con SAM 2 attraverso vari suggerimenti di input come clic, scatole o maschere su qualsiasi immagine o fotogramma video. Il modello quindi elabora questi input per segmentare e tracciare oggetti in tempo reale. Per l'elaborazione video, SAM 2 impiega un'architettura di streaming, analizzando i fotogrammi in sequenza per mantenere l'efficienza e abilitare applicazioni in tempo reale. Quando applicato a immagini statiche, il modulo di memoria rimane vuoto e il modello funziona in modo simile al SAM originale.