Meta Segment Anything Model 2 Introduction

SAM 2 utilise une architecture basée sur des transformateurs, combinant un encodeur d'images Vision Transformer (ViT), un encodeur d'invites pour les interactions utilisateur, et un décodeur de masques pour générer des résultats de segmentation. Le modèle introduit un module de mémoire par session qui capture des informations sur les objets cibles dans les vidéos, lui permettant de suivre des objets à travers les images même s'ils disparaissent temporairement de la vue. Les utilisateurs peuvent interagir avec SAM 2 via diverses invites d'entrée telles que des clics, des boîtes ou des masques sur n'importe quelle image ou image vidéo. Le modèle traite ensuite ces entrées pour segmenter et suivre des objets en temps réel. Pour le traitement vidéo, SAM 2 emploie une architecture de streaming, analysant les images de manière séquentielle pour maintenir l'efficacité et permettre des applications en temps réel. Lorsqu'il est appliqué à des images statiques, le module de mémoire reste vide, et le modèle fonctionne de manière similaire au SAM original.