Meta Segment Anything Model 2 紹介

SAM 2は、Vision Transformer（ViT）画像エンコーダ、ユーザーインタラクション用のプロンプトエンコーダ、およびセグメンテーション結果を生成するためのマスクデコーダを組み合わせたトランスフォーマーベースのアーキテクチャを利用しています。このモデルは、動画内のターゲットオブジェクトに関する情報をキャプチャするセッションごとのメモリモジュールを導入しており、一時的に視界から消えてもフレーム間でオブジェクトを追跡することができます。ユーザーは、任意の画像または動画フレーム上でクリック、ボックス、またはマスクなどのさまざまな入力プロンプトを通じてSAM 2と対話できます。モデルはこれらの入力を処理して、リアルタイムでオブジェクトをセグメントおよび追跡します。動画処理の場合、SAM 2はストリーミングアーキテクチャを採用し、フレームを順次分析して効率を維持し、リアルタイムアプリケーションを可能にします。静的画像に適用される場合、メモリモジュールは空のままで、モデルは元のSAMと同様に機能します。