Segment Anything Introducción

SAM opera utilizando una arquitectura de dos partes: un codificador de imágenes y un codificador de indicaciones. El codificador de imágenes procesa la imagen de entrada una vez, mientras que el codificador de indicaciones puede generar rápidamente máscaras para diferentes indicaciones. SAM acepta varios tipos de indicaciones, incluyendo puntos, cuadros, texto o incluso entrada en forma libre. Cuando se le da una indicación, SAM identifica el objeto o área relevante en la imagen y genera una máscara perfecta a nivel de píxel para ello. La capacidad de generalización de cero disparos del modelo le permite segmentar objetos desconocidos en nuevos contextos sin entrenamiento adicional. SAM también puede trabajar de manera interactiva, permitiendo a los usuarios refinar las segmentaciones a través de múltiples indicaciones, y puede generar múltiples máscaras válidas para indicaciones ambiguas.