SAM 支持哪些類型的輸入提示？

Segment Anything Model（SAM）是由Meta AI引入的計算機視覺領域的突破性AI模型。它旨在根據各種類型的輸入提示對任何圖像中的任何物體進行分割或“剪切”，無需額外訓練。SAM代表了圖像分割技術的重大進步，訓練於來自1100萬張多樣化圖像的超過10億個掩碼的大規模數據集。這一基礎模型旨在為廣泛的圖像分割任務提供多功能和適應性解決方案。

Segment Anything 的主要功能

Segment Anything (SAM) 是由 Meta AI 開發的圖像分割 AI 模型。它能夠從各種輸入提示（如點或框）生成高質量的物體遮罩，並分割圖像中的所有物體。SAM 展現了零樣本泛化能力，無需額外訓練即可應對新物體和圖像，這得益於其在超過 1100 萬張圖像上的 10 億個遮罩的大規模數據集訓練。該模型的有效設計使其能夠靈活地與其他系統整合，並在網頁瀏覽器中實現實時處理。

可提示的分割: SAM 可以從各種輸入提示（如點、框或文字）生成遮罩，允許靈活的分割任務而無需重新訓練。

零樣本泛化: 該模型無需額外訓練即可分割不熟悉的物體和圖像，因為它已學會了對物體的一般理解。

高效架構: SAM 的設計包括一次性圖像編碼器和輕量級遮罩解碼器，即使在網頁瀏覽器中也能實現快速處理。

模糊感知輸出: SAM 可以為模糊提示生成多個有效遮罩，提供全面的分割選項。

Segment Anything 的用例

AR/VR 應用: SAM 可以與 AR/VR 系統整合，根據用戶的視線或實時互動來分割物體。

自動化圖像編輯: 該模型可用於背景移除、物體隔離或創意任務，如照片編輯軟件中的拼貼。

醫學影像分析: SAM 分割各種物體的能力可用於識別和隔離醫學掃描中的特定解剖結構。

環境監測: 該模型可用於分割和分析衛星或無人機影像中的元素，以進行如森林砍伐追蹤或城市規劃等任務。

優點

高度多功能且適應各種分割任務

零樣本能力減少了特定任務的訓練需求

高效設計允許在瀏覽器中進行實時處理

缺點

模型尺寸較大，對於資源受限的設備部署可能具有挑戰性

需要與其他系統整合以進行特定物體的識別和標記

如何使用 Segment Anything

安裝Segment Anything: 克隆GitHub倉庫並使用pip安裝包：git clone [email protected]:facebookresearch/segment-anything.git; cd segment-anything; pip install -e .

下載模型檢查點: 從Segment Anything GitHub倉庫下載預訓練模型檢查點。

導入所需模塊: 導入必要的模塊：from segment_anything import sam_model_registry, SamAutomaticMaskGenerator, SamPredictor

加載模型: 使用檢查點加載SAM模型：sam = sam_model_registry['<model_type>'](checkpoint='<path/to/checkpoint>')

準備輸入圖像: 加載並預處理您的輸入圖像：image = cv2.imread('<image_path>'); image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)

生成掩碼: 使用SamAutomaticMaskGenerator生成掩碼：mask_generator = SamAutomaticMaskGenerator(sam); masks = mask_generator.generate(image)

提供提示（可選）: 為了更精確的分割，提供點或框等提示來引導模型：predictor = SamPredictor(sam); predictor.set_image(image); masks, _, _ = predictor.predict(<input_point>, <input_label>)

可視化結果: 使用matplotlib或其他可視化工具在原始圖像上顯示生成的掩碼