Google Genie 2 介紹

Genie 2 作為一個自迴歸潛在擴散模型，經過大量視頻數據集的訓練。該過程從一個圖像提示開始（可以是由 Imagen 3 生成的圖像或真實照片），定義所需的環境。系統首先將輸入通過自動編碼器，然後使用類似於語言模型的因果掩碼的大變壓器模型處理潛在幀。在推理過程中，Genie 2 以自迴歸方式逐幀生成環境，考慮過去的幀和用戶動作，並使用無分類器引導來提高動作可控制性。該模型展示了令人驚訝的能力，包括長期記憶（記住屏幕外的元素）、物理模擬、照明效果和複雜的角色動畫。