Google Genie 2 紹介

Genie 2は、大規模なビデオデータセットで訓練された自己回帰的潜在拡散モデルとして機能します。このプロセスは、望ましい環境を定義する画像プロンプト（Imagen 3によって生成されたものまたは実際の写真）から始まります。システムは最初に入力をオートエンコーダーを通過させ、その後、言語モデルに類似した因果マスクを使用して大規模なトランスフォーマーモデルで潜在フレームを処理します。推論中、Genie 2は過去のフレームとユーザーのアクションを考慮しながら、自己回帰的にフレームごとに環境を生成し、アクションの制御性を向上させるために分類子フリーのガイダンスを使用します。このモデルは、長期記憶（画面外の要素を記憶する）、物理シミュレーション、ライティング効果、複雑なキャラクターアニメーションを含む驚くべき能力を示します。