Google Genie 2 Introduction

Genie 2 fonctionne comme un modèle de diffusion latente autoregressif entraîné sur un grand ensemble de données vidéo. Le processus commence par une image d'invite (qui peut être générée par Imagen 3 ou être une vraie photo) qui définit l'environnement souhaité. Le système passe d'abord l'entrée à travers un autoencodeur, puis traite les images latentes à l'aide d'un grand modèle de transformateur avec un masque causal similaire à celui des modèles de langage. Pendant l'inférence, Genie 2 génère l'environnement image par image de manière autoregressive, tenant compte des images précédentes et des actions de l'utilisateur tout en utilisant une guidance sans classificateur pour améliorer la contrôlabilité des actions. Le modèle démontre des capacités remarquables, y compris la mémoire à long terme (se souvenir des éléments hors écran), la simulation physique, les effets d'éclairage et des animations de personnages complexes.