Google Genie 2 Introducción

Genie 2 opera como un modelo de difusión latente autoregresivo entrenado en un gran conjunto de datos de video. El proceso comienza con una imagen de entrada (que puede ser generada por Imagen 3 o ser una foto real) que define el entorno deseado. El sistema primero pasa la entrada a través de un autoencoder, luego procesa los fotogramas latentes utilizando un gran modelo de transformador con una máscara causal similar a los modelos de lenguaje. Durante la inferencia, Genie 2 genera el entorno fotograma a fotograma de manera autoregresiva, teniendo en cuenta fotogramas pasados y acciones del usuario mientras utiliza orientación sin clasificador para mejorar la controlabilidad de las acciones. El modelo demuestra capacidades notables que incluyen memoria a largo plazo (recordando elementos fuera de pantalla), simulación de física, efectos de iluminación y animaciones complejas de personajes.