Google Genie 2 Introdução

O Genie 2 opera como um modelo de difusão latente autoregressivo treinado em um grande conjunto de dados de vídeo. O processo começa com um prompt de imagem (que pode ser gerado pelo Imagen 3 ou ser uma foto real) que define o ambiente desejado. O sistema primeiro passa a entrada por um autoencoder, depois processa os quadros latentes usando um grande modelo transformer com uma máscara causal semelhante aos modelos de linguagem. Durante a inferência, o Genie 2 gera o ambiente quadro a quadro de maneira autoregressiva, levando em conta quadros passados e ações do usuário enquanto usa orientação sem classificador para melhorar a controlabilidade da ação. O modelo demonstra capacidades notáveis, incluindo memória de longo prazo (lembrando elementos fora da tela), simulação de física, efeitos de iluminação e animações complexas de personagens.