Google Genie 2 Introduzione

Genie 2 opera come un modello di diffusione latente autoregressivo addestrato su un ampio dataset video. Il processo inizia con un'immagine di prompt (che può essere generata da Imagen 3 o essere una foto reale) che definisce l'ambiente desiderato. Il sistema passa prima l'input attraverso un autoencoder, quindi elabora i frame latenti utilizzando un ampio modello di trasformatori con una maschera causale simile a quella dei modelli linguistici. Durante l'inferenza, Genie 2 genera l'ambiente frame per frame in modo autoregressivo, tenendo conto dei frame passati e delle azioni dell'utente mentre utilizza una guida senza classificatore per migliorare la controllabilità delle azioni. Il modello dimostra capacità notevoli, tra cui memoria a lungo termine (ricordando elementi fuori dallo schermo), simulazione fisica, effetti di illuminazione e animazioni complesse dei personaggi.