Hunyuan Video Introduzione

HunyuanVideo utilizza un framework completo che integra la curazione dei dati, l'addestramento congiunto di modelli immagine-video e un'infrastruttura efficiente per l'addestramento e l'inferenza di modelli su larga scala. Impiega un design Transformer con meccanismo di Full Attention e un'architettura ibrida 'Dual-stream to Single-stream' per la generazione video. A differenza dei modelli tradizionali che utilizzano codificatori CLIP o T5, sfrutta un Modello di Linguaggio Multimodale di Grandi Dimensioni (MLLM) con una struttura Decoder-Only per migliorare l'allineamento immagine-testo. Il modello presenta anche un Modello di Riscrittura dei Suggerimenti che affina i suggerimenti degli utenti per meglio adattarsi alle preferenze del modello. Inoltre, implementa la quantizzazione FP8 per una riduzione del 50% dell'uso della memoria mantenendo la precisione.