Hunyuan Video Introduction

HunyuanVideo utilise un cadre complet qui intègre la curation de données, l'entraînement de modèles conjoints image-vidéo et une infrastructure efficace pour l'entraînement et l'inférence de modèles à grande échelle. Il emploie un design Transformer avec un mécanisme d'attention complète et une architecture de modèle hybride 'Dual-stream to Single-stream' pour la génération vidéo. Contrairement aux modèles traditionnels utilisant des encodeurs CLIP ou T5, il tire parti d'un Modèle de Langage Large Multimodal (MLLM) avec une structure uniquement décodeur pour améliorer l'alignement image-texte. Le modèle dispose également d'un Modèle de Réécriture d'Invite qui ajuste les invites des utilisateurs pour mieux correspondre aux préférences du modèle. De plus, il met en œuvre une quantification FP8 pour réduire de 50 % l'utilisation de la mémoire tout en maintenant la précision.