Hunyuan Video Введение

HunyuanVideo использует комплексную структуру, которая интегрирует кураторство данных, совместное обучение модели изображений и видео, а также эффективную инфраструктуру для обучения и вывода моделей в больших масштабах. Он использует дизайн Transformer с механизмом полной внимательности и уникальной архитектурой гибридной модели 'Двойной поток в один поток' для генерации видео. В отличие от традиционных моделей, использующих кодировщики CLIP или T5, он использует многомодальную большую языковую модель (MLLM) со структурой только декодера для улучшения согласования изображений и текста. Модель также включает модель переписывания подсказок, которая уточняет пользовательские подсказки, чтобы лучше соответствовать предпочтениям модели. Кроме того, она реализует квантование FP8 для уменьшения использования памяти на 50% при сохранении точности.