Hunyuan Video Introducción

HunyuanVideo utiliza un marco integral que integra la curación de datos, el entrenamiento conjunto de modelos de imagen-video y una infraestructura eficiente para el entrenamiento e inferencia de modelos a gran escala. Emplea un diseño de Transformer con un mecanismo de Atención Completa y una arquitectura de modelo híbrido 'De Doble Flujo a Flujo Único' para la generación de video. A diferencia de los modelos tradicionales que utilizan codificadores CLIP o T5, aprovecha un Modelo de Lenguaje Grande Multimodal (MLLM) con una estructura Solo Decodificador para mejorar la alineación imagen-texto. El modelo también cuenta con un Modelo de Reescritura de Indicación que ajusta las indicaciones del usuario para que coincidan mejor con las preferencias del modelo. Además, implementa cuantización FP8 para reducir el uso de memoria en un 50% manteniendo la precisión.