Hunyuan Video Introdução

HunyuanVideo utiliza uma estrutura abrangente que integra curadoria de dados, treinamento conjunto de modelo de imagem-vídeo e infraestrutura eficiente para treinamento e inferência de modelos em larga escala. Ele emprega um design de Transformer com mecanismo de Atenção Total e uma arquitetura de modelo híbrido 'Dual-stream to Single-stream' para geração de vídeo. Ao contrário dos modelos tradicionais que usam codificadores CLIP ou T5, ele aproveita um Modelo de Linguagem Grande Multimodal (MLLM) com uma estrutura apenas de Decodificador para melhorar o alinhamento imagem-texto. O modelo também apresenta um Modelo de Reescrita de Comando que ajusta os comandos do usuário para melhor corresponder às preferências do modelo. Além disso, ele implementa quantização FP8 para reduzir o uso de memória em 50% enquanto mantém a precisão.