F5 TTS Введение

F5-TTS работает с использованием сложной комбинации технологий Flow Matching и Diffusion Transformer (DiT). Система обрабатывает входной текст, сначала преобразуя его в последовательность символов и дополняя заполнительными токенами для соответствия длине входной речи. Затем она использует блоки ConvNeXt V2 для уточнения текста перед обработкой через свою нейронную сеть. Модель состоит из 22 слоев, 16 голов внимания и 1024/2048 размеров встраивания/сети прямого распространения для DiT, а также 4 слоев компонентов ConvNeXt V2. Во время вывода она достигает коэффициента реального времени (RTF) 0.15, что делает ее значительно быстрее, чем другие передовые диффузионные модели синтеза речи. Система была обучена на огромном мультимиллионном наборе данных в 100K часов, что позволяет ей эффективно обрабатывать несколько языков и плавный переход между ними.