F5 TTS Introduction

F5-TTS fonctionne grâce à une combinaison sophistiquée de technologies Flow Matching et Diffusion Transformer (DiT). Le système traite le texte d'entrée en le convertissant d'abord en une séquence de caractères et en le complétant avec des jetons de remplissage pour correspondre à la longueur de la parole d'entrée. Il utilise ensuite des blocs ConvNeXt V2 pour le raffinement du texte avant de le traiter à travers son architecture de réseau neuronal. Le modèle se compose de 22 couches, 16 têtes d'attention et des dimensions de réseau d'embedding/feed-forward de 1024/2048 pour DiT, ainsi que 4 couches de composants ConvNeXt V2. Pendant l'inférence, il atteint un facteur de temps réel (RTF) de 0.15, ce qui le rend significativement plus rapide que d'autres modèles TTS basés sur la diffusion à la pointe de la technologie. Le système a été entraîné sur un vaste ensemble de données multilingues de 100K heures, lui permettant de gérer plusieurs langues et le changement de code de manière efficace.