Whisper AI Introduction

Whisper utilise une approche simple de bout en bout mise en œuvre comme une architecture Transformer encodeur-décodeur. L'audio d'entrée est divisé en morceaux de 30 secondes et converti en un spectrogramme log-Mel. Cela est passé à travers un encodeur, tandis qu'un décodeur prédit la légende textuelle correspondante. Le modèle est entraîné pour gérer plusieurs tâches en insérant des jetons spéciaux qui lui indiquent d'effectuer l'identification de la langue, d'ajouter des horodatages, de transcrire la parole ou de traduire en anglais. L'entraînement de Whisper sur un grand ensemble de données diversifié lui permet d'être plus robuste aux variations d'accents, de bruit de fond et de langage technique par rapport aux modèles entraînés sur des ensembles de données plus petits et plus spécifiques.