Whisper AI Introducción

Whisper utiliza un enfoque simple de extremo a extremo implementado como una arquitectura Transformer de codificador-decodificador. El audio de entrada se divide en fragmentos de 30 segundos y se convierte en un espectrograma log-Mel. Esto se pasa a través de un codificador, mientras que un decodificador predice el correspondiente texto. El modelo está entrenado para manejar múltiples tareas insertando tokens especiales que le dirigen a realizar identificación de idioma, agregar marcas de tiempo, transcribir el habla o traducir al inglés. El entrenamiento de Whisper en un conjunto de datos grande y diverso le permite ser más robusto a variaciones en acentos, ruido de fondo y lenguaje técnico en comparación con modelos entrenados en conjuntos de datos más pequeños y específicos.