Whisper AI Introdução

Whisper usa uma abordagem simples de ponta a ponta implementada como uma arquitetura Transformer de codificador-decodificador. O áudio de entrada é dividido em pedaços de 30 segundos e convertido em um espectrograma log-Mel. Isso é passado por um codificador, enquanto um decodificador prevê a legenda de texto correspondente. O modelo é treinado para lidar com múltiplas tarefas inserindo tokens especiais que o direcionam a realizar identificação de idioma, adicionar timestamps, transcrever fala ou traduzir para o inglês. O treinamento do Whisper em um grande conjunto de dados diversificado permite que ele seja mais robusto a variações em sotaques, ruído de fundo e linguagem técnica em comparação com modelos treinados em conjuntos de dados menores e mais específicos.