Whisper AI Введение

Whisper использует простой подход end-to-end, реализованный как архитектура Transformer с кодировщиком и декодировщиком. Входной аудиосигнал разбивается на фрагменты по 30 секунд и преобразуется в лог-Мел спектрограмму. Это проходит через кодировщик, а декодировщик предсказывает соответствующую текстовую подпись. Модель обучена выполнять несколько задач путем вставки специальных токенов, которые направляют ее на выполнение идентификации языка, добавление временных меток, транскрибирование речи или перевод на английский. Обучение Whisper на большом разнообразном наборе данных позволяет ему быть более устойчивым к вариациям акцентов, фонового шума и технического языка по сравнению с моделями, обученными на меньших, более специфических наборах данных.