Whisper AI Introduction

Whisper menggunakan pendekatan sederhana end-to-end yang diimplementasikan sebagai arsitektur Transformer encoder-decoder. Audio input dibagi menjadi potongan 30 detik dan diubah menjadi spektrogram log-Mel. Ini diteruskan melalui encoder, sementara decoder memprediksi keterangan teks yang sesuai. Model ini dilatih untuk menangani beberapa tugas dengan memasukkan token khusus yang mengarahkan untuk melakukan identifikasi bahasa, menambahkan cap waktu, mentranskripsi ucapan, atau menerjemahkan ke dalam bahasa Inggris. Pelatihan Whisper pada dataset besar dan beragam memungkinkannya untuk lebih tahan terhadap variasi dalam aksen, kebisingan latar belakang, dan bahasa teknis dibandingkan dengan model yang dilatih pada dataset yang lebih kecil dan lebih spesifik.