Whisper AI Giriş

Whisper, bir kodlayıcı-çözücü Transformer mimarisi olarak uygulanmış basit bir uçtan uca yaklaşım kullanır. Giriş sesi 30 saniyelik parçalara bölünür ve log-Mel spektrogramına dönüştürülür. Bu, bir kodlayıcıdan geçirilirken, bir çözücü karşılık gelen metin başlığını tahmin eder. Model, dil tanımlama, zaman damgaları ekleme, konuşmayı transkribe etme veya İngilizceye çevirme gibi görevleri yerine getirmesi için özel tokenlar eklenerek birden fazla görevi yerine getirecek şekilde eğitilmiştir. Whisper'ın büyük, çeşitli bir veri seti üzerinde eğitilmesi, onu daha küçük, daha spesifik veri setleri üzerinde eğitilmiş modellere göre aksan, arka plan gürültüsü ve teknik dil varyasyonlarına karşı daha dayanıklı hale getirir.