Whisper AI Introduzione

Whisper utilizza un approccio semplice end-to-end implementato come un'architettura Transformer encoder-decoder. L'audio in ingresso viene suddiviso in segmenti di 30 secondi e convertito in uno spettrogramma log-Mel. Questo viene passato attraverso un encoder, mentre un decoder prevede la corrispondente didascalia testuale. Il modello è addestrato per gestire più compiti inserendo token speciali che lo indirizzano a eseguire l'identificazione della lingua, aggiungere timestamp, trascrivere il parlato o tradurre in inglese. L'addestramento di Whisper su un ampio set di dati diversificato consente di essere più robusto alle variazioni negli accenti, nel rumore di fondo e nel linguaggio tecnico rispetto ai modelli addestrati su set di dati più piccoli e specifici.