Whisper AI Giới thiệu

Whisper sử dụng một phương pháp đơn giản từ đầu đến cuối được triển khai dưới dạng kiến trúc Transformer mã hóa-giải mã. Âm thanh đầu vào được chia thành các đoạn 30 giây và chuyển đổi thành một phổ log-Mel. Điều này được truyền qua một bộ mã hóa, trong khi một bộ giải mã dự đoán chú thích văn bản tương ứng. Mô hình được đào tạo để xử lý nhiều nhiệm vụ bằng cách chèn các token đặc biệt hướng dẫn nó thực hiện nhận dạng ngôn ngữ, thêm dấu thời gian, phiên âm giọng nói hoặc dịch sang tiếng Anh. Việc đào tạo của Whisper trên một bộ dữ liệu lớn và đa dạng cho phép nó mạnh mẽ hơn với các biến thể trong giọng điệu, tiếng ồn nền và ngôn ngữ kỹ thuật so với các mô hình được đào tạo trên các bộ dữ liệu nhỏ hơn, cụ thể hơn.