Fish Speech 的主要特點是什麼？

主要特點包括：多語言支持（中文、日文、英文）、高質量自然聲音輸出、快速推理速度（約每秒 20 個標記）、定制選項，以及開源可用於開發人員進行實驗和修改。

如何在本地機器上運行 Fish Speech？

您可以按照以下步驟在本地運行 Fish Speech：1) 創建一個 Python 3.10 虛擬環境，2) 安裝 PyTorch，3) 使用 pip 安裝 Fish Speech，4) 下載模型檢查點，5) 使用提供的命令運行 WebUI 或 API 服務器。

Fish Speech 以什麼許可證發布？

Fish Speech 以 BSD-3-Clause 許可證發布，模型以 CC-BY-NC-SA-4.0 許可證發布。

Fish Speech 能克隆聲音嗎？

是的，較新版本的 Fish Speech（例如 1.3 版本）提供僅需 10 秒音頻提示的聲音克隆功能。然而，用戶應注意在克隆聲音時可能涉及的法律和道德考慮。

Fish Speech 與商業 TTS 解決方案相比如何？

Fish Speech 旨在與商業解決方案在輸出質量和功能方面競爭，同時保持開源和免費可用。它提供具有適當語調和口音的自然聲音語音。

運行 Fish Speech 的系統要求是什麼？

Fish Speech 可以在消費級 GPU 上運行。例如，用戶報告在具有 24GB VRAM 的 3090Ti GPU 上成功運行。具體要求可能根據使用情況和模型版本而有所不同。

Fish Speech

WebsiteText to Speech Text to Video

Fish Speech 是一個開源的多語言文本轉語音模型，能夠在中文、日文和英文中生成高質量、自然語音，具有可定制的聲音和情感。

訪問網站

https://fish.audio/

概覽
分析
替代方案

產品資訊

已更新：09/09/2024

什麼是Fish Speech

Fish Speech 是由 Fish Audio 開發的強大開源文本轉語音（TTS）解決方案。經過超過 150,000 小時的中文、日文和英文音頻數據訓練，它提供接近人類水平的語言處理能力和廣泛的表達能力。Fish Speech 旨在通過提供可在個人設備上輕鬆運行和微調的自定義模型，使高質量 TTS 技術普及化，使其對開發人員、研究人員和愛好者都易於訪問。

Fish Speech 的主要功能

Fish Speech 是一個由 Fish Audio 開發的開源文字轉語音（TTS）模型，支援多種語言，包括中文、日文和英文。它採用 VQ-GAN 和 LLAMA 等先進技術，能夠快速生成高品質、自然的語音。該模型已經在 150,000 小時的多語言數據上進行訓練，並提供自定義功能。

多語言支援: 能夠在中文、日文和英文中生成接近人類水平的語言處理能力的語音。

高品質輸出: 產生具有適當語調、節奏和重音的自然語音，可與商業解決方案媲美。

快速推斷: 每秒約處理 20 個符號，允許快速生成內容（在 4090 GPU 上每秒約 20 秒音頻）。

可定制: 允許在自定義數據集上進行微調，以適應特定聲音或領域。

開源: 以開源許可證發布，允許社區貢獻和修改。

Fish Speech 的用例

虛擬助手: 為跨多種語言的人工智慧助手和聊天機器人提供語音介面。

內容創作: 為影片、播客和其他多媒體內容生成配音。

無障礙: 將書面文字轉換為語音，供視障用戶或有閱讀困難的人使用。

語言學習: 提供多種語言的發音範例和閱讀練習。

遊戲和娛樂: 為視頻遊戲和互動娛樂應用創建動態語音內容。

優點

高品質、自然的語音輸出

快速推斷速度

開源且可定制

多語言支援

缺點

需要大量計算資源進行訓練和微調

在處理某些發音或專業詞彙時可能有限制

使用語音克隆或模仿時可能涉及法律考慮

如何使用 Fish Speech

安裝依賴: 通過運行以下命令安裝所需包：pip3 install torch torchvision torchaudio

創建虛擬環境: 使用 conda 創建 Python 3.10 虛擬環境：conda create -n fish-speech python=3.10

激活環境: 激活虛擬環境：conda activate fish-speech

安裝 Fish Speech: 通過運行以下命令安裝 Fish Speech：pip3 install -e .

下載模型: 從 Hugging Face 下載所需模型：huggingface-cli download fishaudio/fish-speech-1.2-sft --local-dir checkpoints/fish-speech-1.2-sft

運行推理: 通過運行以下命令生成語音：python tools/llama/generate.py --text "您的文本在此" --checkpoint-path "checkpoints/fish-speech-1.2-sft"

解碼音頻: 使用 VQGAN 將生成的令牌解碼為音頻：python tools/vqgan/inference.py -i "codes_0.npy" --checkpoint-path "checkpoints/fish-speech-1.2-sft/firefly-gan-vq-fsq-4x1024-42hz-generator.pth"

啟動網頁界面（可選）: 通過運行以下命令啟動網頁界面：python -m tools.webui --llama-checkpoint-path "checkpoints/fish-speech-1.2-sft" --decoder-checkpoint-path "checkpoints/fish-speech-1.2-sft/firefly-gan-vq-fsq-4x1024-42hz-generator.pth"