
BrowserAI
BrowserAI 是一個開源函式庫,它支援直接在具有 WebGPU 加速的 Web 瀏覽器中運行本地大型語言模型 (LLM),提供以隱私為中心的 AI 功能,而無需伺服器基礎設施。
https://github.com/Cloud-Code-AI/browserai?ref=aipure&utm_source=aipure

產品資訊
更新時間:2025年04月09日
什麼是 BrowserAI
BrowserAI 是一個突破性的解決方案,它徹底改變了 AI 模型在 Web 瀏覽器中部署和運行的模式。它的設計目的是讓 Web 開發者和企業能夠訪問強大的 AI 功能,同時保持完全的隱私,因為所有處理都在使用者的瀏覽器本地進行。該函式庫支援各種流行的模型,包括 Llama、DeepSeek-distill、Kokoro 等,同時提供文本生成、語音識別和文本到語音等功能。作為一個開源專案,它為開發者提供了一個簡單的 SDK,該 SDK 支援多個 AI 引擎,並附帶了預優化的流行模型,可供生產使用。
BrowserAI 的主要功能
BrowserAI 是一個開源庫,能夠直接在具有 WebGPU 加速的 Web 瀏覽器中運行本地大型語言模型 (LLM)。它提供以隱私為中心的人工智慧功能,且零基礎設施成本,支援各種模型,如 llama、deepseek-distill 和 kokoro。該庫提供包括文本生成、語音識別、文本到語音、結構化輸出生成以及與 MLC 和 Transformers 引擎無縫整合等功能。
本地基於瀏覽器的人工智慧處理: 所有人工智慧處理都在瀏覽器本地通過 WebGPU 加速進行,確保隱私和接近原生效能,而無需伺服器基礎設施
多模型支援: 支援各種預先配置的流行模型,包括 Llama、Gemma、Whisper 和 Kokoro-TTS,用於不同的 AI 任務,如文本生成、語音識別和文本到語音
開發人員友好的整合: 簡單的 SDK,具有多引擎支援、內建資料庫功能,以及易於使用的 API,用於文本生成和具有 JSON 模式的結構化輸出
進階語音功能: 整合的語音識別和文本到語音功能,支援多種語言和聲音
BrowserAI 的使用案例
注重隱私的企業應用: 組織可以實施人工智慧功能,同時保持敏感資料處理完全在本地進行,非常適合醫療保健或金融服務
具備離線功能的人工智慧工具: 開發在初始模型下載後無需網路連線即可運作的應用程式,適用於現場工作或偏遠地區
無程式碼人工智慧平台開發: 構建無需複雜後端基礎設施即可整合人工智慧功能的無程式碼平台和工具
互動式 Web 應用程式: 創建具有即時人工智慧功能的 Web 應用程式,如聊天機器人、語音介面和文本生成功能
優點
零伺服器成本和基礎設施要求
通過本地處理實現完整的資料隱私
易於與現有 Web 應用程式整合
缺點
需要支援 WebGPU 的現代瀏覽器
由於瀏覽器限制,僅限於較小的模型尺寸
初始模型下載可能很大
如何使用 BrowserAI
安裝 BrowserAI: 使用 npm (npm install @browserai/browserai) 或 yarn (yarn add @browserai/browserai) 安裝套件
導入 BrowserAI: 在您的程式碼中導入 BrowserAI 類別:import { BrowserAI } from '@browserai/browserai'
初始化 BrowserAI: 建立 BrowserAI 的新實例:const browserAI = new BrowserAI()
載入模型: 載入您選擇的 AI 模型,並可選擇進度追蹤:await browserAI.loadModel('model-name', { quantization: 'q4f16_1', onProgress: (progress) => console.log('Loading:', progress.progress + '%') })
生成文本: 使用 generateText() 方法與模型互動:const response = await browserAI.generateText('Your prompt here')
配置高級選項: 在生成文本時新增可選參數,如 temperature、max_tokens 和 system_prompt,以便更好地控制輸出
處理回應: 從 response.choices[0].message.content 訪問生成的內容
啟用語音功能(可選): 對於語音識別,載入 'whisper' 模型。對於文本到語音,載入 'kokoro-tts' 模型
系統需求檢查: 確保您使用的是支援 WebGPU 的現代瀏覽器(Chrome 113+ 或 Edge 113+)以及支援 shader-f16 模型的 16 位浮點運算的硬體
BrowserAI 常見問題
BrowserAI 是一個開源庫,允許您直接在 Web 瀏覽器中運行 AI 語言模型 (LLM),而無需伺服器。它提供 100% 私密的、WebGPU 加速的 AI 功能,且伺服器成本為零。