
BrowserAI
BrowserAI 是一个开源库,它支持直接在具有 WebGPU 加速的 Web 浏览器中运行本地大型语言模型 (LLM),提供以隐私为中心的 AI 功能,而无需服务器基础设施。
https://github.com/Cloud-Code-AI/browserai?ref=aipure&utm_source=aipure

产品信息
更新于:2025年04月09日
什么是 BrowserAI
BrowserAI 是一项突破性的解决方案,它彻底改变了 AI 模型在 Web 浏览器中部署和运行的方式。它旨在使 Web 开发者和企业能够访问强大的 AI 功能,同时保持完全的隐私,因为所有处理都在用户的本地浏览器中进行。该库支持各种流行的模型,包括 Llama、DeepSeek-distill、Kokoro 等,同时提供文本生成、语音识别和文本转语音等功能。作为一个开源项目,它为开发者提供了一个简单的 SDK,该 SDK 支持多种 AI 引擎,并附带了可用于生产的预优化流行模型。
BrowserAI 的主要功能
BrowserAI 是一个开源库,支持直接在 Web 浏览器中使用 WebGPU 加速运行本地大型语言模型 (LLM)。它提供以隐私为中心的人工智能功能,无需任何基础设施成本,并支持各种模型,如 llama、deepseek-distill 和 kokoro。该库提供包括文本生成、语音识别、文本到语音、结构化输出生成以及与 MLC 和 Transformers 引擎无缝集成等功能。
本地基于浏览器的 AI 处理: 所有 AI 处理都在本地浏览器中使用 WebGPU 加速进行,确保隐私和接近原生的性能,而无需服务器基础设施
多模型支持: 支持各种预配置的流行模型,包括 Llama、Gemma、Whisper 和 Kokoro-TTS,用于不同的 AI 任务,如文本生成、语音识别和文本到语音
开发者友好的集成: 简单的 SDK,具有多种引擎支持、内置数据库功能以及易于使用的 API,用于文本生成和使用 JSON 模式的结构化输出
高级语音功能: 集成的语音识别和文本到语音功能,支持多种语言和声音
BrowserAI 的使用场景
注重隐私的企业应用程序: 组织可以实施 AI 功能,同时将敏感数据处理完全保留在本地,非常适合医疗保健或金融服务
支持离线的 AI 工具: 开发在初始模型下载后无需互联网连接即可运行的应用程序,适用于现场工作或偏远地区
无代码 AI 平台开发: 构建无需复杂后端基础设施即可集成 AI 功能的无代码平台和工具
交互式 Web 应用程序: 创建具有实时 AI 功能的 Web 应用程序,如聊天机器人、语音界面和文本生成功能
优点
零服务器成本和基础设施要求
通过本地处理实现完整的数据隐私
易于与现有 Web 应用程序集成
缺点
需要支持 WebGPU 的现代浏览器
由于浏览器限制,仅限于较小的模型尺寸
初始模型下载可能很大
如何使用 BrowserAI
安装 BrowserAI: 使用 npm (npm install @browserai/browserai) 或 yarn (yarn add @browserai/browserai) 安装软件包
导入 BrowserAI: 在您的代码中导入 BrowserAI 类:import { BrowserAI } from '@browserai/browserai'
初始化 BrowserAI: 创建 BrowserAI 的新实例:const browserAI = new BrowserAI()
加载模型: 加载您选择的 AI 模型,并带有可选的进度跟踪:await browserAI.loadModel('model-name', { quantization: 'q4f16_1', onProgress: (progress) => console.log('Loading:', progress.progress + '%') })
生成文本: 使用 generateText() 方法与模型交互:const response = await browserAI.generateText('Your prompt here')
配置高级选项: 在生成文本时添加可选参数,如 temperature、max_tokens 和 system_prompt,以便更好地控制输出
处理响应: 从 response.choices[0].message.content 访问生成的内容
启用语音功能(可选): 对于语音识别,加载 'whisper' 模型。对于文本转语音,加载 'kokoro-tts' 模型
系统要求检查: 确保您使用的是支持 WebGPU 的现代浏览器(Chrome 113+ 或 Edge 113+)以及支持 shader-f16 模型的 16 位浮点运算的硬件
BrowserAI 常见问题
BrowserAI 是一个开源库,允许您直接在 Web 浏览器中运行 AI 语言模型 (LLM),而无需服务器。它提供 100% 私有的、WebGPU 加速的 AI 功能,且零服务器成本。