Jan 介绍

WebsiteLarge Language Models (LLMs)AI Code Assistant

Jan 是一个开源的本地优先 AI 平台，允许用户在其自己的电脑上离线运行大型语言模型，提供了一个注重隐私的云端 AI 服务替代方案。

什么是 Jan

Jan 是一个创新的开源项目，旨在通过使用户能够在个人电脑或服务器上直接运行强大的语言模型，来实现人工智能的普及。由专注于推进人机协作的机器人公司 Jan Labs 开发，Jan 提供了与 OpenAI 的 GPT 等云端 AI 平台不同的自托管替代方案。它支持多种模型，如 Mistral 和 Llama2，并提供与 OpenAI 相当的 API，使其成为 AI 爱好者、开发者和注重隐私用户的通用工具。

Jan 是如何工作的？

Jan 通过允许用户在其设备上下载和运行大型语言模型，消除了对持续互联网连接或远程服务器的依赖。它提供了一个用户友好的界面，用于与 AI 模型聊天，并支持多种引擎类型，包括 llama.cpp 和 TensorRT-LLM。Jan 在 localhost:1337 提供与 OpenAI 相当的 API 服务器，实现与兼容应用程序的无缝集成。该平台设计用于各种硬件配置，从个人电脑到多 GPU 集群，并针对 NVIDIA GPU 和 Apple M 系列芯片进行了性能优化。用户可以通过扩展自定义体验，并完全控制其数据和模型使用。

Jan 的优势

Jan 为用户提供了多项关键优势。首先，它通过将所有对话和文件本地存储在用户设备上，优先考虑隐私和数据所有权。这种本地优先的方法确保敏感信息始终处于用户控制之下。其次，Jan 提供了灵活性和定制选项，允许用户调整 AI 模型、添加扩展，并根据特定需求定制体验。该平台的离线功能使得在网络受限或无网络访问的环境中也能使用 AI。此外，Jan 的开源性质促进了透明度和社区驱动的开发，可能会推动 AI 技术的快速改进和创新。最后，通过提供与 OpenAI 相当的 API，Jan 允许用户在无需昂贵云服务的情况下，在各种应用中利用 AI 功能。