Parallax by Gradient
Parallax 是一种完全去中心化的推理引擎，可以构建分布式 AI 集群，用于在多个设备上运行大型语言模型，而不管它们的配置和物理位置如何。
https://github.com/GradientHQ/parallax?ref=producthunt&utm_source=aipure
产品信息
更新于：2025年10月31日
什么是 Parallax by Gradient
Parallax 由 Gradient 开发，是一种创新的开源推理引擎，它将模型推理重新构想为一个全球性的协作过程。它通过允许大型语言模型在机器的分布式网络中进行分解、执行和验证，从而摆脱了传统的集中式基础设施。该系统支持在 Windows、Linux 和 macOS 上进行跨平台部署，并兼容各种 GPU 架构，包括 Blackwell、Ampere 和 Hopper 系列。
Parallax by Gradient 的主要功能
Parallax是一个完全去中心化的推理引擎，使用户能够通过在多个节点上分配模型推理来构建自己的AI集群，而不管它们的配置或物理位置如何。它提供跨平台支持、通过流水线并行实现的高效模型分片以及动态资源管理功能，从而可以在个人设备上运行大型语言模型，同时保持高性能。
分布式模型推理: 允许将模型推理拆分并在多个分布式节点上执行，从而有效利用可用的计算资源
跨平台兼容性: 支持包括Windows、Linux和macOS在内的多种操作系统，并通过源代码、Docker或本机应用程序提供灵活的安装选项
动态资源管理: 具有Mac的动态KV缓存管理和连续批处理功能，以及智能请求调度和路由，以实现最佳性能
流水线并行架构: 实现流水线并行模型分片，以有效地将模型层分配到集群中的不同节点上
Parallax by Gradient 的使用场景
个人AI基础设施: 个人可以通过组合多个计算资源，在他们的个人设备上运行大型语言模型
分布式研究环境: 研究机构可以通过连接不同位置的多台计算机来创建协作AI环境
资源优化开发: 开发人员可以通过在可用设备上分配模型工作负载来利用现有的硬件基础设施
优点
可以在个人设备上运行大型语言模型
跨不同平台的灵活部署选项
通过分布式计算实现高效的资源利用
缺点
安装过程可能很长（大约30分钟）
某些功能是特定于平台的（例如，某些Docker功能仅限于Linux+GPU）
如何使用 Parallax by Gradient
先决条件检查: 确保您已安装 Python 版本 3.11.0 到 3.14.0。对于 Blackwell GPU，需要 Ubuntu 24.04。
安装: 根据您的操作系统选择安装方法：Windows 用户可以下载安装程序，Linux/macOS 用户可以从源代码安装，Linux GPU 用户可以使用 Docker。对于 macOS，请先创建 Python 虚拟环境。
启动调度器: 通过运行 'parallax run' 在您的主节点上启动调度器。在 http://localhost:3001 访问设置界面。对于非前端使用，请使用 'parallax run -m {model-name} -n {number-of-worker-nodes}'
配置集群和模型: 通过 Web 界面，从支持的列表中选择您所需的节点配置和模型（包括 DeepSeek、MiniMax-M2、GLM-4.6、Kimi-K2、Qwen、gpt-oss、Meta Llama 3）
连接节点: 在您要连接的每个节点上，运行加入命令：本地网络使用 'parallax join'，公共网络使用 'parallax join -s {scheduler-address}'
开始使用: 连接节点后，您可以使用 http://localhost:3001 上的 Web 聊天界面，也可以通过 API 调用 http://localhost:3001/v1/chat/completions 进行编程访问
可选的远程访问: 要从非调度器计算机访问聊天界面，请为本地网络运行 'parallax chat'，为公共网络运行 'parallax chat -s {scheduler-address}'，然后访问 http://localhost:3002
卸载（如果需要）: 对于 pip 安装：使用 'pip uninstall parallax'。对于 Docker：使用 docker 命令删除容器和镜像。对于 Windows：通过控制面板卸载
Parallax by Gradient 常见问题
Parallax是由Gradient开发的完全去中心化的推理引擎，允许用户构建自己的AI集群，用于跨分布式节点进行模型推理，无论它们的配置和物理位置如何。
与 Parallax by Gradient 类似的最新 AI 工具
Athena AI
Athena AI 是一个多功能的 AI 驱动平台，通过文档分析、测验生成、闪卡和互动聊天功能提供个性化学习辅助、商业解决方案和生活指导。
Aguru AI
Aguru AI 是一个本地软件解决方案，为基于 LLM 的应用程序提供全面的监控、安全和优化工具，包括行为跟踪、异常检测和性能优化等功能。
GOAT AI
GOAT AI 是一个 AI 驱动的平台，提供一键摘要功能，适用于新闻文章、研究论文和视频等各种内容类型，同时提供针对特定领域任务的高级 AI 代理编排。
GiGOS
GiGOS是一个AI平台，提供访问多个高级语言模型（如Gemini、GPT-4、Claude和Grok）的权限，并通过直观的界面让用户与不同的AI模型互动和比较。
类似 Parallax by Gradient 的热门 AI 工具
ChatGPT 5.0
ChatGPT-5是OpenAI最先进的AI模型，具有增强的推理能力、更深层次的上下文感知以及一个统一的自动切换系统，可在写作、编码和专业任务中提供更快、更准确和高度定制的响应。
SearchGPT
SearchGPT 是 OpenAI 使用 GPT 模型提供的 AI 驱动搜索原型，提供快速、对话式答案并带有清晰来源。
ContextGem
ContextGem 是一个免费的开源 LLM 框架，它通过强大的内置抽象和自动化功能，以最少的代码简化从文档中提取结构化数据和见解的过程。
AI CLI
AI CLI 是一个开源命令行界面工具，可将 AI 功能直接引入您的终端，使您可以通过简单的命令与各种 AI 模型（如 OpenAI 的 GPT 和 Anthropic 的 Claude）进行交互。