https://github.com/katanemo/arch?ref=aipure&utm_source=aipure
产品信息
更新时间：15/11/2024
什么是Arch
Arch 是一个开源的智能提示网关，专为处理与提示处理和 API 集成相关的关键任务而设计。由 Envoy 代理的核心贡献者构建，它将提示视为需要与传统 HTTP 请求相同功能的复杂用户请求。该平台旨在保护、观察和个性化像代理、助手和副驾这样的 LLM 应用，同时将它们与后端 API 集成。
Arch 的主要功能
Arch 是一个为处理 AI/LLM 应用程序而设计的智能第 7 层网关，基于 Envoy Proxy 构建。它提供了全面的提示管理功能，包括越狱检测、API 集成、LLM 路由和可观测性功能。该平台使用专门构建的 LLM 来处理关键任务，如函数调用、参数提取和安全提示处理，同时提供基于标准的监控和流量管理功能。
内置函数调用: 使用专门构建的 LLM 设计，用于处理快速、成本效益的 API 调用和从提示中提取参数，以构建代理和 RAG 应用程序
提示安全: 集中管理提示防护栏，并提供自动越狱尝试检测，无需自定义代码实现
高级流量管理: 通过智能重试、自动故障转移和弹性上游连接管理 LLM 调用，确保持续可用性
企业级可观测性: 实施 W3C Trace Context 标准，实现完整的请求跟踪，并提供全面的指标以监控延迟、令牌使用率和错误率
Arch 的用例
AI 驱动的天气预报: 与天气服务集成，通过自然语言处理提供智能天气预报
保险代理自动化: 构建自动化的保险代理，能够处理客户查询和处理保险相关任务
网络管理助手: 创建网络副驾，帮助操作员通过自然语言交互理解流量流向和管理网络操作
企业 API 集成: 无缝连接 AI 能力与现有企业 API，同时保持安全性和可观测性
优点
基于经过验证的 Envoy Proxy 技术，性能可靠
内置越狱检测，提供全面的安全功能
基于标准的可观测性，使其企业级就绪
缺点
由于名称与 Arch Linux 混淆，可能导致搜索可见性问题
需要 Docker 和特定的技术前提条件进行设置
作为较新的项目，文档和社区资源有限
如何使用Arch
安装先决条件: 确保您的系统已安装 Docker (v24)、Docker compose (v2.29)、Python (v3.10) 和 Poetry (v1.8.3)。Poetry 用于本地开发。
创建 Python 虚拟环境: 创建并激活一个新的 Python 虚拟环境：python -m venv venv && source venv/bin/activate (或 venv\Scripts\activate 在 Windows 上)
安装 Arch CLI: 使用 pip 安装 Arch 网关 CLI 工具：pip install archgw
创建配置文件: 创建一个配置文件（例如，arch_config.yaml），定义您的 LLM 提供商、提示目标、端点和其他设置，如系统提示和参数
配置 LLM 提供商: 在配置文件中设置您的 LLM 提供商（例如，OpenAI），并使用适当的访问密钥和模型设置
定义提示目标: 在配置文件中配置提示目标，指定每个目标函数的端点、参数和描述
设置端点: 在配置文件中定义您的应用程序端点，包括连接设置和超时
初始化客户端: 在您的应用程序代码中创建一个指向 Arch 网关的 OpenAI 客户端实例（例如，base_url='http://127.0.0.1:12000/v1'）
调用 API: 使用配置的客户端通过 Arch 进行 API 调用，Arch 将处理路由、安全性和可观察性
监控性能: 使用 Arch 的内置可观察性功能监控您的 LLM 交互的指标、跟踪和日志
Arch 常见问题解答
Arch 是一个智能的第 7 层网关，旨在通过 API 保护、观察和个性化 LLM 应用程序。它基于 Envoy Proxy 构建，并使用专为安全处理、强大的可观测性和与 API 的无缝集成而设计的 LLM 进行工程设计。
Arch 网站分析
Arch 流量和排名
515.6M
每月访问量
#68
全球排名
#6
类别排名
流量趋势：Jun 2024-Oct 2024
Arch 用户洞察
00:06:42
平均访问时长
5.81
每次访问页数
37.2%
用户跳出率
Arch 的热门地区
US: 19.02%
CN: 11.99%
IN: 9.2%
RU: 5.25%
DE: 3.63%
Others: 50.9%
与 Arch 类似的最新 AI 工具
2000+ ChatGPT Mega-Prompts Bundle
一个全面的集合，包含8个类别（营销、业务、个人创业者、写作、生产力、教育、SEO和销售）中的2,000多个手工制作的超级提示，旨在解锁ChatGPT、Claude和Gemini等AI聊天机器人的全部潜力。
Folderr
Folderr 是一个全面的 AI 平台，允许用户通过上传无限文件、集成多个语言模型并通过用户友好的界面自动化工作流来创建自定义 AI 助手。
Peache.ai
Peache.ai is an AI character chat playground that enables users to engage in flirty, witty, and daring conversations with diverse AI personalities through real-time interactions.
TalkPersona
TalkPersona 是一个由AI驱动的视频聊天机器人，通过具有自然语音和唇同步功能的虚拟说话面孔提供实时类似人类的对话。
类似 Arch 的热门 AI 工具
ChatGPT
ChatGPT是由OpenAI开发的高级AI驱动的聊天机器人，使用自然语言处理进行类似人类的对话，并协助各种任务。
DuckDuckGo AI Chat
DuckDuckGo AI Chat是一种免费、匿名的方式，可以在保护用户隐私的同时访问GPT-3.5、Claude等流行的AI聊天机器人。
Hello GPT-4o
GPT-4o是OpenAI的新旗舰多模态AI模型，能够实时无缝地跨音频、视觉和文本进行推理，具有增强的速度和降低的成本。
Gemini - Google Vids AI
Gemini是Google最先进和最强大的多模态AI模型家族，能够无缝理解和推理文本、图像、视频、音频和代码，以支持各种AI应用和服务。