什么是Arch
Arch 是一个开源的智能提示网关,专为处理与提示处理和 API 集成相关的关键任务而设计。由 Envoy 代理的核心贡献者构建,它将提示视为需要与传统 HTTP 请求相同功能的复杂用户请求。该平台旨在保护、观察和个性化像代理、助手和副驾这样的 LLM 应用,同时将它们与后端 API 集成。
Arch 如何运作?
Arch 通过处理提示处理中的非差异化任务,通过几个关键机制运行。它使用专门的 LLM 检测和拒绝越狱尝试,智能调用后端 API 以满足用户请求,并管理上游 LLM 之间的提示路由。该系统与应用程序服务器并行运行,并利用 Envoy 的 HTTP 管理功能处理入口和出口流量。它包括专为函数/API 调用和参数提取设计的 LLM,同时通过其 Prompt Guard 功能集中管理提示防护栏。该平台实现了 W3C Trace Context 标准,提供全面的请求跟踪,并提供强大的流量管理功能,如智能重试和自动切换。
Arch 的优势
使用 Arch 为 AI 应用开发带来了多个优势。它通过提供集中式的提示防护栏,消除了编写自定义代码以确保提示安全的需要。该平台通过快速、成本效益高且准确的基于提示的任务,提供改进的性能,同时通过弹性上游连接和智能流量管理确保持续可用性。组织可以从全面的可观察性中受益,包括用于监控延迟、令牌使用量和错误率的标准指标。此外,其与 Envoy Proxy 的集成提供了经过验证的可扩展性和可靠性,使开发人员更容易构建和维护安全、高性能的 AI 应用。
查看更多