如何使用 Arch
安装先决条件: 确保您的系统已安装 Docker (v24)、Docker compose (v2.29)、Python (v3.10) 和 Poetry (v1.8.3)。Poetry 用于本地开发。
创建 Python 虚拟环境: 创建并激活一个新的 Python 虚拟环境:python -m venv venv && source venv/bin/activate (或 venv\Scripts\activate 在 Windows 上)
安装 Arch CLI: 使用 pip 安装 Arch 网关 CLI 工具:pip install archgw
创建配置文件: 创建一个配置文件(例如,arch_config.yaml),定义您的 LLM 提供商、提示目标、端点和其他设置,如系统提示和参数
配置 LLM 提供商: 在配置文件中设置您的 LLM 提供商(例如,OpenAI),并使用适当的访问密钥和模型设置
定义提示目标: 在配置文件中配置提示目标,指定每个目标函数的端点、参数和描述
设置端点: 在配置文件中定义您的应用程序端点,包括连接设置和超时
初始化客户端: 在您的应用程序代码中创建一个指向 Arch 网关的 OpenAI 客户端实例(例如,base_url='http://127.0.0.1:12000/v1')
调用 API: 使用配置的客户端通过 Arch 进行 API 调用,Arch 将处理路由、安全性和可观察性
监控性能: 使用 Arch 的内置可观察性功能监控您的 LLM 交互的指标、跟踪和日志
Arch 常见问题
Arch 是一个智能的第 7 层网关,旨在通过 API 保护、观察和个性化 LLM 应用程序。它基于 Envoy Proxy 构建,并使用专为安全处理、强大的可观测性和与 API 的无缝集成而设计的 LLM 进行工程设计。
查看更多