Arch 使用方法

安裝前置條件: 確保您的系統已安裝 Docker (v24)、Docker compose (v2.29)、Python (v3.10) 和 Poetry (v1.8.3)。Poetry 用於本地開發。

創建 Python 虛擬環境: 使用以下命令創建並激活新的 Python 虛擬環境：python -m venv venv && source venv/bin/activate（或在 Windows 上使用 venv\Scripts\activate）

安裝 Arch CLI: 使用 pip 安裝 Arch 閘道 CLI 工具：pip install archgw

創建配置文件: 創建一個配置文件（例如，arch_config.yaml），定義您的 LLM 提供商、提示目標、端點和其他設置，如系統提示和參數

配置 LLM 提供商: 在配置文件中設置您的 LLM 提供商（例如，OpenAI），並提供適當的訪問密鑰和模型設置

定義提示目標: 在配置文件中配置提示目標，指定每個目標函數的端點、參數和描述

設置端點: 在配置文件中定義您的應用程序端點，包括連接設置和超時

初始化客戶端: 在您的應用程序代碼中創建一個指向 Arch 閘道的 OpenAI 客戶端實例（例如，base_url='http://127.0.0.1:12000/v1'）

進行 API 調用: 使用配置的客戶端通過 Arch 進行 API 調用，Arch 將處理路由、安全性和可觀察性

監控性能: 使用 Arch 的內置可觀察性功能監控您的 LLM 交互的指標、追蹤和日誌