Arch
Arch 是一個基於 Envoy Proxy 的智能第 7 層閘道，提供安全處理、強大的可觀察性和與 API 的無縫集成，以構建快速、穩健和個性化的 AI 代理。
https://github.com/katanemo/arch?ref=aipure&utm_source=aipure
產品資訊
更新時間：2024年12月16日
什麼是 Arch
Arch 是一個開源的智能提示閘道，專門設計用於處理與提示處理和 API 集成相關的關鍵任務。由 Envoy 代理的核心貢獻者構建，它將提示視為需要與傳統 HTTP 請求相同功能的細微用戶請求。該平台旨在保護、觀察和個性化像代理、助手和協同駕駛員這樣的 LLM 應用，同時將它們與後端 API 集成。
Arch 的主要功能
Arch 是一個專門設計用於處理 AI/LLM 應用程序的智能第 7 層閘道，基於 Envoy Proxy 建立。它提供了全面的提示管理功能，包括越獄檢測、API 集成、LLM 路由和可觀察性功能。該平台使用專門構建的 LLM 來處理關鍵任務，如函數調用、參數提取和安全提示處理，同時提供基於標準的監控和流量管理功能。
內置函數調用: 使用專門構建的 LLM 設計，用於快速、成本效益的 API 調用和從提示中提取參數，以構建代理和 RAG 應用程序
提示安全: 集中管理提示防護欄，並提供自動越獄嘗試檢測，無需自定義代碼實現
高級流量管理: 通過智能重試、自動故障轉移和彈性的上游連接來管理 LLM 調用，確保持續可用性
企業級可觀察性: 實施 W3C Trace Context 標準以實現完整的請求追蹤，並提供全面的指標以監控延遲、令牌使用率和錯誤率
Arch 的使用案例
AI 驅動的天氣預報: 與天氣服務集成，通過自然語言處理提供智能天氣預報
保險代理人自動化: 構建自動化的保險代理人，能夠處理客戶查詢和處理保險相關任務
網絡管理助手: 創建網絡協同駕駛員，通過自然語言交互幫助操作員理解流量流向和管理網絡操作
企業 API 集成: 在保持安全性和可觀察性的同時，無縫連接 AI 功能與現有的企業 API
優點
基於經過驗證的 Envoy Proxy 技術，性能可靠
內置越獄檢測的全面安全功能
基於標準的可觀察性，使其適合企業使用
缺點
由於名稱混淆，可能存在搜索可見性問題（與 Arch Linux 重名）
設置需要 Docker 和特定的技術前提條件
作為較新的項目，文檔和社區資源有限
如何使用 Arch
安裝前置條件: 確保您的系統已安裝 Docker (v24)、Docker compose (v2.29)、Python (v3.10) 和 Poetry (v1.8.3)。Poetry 用於本地開發。
創建 Python 虛擬環境: 使用以下命令創建並激活新的 Python 虛擬環境：python -m venv venv && source venv/bin/activate（或在 Windows 上使用 venv\Scripts\activate）
安裝 Arch CLI: 使用 pip 安裝 Arch 閘道 CLI 工具：pip install archgw
創建配置文件: 創建一個配置文件（例如，arch_config.yaml），定義您的 LLM 提供商、提示目標、端點和其他設置，如系統提示和參數
配置 LLM 提供商: 在配置文件中設置您的 LLM 提供商（例如，OpenAI），並提供適當的訪問密鑰和模型設置
定義提示目標: 在配置文件中配置提示目標，指定每個目標函數的端點、參數和描述
設置端點: 在配置文件中定義您的應用程序端點，包括連接設置和超時
初始化客戶端: 在您的應用程序代碼中創建一個指向 Arch 閘道的 OpenAI 客戶端實例（例如，base_url='http://127.0.0.1:12000/v1'）
進行 API 調用: 使用配置的客戶端通過 Arch 進行 API 調用，Arch 將處理路由、安全性和可觀察性
監控性能: 使用 Arch 的內置可觀察性功能監控您的 LLM 交互的指標、追蹤和日誌
Arch 常見問題
Arch 是一個設計用於保護、監控和個性化 LLM 應用程序的智能第 7 層閘道。它基於 Envoy Proxy 建立，並使用專門構建的 LLM 進行安全處理、強大的可觀察性和 API 提示的無縫集成。
与 Arch 类似的最新 AI 工具
2000+ ChatGPT Mega-Prompts Bundle
一套全面的2,000多個手工製作的超級提示，涵蓋8個類別（營銷、商業、獨資企業、寫作、生產力、教育、SEO和銷售），旨在解鎖ChatGPT、Claude和Gemini等人工智能聊天機器人的全部潛力。
Folderr
Folderr 是一個全面的 AI 平台，通過上傳無限制的文件、集成多個語言模型和通過用戶友好的界面自動化工作流程，使用戶能夠創建自定義的 AI 助手。
Peache.ai
Peache.ai 是一個 AI 角色聊天遊樂場，使用戶能夠通過實時互動與多樣的 AI 個性進行調情、機智和大膽的對話。
TalkPersona
TalkPersona是一個由AI驅動的視頻聊天機器人，通過具有自然語音和唇形同步功能的虛擬對話臉提供實時類人對話。
类似 Arch 的热门 AI 工具
ChatGPT
ChatGPT 是由 OpenAI 開發的先進 AI 驅動的聊天機器人，使用自然語言處理進行類似人類的對話並協助廣泛的任務。
DuckDuckGo AI Chat
DuckDuckGo AI Chat 是一種免費且匿名的方式，用於訪問 GPT-3.5、Claude 等熱門 AI 聊天機器人，同時保護用戶隱私。
Gemini - Google Vids AI
Gemini是Google最先進和最強大的多模態AI模型家族，能夠無縫理解和推理文本、圖像、視頻、音頻和代碼，以驅動各種AI應用程序和服務。
Character.ai
Character.ai 是一個創新的AI聊天機器人平台，允許用戶創建、自定義和與各種AI角色互動，用於娛樂、學習和創意目的。