Arch 介紹

WebsiteContact for PricingAI Chatbot Prompts

Arch 是一個基於 Envoy Proxy 的智能第 7 層閘道，提供安全處理、強大的可觀察性和與 API 的無縫集成，以構建快速、穩健和個性化的 AI 代理。

什麼是Arch

Arch 是一個開源的智能提示閘道，專門設計用於處理與提示處理和 API 集成相關的關鍵任務。由 Envoy 代理的核心貢獻者構建，它將提示視為需要與傳統 HTTP 請求相同功能的細微用戶請求。該平台旨在保護、觀察和個性化像代理、助手和協同駕駛員這樣的 LLM 應用，同時將它們與後端 API 集成。

Arch 如何運作？

Arch 通過多個關鍵機制處理提示處理中的非差異化任務。它使用專門的 LLM 檢測和拒絕越獄嘗試，智能地調用後端 API 以滿足用戶請求，並管理上游 LLM 之間的提示路由。該系統與應用服務器並行運行，利用 Envoy 的 HTTP 管理功能處理入站和出站流量。它包括專門設計的 LLM 用於函數/API 調用和參數提取，並通過其 Prompt Guard 功能集中管理提示欄杆。該平台實施 W3C Trace Context 標準以實現全面的請求追蹤，並提供智能重試和自動切換等強大的流量管理功能。

Arch 的優點

使用 Arch 為 AI 應用開發帶來多項優勢。它通過提供集中式的提示欄杆，消除了編寫自定義代碼以確保提示安全的需要。該平台通過快速、成本效益高且準確的提示基於任務，提供改進的性能，同時通過彈性的上游連接和智能流量管理確保持續可用性。組織受益於全面的可觀察性，具有標準化的監控延遲、令牌使用量和錯誤率的指標。此外，其與 Envoy Proxy 的集成提供了經過驗證的可擴展性和可靠性，使開發人員更容易構建和維護安全、高性能的 AI 應用。