Progress AI Observability
WebsiteFree
Progress AI Observability 是一個基於雲端的可觀察性平台，用於生產 AI 代理，提供端到端追蹤、快速偵錯、成本/代幣分析以及 .NET、Python 和 JavaScript 中多步驟工作流程的品質評估。
https://www.telerik.com/ai-observability-platform?ref=producthunt&utm_source=aipure
產品資訊
更新時間：2026年08月14日
什麼是 Progress AI Observability
Progress AI Observability (Progress AI Observability Platform) 是一個專為 AI 設計的可觀察性平台，旨在讓團隊深入了解 AI 代理和 LLM 應用程式在真實環境中的行為方式，以便他們可以更快地偵錯、優化可靠性、控制支出並信任生產中的輸出。與專注於基礎設施指標和日誌的傳統監控不同，它捕捉代理在提示、模型呼叫、檢索步驟 (RAG) 和工具使用中的執行路徑，然後將這些追蹤資料連接到效能（延遲）、使用量（代幣）、估計成本和品質訊號（評估）。它旨在補充現有的監控/日誌堆疊，與常見的代理框架和 LLM 供應商整合，並支援企業需求，例如稽核軌跡、PII 編輯、SSO 和資料駐留選項。
Progress AI Observability 的主要功能
Progress AI Observability 是一個專為大型語言模型 (LLM) 應用程式和 AI 代理工作流程而建置的可觀察性平台，提供跨提示、模型呼叫、檢索和工具使用的端到端追蹤，讓團隊能夠偵錯故障、控制延遲和代幣驅動的成本，並隨著時間評估輸出品質。它提供原生的 .NET 支援和一流的 Semantic Kernel 整合，可跨 .NET/Python/JavaScript 和主要模型供應商（例如 Azure OpenAI、OpenAI、Anthropic）運作，並包含企業級治理功能，例如稽核軌跡、個人身份資訊 (PII) 編輯和資料駐留選項。該平台設計輕巧且非同步，透過增加 AI 特定的可見性而非取代現有監控/日誌堆疊來補充它們。
端到端代理追蹤: 捕獲跨提示、模型呼叫、檢索步驟、工具呼叫、重試、會話、延遲、代幣使用量和輸出的完整執行路徑，使多步驟和多代理工作流程在生產中易於理解。
AI 特定的偵錯工作流程: 透過使用追蹤級別上下文而不是依賴通用應用程式日誌，幫助查明不明顯的故障 (例如，跳過的工具、錯誤的檢索上下文、迴圈/重試、級聯工具錯誤)。
具有歸因的成本和代幣分析: 追蹤輸入/輸出代幣和估計的 LLM 成本，按模型、供應商、代理、應用程式/團隊和工作流程模式歸因支出，以便團隊在成本擴大之前識別並減少代幣浪費。
品質評估迴圈 (LLM 作為評審): 對捕獲的生產追蹤執行評估，以評分回應品質、實用性和政策一致性；支援比較提示/模型/工作流程變更並隨著時間建立評估覆蓋率。
Microsoft 生態系統友善整合: 提供原生的 .NET 支援和檢測、一流的 Semantic Kernel 整合，並支援 Microsoft.Extensions.AI 和 Microsoft AI Foundry，自然地融入以 Microsoft 為中心的團隊。
企業治理和合規性控制: 包括稽核軌跡、PII 編輯、SSO 支援 (Okta、Azure AD、SAML) 和資料駐留/保留選項等功能，以幫助受監管的團隊安全地操作生產 AI。
Progress AI Observability 的使用案例
客戶支援代理可靠性 (SaaS/科技): 透過檢查檢索上下文、工具呼叫 (CRM/票務) 和提示/模型變更，追蹤支援協同程式為何產生無用或不正確的答案；減少升級並提高解決品質。
受監管的企業協同程式 (金融/醫療保健): 使用稽核軌跡、保留控制和 PII 編輯來支援合規性要求，同時監控代理行為以防止不安全或違反政策的輸出，並快速調查事件。
RAG 知識助理 (內部啟用): 診斷檢索問題 (錯誤來源、過時上下文、缺少引用)，並透過與生產追蹤相關的評估來衡量品質，以改善基礎並減少幻覺。
高流量 LLM 功能的成本治理 (消費者應用程式): 按功能/工作流程歸因支出和代幣使用量，並識別昂貴的模式，例如長提示、重複呼叫、重試或代理迴圈；優化模型選擇和工作流程設計以控制費用。
代理工作流程的生產事件調查 (平台團隊): 將延遲峰值和故障與特定跨度相關聯 (例如，緩慢的檢索、失敗的工具呼叫、過載的模型端點)，並使用追蹤證據加速根本原因分析和補救。
.NET + Semantic Kernel 代理開發 (Microsoft 團隊): 使用 .NET SDK 快速檢測代理以在本地和生產中捕獲追蹤，比較提示/模型迭代，並從證據驅動的偵錯和評估中創建可重複的發布迴圈。
優點
專為 LLM/代理工作流程 (提示、檢索、工具、會話) 而建置，而不僅僅是傳統應用程式監控或經典機器學習可觀察性。
透過原生 .NET 支援和 Semantic Kernel 整合以及廣泛的供應商/框架兼容性，非常適合 Microsoft/.NET 團隊。
將追蹤證據與成本 (代幣使用量) 和品質 (評估) 聯繫起來，實現持續改進而非一次性偵錯。
適用於受監管部署的企業級控制 (SSO、稽核軌跡、PII 編輯、資料駐留/保留)。
缺點
專注於 LLM 應用程式和代理工作流程，而非傳統機器學習可觀察性需求，例如訓練有素的機器學習模型的特徵漂移和預測品質。
價值取決於檢測和追蹤捕獲；團隊必須整合 SDK 並管理收集哪些數據 (特別是敏感提示/輸出)。
保留和基於容量的定價/單位可能需要為高流量代理進行規劃，以避免意外的使用增長。
作為一個專業層，它補充而非取代現有的可觀察性堆疊，這可能會增加另一個操作工具。
如何使用 Progress AI Observability
1) 建立帳戶並取得存取權限: 前往 Progress AI Observability Platform 頁面並點擊「免費開始」（無需信用卡）。在 Observability 網路應用程式中，建立/登入您的工作區並取得您進行檢測所需的數值：API 金鑰和應用程式名稱。
2) 將 .NET SDK 新增至您的應用程式: 在您的 .NET 專案中，安裝 Progress AI Observability 檢測套件：
dotnet add package Progress.Observability.Instrumentation
3) 透過環境變數設定憑證: 設定 SDK 使用的環境變數：
- OBSERVABILITY_APP_NAME：您在 Progress AI Observability 中的應用程式名稱
- OBSERVABILITY_API_KEY：您的 API 金鑰
這將機密資訊從原始碼中分離出來，並使在本地/開發/生產環境之間切換變得容易。
4) 檢測您的 LLM/代理客戶端（最少的程式碼變更）: 使用可觀察性包裝或擴展您的聊天/LLM 客戶端，以便自動捕捉追蹤。官方頁面範例：
chatClient = chatClient.AddObservability(options =>
{
options.AppName = Environment.GetEnvironmentVariable("OBSERVABILITY_APP_NAME")!;
options.ApiKey = Environment.GetEnvironmentVariable("OBSERVABILITY_API_KEY")!;
});
5) 在本地執行您的代理並產生追蹤: 執行正常的代理執行（提示 → 檢索/工具呼叫 → 模型回應）。該平台設計為輕量級和非同步，因此檢測不應顯著影響面向用戶的延遲。執行完成後，追蹤應在儀表板中可用。
6) 開啟追蹤瀏覽器以查看完整的執行路徑: 在 Progress AI Observability UI 中，開啟追蹤視圖（追蹤瀏覽器）。檢查提示、模型呼叫、檢索步驟、工具呼叫、輸出、延遲和代幣使用量之間的端到端工作流程。使用此功能了解您的代理在多步驟或多代理流程中實際做了什麼。
7) 使用追蹤級別上下文偵錯故障: 使用偵錯視圖精確定位行為崩潰的位置。尋找諸如跳過的工具、檢索問題/錯誤上下文、循環、重試、錯誤、工具故障和延遲峰值等模式。當代理返回「成功」回應但仍然錯誤或沒有根據時，這尤其有用。
8) 分析與追蹤相關聯的代幣使用量和估計成本: 開啟成本分析/成本歸因視圖，查看估計成本、輸入/輸出代幣以及按模型/提供商/代理/工作流程劃分的成本。使用追蹤上下文來識別哪些運行時行為正在推動支出（例如，長提示、重複呼叫、重試、低效檢索、代理循環）。
9) 使用 LLM-as-a-Judge 評估輸出品質: 對捕獲的追蹤執行評估，以評分品質、實用性、基礎性、安全性/政策一致性等。使用內建評估器範本（或自訂您自己的）來定義評審指令和評分標準。在記分卡中查看評估分數、評審判決和品質趨勢。
10) 使用實際執行資料比較變更（提示/模型/工作流程）: 使用平台的發布前/發布後比較來驗證變更。當您更改提示、模型、檢索設定或工具/工作流程邏輯時，並排比較追蹤和評估結果，以確認品質、延遲和成本的改進。
11) 從生產證據建立回歸檢查和資料集: 使用觀察到的追蹤和低評估分數來策劃評估資料集並建立可重複的回歸檢查。這將生產故障轉化為測試案例，以便您可以防止重複事件並持續改進提示、模型、檢索、工具和工作流程。
12) 使用相同的工作流程部署到生產環境: 在生產環境中保持相同的檢測，以調查事件並監控實際的代理行為。該平台旨在補充（而非取代）您現有的監控/日誌堆疊，透過增加針對 AI 的可見性，包括提示、工具使用、檢索、輸出、延遲和代幣使用量。
13) (可選) 與您現有的堆疊和企業控制整合: 如果需要，請與企業要求保持一致，例如稽核軌跡、PII 編輯、資料駐留、保留和 SSO（例如，Azure AD/Okta/SAML）。使用這些控制來擴展受管制的 AI 應用程式，同時保持追蹤歷史記錄和操作監督。
Progress AI Observability 常見問題
Progress AI 可觀察性平台是一個針對生產 AI 代理、LLM 應用程式、RAG 系統和副駕駛的可觀察性產品，可協助團隊端到端追蹤工作流程、偵錯故障、控制代幣/成本支出，並使用真實執行資料評估輸出品質。
