Progress AI Observability
WebsiteFree
Progress AI Observability 是一个基于云的生产 AI 代理可观测性平台，提供 .NET、Python 和 JavaScript 中多步骤工作流的端到端跟踪、快速调试、成本/令牌分析和质量评估。
https://www.telerik.com/ai-observability-platform?ref=producthunt&utm_source=aipure
产品信息
更新于：2026年08月14日
什么是 Progress AI Observability
Progress AI Observability (Progress AI Observability Platform) 是一个专为 AI 设计的可观测性平台，旨在让团队深入了解 AI 代理和 LLM 应用程序在真实环境中的行为方式，从而更快地调试、优化可靠性、控制支出并信任生产中的输出。与专注于基础设施指标和日志的传统监控不同，它捕获跨提示、模型调用、检索步骤 (RAG) 和工具使用的代理执行路径，然后将这些跟踪数据与性能（延迟）、使用量（令牌）、估计成本和质量信号（评估）连接起来。它旨在补充现有的监控/日志记录堆栈，与常见的代理框架和 LLM 提供商集成，并支持企业需求，例如审计跟踪、PII 匿名化、SSO 和数据驻留选项。
Progress AI Observability 的主要功能
Progress AI Observability 是一个专为 LLM 应用程序和 AI 代理工作流而构建的可观测性平台，提供跨提示、模型调用、检索和工具使用的端到端追踪，以便团队可以调试故障、控制延迟和由令牌驱动的成本，并随着时间的推移评估输出质量。它提供原生 .NET 支持和一流的 Semantic Kernel 集成，可跨 .NET/Python/JavaScript 和主要模型提供商（例如 Azure OpenAI、OpenAI、Anthropic）工作，并包括企业级治理功能，如审计跟踪、PII 匿名化和数据驻留选项。该平台设计轻巧且异步，通过增加 AI 特定的可见性而不是替换现有监控/日志堆栈来补充它们。
端到端代理追踪: 捕获跨提示、模型调用、检索步骤、工具调用、重试、会话、延迟、令牌使用和输出的完整执行路径——使多步骤和多代理工作流在生产中变得可理解。
AI 特定的调试工作流: 使用追踪级上下文而不是依赖通用应用程序日志，帮助查明不明显的故障（例如，跳过的工具、错误的检索上下文、循环/重试、级联工具错误）。
具有归因的成本和令牌分析: 跟踪输入/输出令牌和估计的 LLM 成本，按模型、提供商、代理、应用程序/团队和工作流模式归因支出，以便团队可以在成本扩大之前识别并减少令牌浪费。
质量评估循环（LLM 作为评判者）: 对捕获的生产追踪运行评估，以评分响应质量、有用性和策略一致性；支持比较提示/模型/工作流更改并随着时间的推移建立评估覆盖范围。
Microsoft 生态系统友好集成: 提供原生 .NET 支持和检测、一流的 Semantic Kernel 集成，并支持 Microsoft.Extensions.AI 和 Microsoft AI Foundry——自然地融入以 Microsoft 为中心的团队。
企业治理和合规性控制: 包括审计跟踪、PII 匿名化、SSO 支持（Okta、Azure AD、SAML）以及数据驻留/保留选项等功能，以帮助受管团队安全地操作生产 AI。
Progress AI Observability 的使用场景
客户支持代理可靠性（SaaS/技术）: 通过检查检索上下文、工具调用（CRM/票务）以及提示/模型更改，追踪支持副驾驶为何产生无用或不正确的答案；减少升级并提高解决质量。
受监管的企业副驾驶（金融/医疗保健）: 使用审计跟踪、保留控制和 PII 匿名化来支持合规性要求，同时监控代理行为是否存在不安全或违反政策的输出，并快速调查事件。
RAG 知识助手（内部赋能）: 诊断检索问题（错误来源、过时上下文、缺少引用），并通过与生产追踪相关的评估来衡量质量，以改善基础并减少幻觉。
高流量 LLM 功能的成本治理（消费者应用程序）: 按功能/工作流归因支出和令牌使用情况，并识别昂贵的模式，如长提示、重复调用、重试或代理循环；优化模型选择和工作流设计以控制费用。
代理工作流的生产事件调查（平台团队）: 将延迟峰值和故障与特定跨度（例如，慢速检索、失败的工具调用、过载的模型端点）关联起来，并使用追踪证据加速根本原因分析和补救。
.NET + Semantic Kernel 代理开发（Microsoft 团队）: 使用 .NET SDK 快速检测代理，以在本地和生产环境中捕获追踪，比较提示/模型迭代，并通过证据驱动的调试和评估创建可重复的发布循环。
优点
专为 LLM/代理工作流（提示、检索、工具、会话）而构建，而不仅仅是传统的应用程序监控或经典的 ML 可观测性。
非常适合 Microsoft/.NET 团队，具有原生 .NET 支持和 Semantic Kernel 集成以及广泛的提供商/框架兼容性。
将追踪证据与成本（令牌使用）和质量（评估）联系起来，实现持续改进而不是一次性调试。
企业级控制（SSO、审计跟踪、PII 匿名化、数据驻留/保留）用于受管部署。
缺点
专注于 LLM 应用程序和代理工作流，而不是传统的 ML 可观测性需求，如特征漂移和训练有素的 ML 模型的预测质量。
价值取决于检测和追踪捕获；团队必须集成 SDK 并管理收集哪些数据（特别是对于敏感提示/输出）。
保留和基于容量的定价/单位可能需要为高流量代理进行规划，以避免意外的使用增长。
作为一个专业层，它补充而不是取代现有的可观测性堆栈，这可能会增加另一个操作工具。
如何使用 Progress AI Observability
1) 创建账户并获取访问权限: 访问 Progress AI Observability Platform 页面并点击“免费开始”（无需信用卡）。在 Observability Web 应用程序中，创建/登录您的工作区并获取您进行检测所需的参数：API 密钥和应用程序名称。
2) 将 .NET SDK 添加到您的应用程序: 在您的 .NET 项目中，安装 Progress AI Observability 检测包：
dotnet add package Progress.Observability.Instrumentation
3) 通过环境变量配置凭据: 设置 SDK 使用的环境变量：
- OBSERVABILITY_APP_NAME：您在 Progress AI Observability 中的应用程序名称
- OBSERVABILITY_API_KEY：您的 API 密钥
这可以防止秘密信息出现在源代码中，并方便在本地/开发/生产环境之间切换。
4) 检测您的 LLM/代理客户端（最少的代码更改）: 使用可观测性包装或扩展您的聊天/LLM 客户端，以便自动捕获跟踪。官方页面示例：
chatClient = chatClient.AddObservability(options =>
{
options.AppName = Environment.GetEnvironmentVariable("OBSERVABILITY_APP_NAME")!;
options.ApiKey = Environment.GetEnvironmentVariable("OBSERVABILITY_API_KEY")!;
});
5) 在本地运行您的代理并生成跟踪: 执行正常的代理运行（提示 → 检索/工具调用 → 模型响应）。该平台设计为轻量级和异步的，因此检测不应显著影响面向用户的延迟。运行完成后，跟踪应在仪表板中可用。
6) 打开跟踪浏览器查看完整的执行路径: 在 Progress AI Observability UI 中，打开跟踪视图（跟踪浏览器）。检查跨提示、模型调用、检索步骤、工具调用、输出、延迟和令牌使用的端到端工作流。使用此功能了解您的代理在多步骤或多代理流中实际做了什么。
7) 使用跟踪级别上下文调试故障: 使用调试视图精确定位行为崩溃的位置。查找诸如跳过的工具、检索问题/错误上下文、循环、重试、错误、工具故障和延迟峰值等模式。当代理返回“成功”但仍然错误或无根据的响应时，这尤其有用。
8) 分析与跟踪相关的令牌使用量和估计成本: 打开成本分析/成本归因视图，查看估计成本、输入/输出令牌以及按模型/提供商/代理/工作流划分的成本。使用跟踪上下文识别哪些运行时行为正在推动支出（例如，长提示、重复调用、重试、低效检索、代理循环）。
9) 使用 LLM-as-a-Judge 评估输出质量: 对捕获的跟踪运行评估，以评估质量、有用性、基础性、安全性/策略一致性等。使用内置评估器模板（或自定义您自己的模板）来定义判断说明和评分标准。在记分卡中查看评估分数、判断结果和质量趋势。
10) 使用真实执行数据比较更改（提示/模型/工作流）: 使用平台的发布前/发布后比较来验证更改。当您更改提示、模型、检索设置或工具/工作流逻辑时，并排比较跟踪和评估结果，以确认质量、延迟和成本方面的改进。
11) 从生产证据中构建回归检查和数据集: 使用观察到的跟踪和低评估分数来整理评估数据集并创建可重复的回归检查。这会将生产故障转化为测试用例，从而防止重复事件并持续改进提示、模型、检索、工具和工作流。
12) 使用相同的工作流部署到生产环境: 在生产环境中保持相同的检测，以调查事件并监控真实的代理行为。该平台旨在通过添加针对 AI 的提示、工具使用、检索、输出、延迟和令牌使用量的可见性来补充（而不是取代）您现有的监控/日志记录堆栈。
13) (可选) 与您现有的堆栈和企业控制集成: 如果需要，请与审计跟踪、PII 匿名化、数据驻留、保留和 SSO（例如，Azure AD/Okta/SAML）等企业要求保持一致。使用这些控制来扩展受治理的 AI 应用程序，同时保持跟踪历史记录和操作监督。
Progress AI Observability 常见问题
Progress AI 可观测性平台是一个面向生产AI代理、LLM应用、RAG系统和副驾驶的可观测性产品，它帮助团队端到端地追踪工作流、调试故障、控制token/成本支出，并使用真实的执行数据评估输出质量。
