Retrace
Retrace 是一个用于 AI 代理的执行重播引擎，它记录每个 LLM/工具调用，让您从确切的损坏步骤重播和分叉故障，并通过评估门、防护和质量检测验证修复。
https://retraceai.tech/?ref=producthunt&utm_source=aipure
产品信息
更新于：2026年07月03日
什么是 Retrace
Retrace 是一个用于 AI 代理的可靠性和调试平台，定位为“AI 代理行为的 CI”。它捕获完整的端到端代理执行——LLM 调用、工具调用、错误、延迟和成本——因此团队可以检查生产中发生的情况并将故障转化为可重复的回归测试。Retrace 旨在与框架无关，可与常见的代理堆栈（例如 LangChain、CrewAI、LlamaIndex）配合使用，并支持 Python 和 TypeScript，并为主要的模型提供商（OpenAI、Anthropic 和 Google Gemini）提供自动插桩。
Retrace 的主要功能
Retrace 是一个用于 AI 代理的执行回放引擎和可靠性平台，它记录每一次 LLM 调用、工具调用、成本、延迟和错误，以便团队能够重放精确的运行，从故障发生的步骤进行分支，并在发布前验证修复。除了可观测性，它还增加了一个闭环工作流——记录 → 回放/分支 → 修复 → 验证——以及自动化故障检测（例如，基础性差距、漂移、聚类）、运行时强制（预算、循环/步骤限制、审批门）和 CI 评估门，将真实的生产故障转化为回归测试。它通过 Python 或 TypeScript 中的轻量级工具，适用于常见的 LLM 提供商和代理框架。
记录完整的代理执行: 一个轻量级的装饰器/SDK 捕获每个模型调用、工具调用、错误、时间安排和成本，将每次运行转化为可检查并作为回归工件重用的跟踪。
从任何失败的步骤重放和分支: 重新运行精确记录的执行，或从出错的跨度进行分支，编辑提示/工具输入/模型，并级联重放以查看轨迹如何变化。
验证修复: 进行更改后，Retrace 可以针对原始失败的跟踪重新运行，并返回一个判决（例如，已修复/已改进/已退化/未更改），以在发布前验证更正。
自动化故障检测与分析: 标记常见的代理故障模式，例如基础性/忠实性差距、统计漂移、故障集群和多代理故障类型，以解释运行失败的原因，而不仅仅是它失败了。
运行时防护和强制: 成本预算、循环检测、步骤限制、延迟上限和预调用网关（待审批）等策略可以阻止或阻止有风险的操作，以防止失控行为和意外支出。
用于代理行为的 CI 评估门: 在 CI/CD 中运行评估，并在行为相对于基线退化时使构建失败，从而为提示、工具和模型升级启用“行为回归测试”。
Retrace 的使用场景
调试生产代理事件: 当代理在生产中失败时，工程师可以重放精确的运行，在真正的根本原因步骤（而非最终症状）进行分支，并通过“验证修复”在重新部署前验证修复。
发布更安全的工具使用代理 (DevOps/SRE): 对于查询日志/指标或触发操作的代理，防护措施（预算、循环限制、审批门）可降低级联故障或代价高昂的失控执行的风险。
提示/工具/模型更改的回归测试: 迭代提示、更换工具或升级模型的团队可以使用记录的故障和评估门，确保多步骤行为不会在发布之间悄然退化。
多代理工作流可靠性（研究 → 编写管道）: 在包含规划器/研究员/编写器代理的系统中，Retrace 有助于可视化代理拓扑，识别跨代理交接故障，并重放/分支以测试改进的协调。
企业助理的质量和合规性监控: 基础性检测和可追溯性支持在受监管或高风险环境（例如金融、医疗保健、法律）中对助理进行审计和质量控制，这些环境中必须及早发现幻觉和不安全行为。
优点
闭环调试：重放、分支和验证修复，而不仅仅是检查日志/指标。
与框架和提供商无关的方法，具有轻量级工具（Python/TypeScript）并支持常见的 LLM 提供商。
运行时防护可以防止代价高昂或不安全的代理行为（预算、循环检测、审批门）。
CI 评估门将真实故障转化为行为回归测试，帮助团队更有信心地发布。
缺点
某些功能取决于提供商/密钥支持（例如，某些重放/评估流程可能对特定提供商更成熟）。
有意义的评估门需要周到的评估设计和阈值；对于复杂的代理，设置可能不简单。
记录详细跟踪可能会引发隐私/合规性考虑，需要在敏感环境中进行仔细的编辑和数据治理。
如何使用 Retrace
1) 创建账户: 访问 https://retraceai.tech/ 并注册（支持 GitHub 登录）。无需信用卡即可开始使用。
2) 安装 Retrace SDK: 将 Retrace SDK 添加到您的代理项目（Python 或 TypeScript）。Retrace 与框架无关，可与 LangChain、CrewAI、LlamaIndex、Vercel AI SDK、AutoGen 等配合使用。
3) 配置您的 API 密钥: 在您的代码中，使用您的工作区 API 密钥配置 Retrace（网站上显示的示例使用 `retrace.configure(api_key="rt_...")`）。这将您的应用程序连接到 Retrace，以便跟踪可以流式传输到仪表板。
4) 将记录装饰器添加到您的代理入口点: 使用文档中显示的装饰器包装您的主代理函数：`@retrace.record(name="my-agent")`。这个单一的装饰器捕获每个 LLM 调用、工具调用、成本、时间和错误。
5) 正常运行您的代理: 像往常一样执行您的代理。Retrace 自动捕获对 OpenAI、Anthropic 和 Gemini 的调用，并将工具调用和故障记录为跟踪时间线中的跨度。
6) 观看实时跟踪流（可选 CLI 尾随）: 使用 CLI 尾随实时跟踪（网站示例：`retrace traces tail`）。您将看到意图分类、上下文获取和响应生成等步骤，以及时间和成本。
7) 在仪表板中检查跟踪: 打开 Retrace UI 以擦洗时间线，打开任何跨度，并查看模型/工具调用的完整序列。这有助于您找到运行实际出错的地方（通常比最终错误更早）。
8) 重播失败的运行: 重新运行任何记录的跟踪以重现确切的行为。Retrace 的设计使得生产故障成为您可以重新运行的永久回归测试。
9) 从确切的失败跨度分叉: 选择运行偏离或失败的跨度，然后创建一个分叉以从该点分支（显示的示例命令：`retrace forks create --trace <id> --span <id> --input "..."`）。
10) 编辑损坏的步骤（提示/工具输入/模型）并级联重播: 在分叉中，更改导致故障的原因（例如，调整提示、修复工具输入或交换模型），然后重播分叉（示例：`retrace forks replay <id> --wait`）。Retrace 从分叉点向前级联重播，以便下游步骤使用更新的上下文。
11) 通过判决证明修复: 运行内置验证以将修复后的分叉与原始失败的运行进行比较并获得判决（示例：`retrace traces verify-fix <id>`），报告为改进/退步/未更改（并在网站示例中显示为“fix verified”）。
12) 添加运行时防护（推荐）: 配置防护/断路器以停止超出预算、循环时间过长、上下文溢出或超出延迟上限的运行。Retrace 可以发出 HALT 以在失控行为累积成本或触发不良操作之前停止它。
13) 启用检测信号（推荐）: 使用 Retrace 的检测功能自动标记基础差距、漂移、故障集群和 MAST 故障类型，以便您了解运行失败的原因（而不仅仅是它失败了）。
14) （可选）添加您的模型提供商密钥以进行服务器端重播和评估门: 在 Retrace 仪表板设置中，添加您的提供商密钥（网站突出显示 Google/Gemini 用于评估门 + 重播）。Retrace 在保存时验证密钥，在静止时加密它，仅显示最后 4 个字符，并使用它以便重播/评估令牌计入您的提供商账户。
15) 创建评估和数据集以进行回归测试: 设置评估（以及可选的数据集和自动评估规则），以便您可以根据记录的运行对代理行为进行评分，并与基线（“黄金”）行为进行比较。
16) 在 CI 中使用评估门控制 PR: 添加一个 CI 步骤，运行 Retrace 的评估门，以便在行为回归时构建失败。网站上的 GitHub Actions 步骤示例：`retrace eval gate --evaluation $EVAL_ID --trace $TRACE_ID --threshold 0.8`，其中 `RETRACE_API_KEY` 在秘密中；该命令在失败时以代码 1 退出。
17) 使用闭环工作流迭代: 重复可靠性循环：记录真实故障 → 重播它 → 从失败步骤分叉 → 修复 → 证明修复 → 将其添加到评估门，以便相同的回归更难再次发布。
Retrace 常见问题
Retrace 是一个用于 AI 代理的执行回放引擎，它记录每次 LLM 调用、工具调用和错误，因此您可以在发布前重放运行、从失败的步骤分叉并验证修复。
与 Retrace 类似的最新 AI 工具
Hapticlabs
Hapticlabs是一个无代码工具包，使设计师、开发者和研究人员能够轻松地在设备上设计、原型设计和部署沉浸式触觉交互，无需编码。
Deployo.ai
Deployo.ai 是一个全面的 AI 部署平台，支持无缝模型部署、监控和扩展，并内置了道德 AI 框架和跨云兼容性。
CloudSoul
CloudSoul 是一个 AI 驱动的 SaaS 平台，通过自然语言对话使用户能够即时部署和管理云基础设施，使 AWS 资源管理更加便捷和高效。
Devozy.ai
Devozy.ai是一个AI驱动的开发者自助服务平台，将敏捷项目管理、DevSecOps、多云基础设施管理和IT服务管理结合到一个统一的解决方案中，以加速软件交付。
类似 Retrace 的热门 AI 工具
A2A Protocol
A2A (Agent2Agent) 协议是 Google 开发的一种开放互操作协议，该协议使得不同框架和供应商之间的 AI 代理能够无缝地进行通信和协作，而不论其底层架构如何。
VoltOps
VoltOps 是一个与框架无关的 LLM 可观察性平台，它为任何技术堆栈上的 AI 代理提供实时可视化监控、调试和优化工具。
Chaterm
Chaterm 是一个开源的 AI 原生终端和 SRE 协飞行员，使工程师能够通过自然语言管理复杂的基础设施，从而自动执行部署、故障排除和操作，而无需记住命令。
Open Browser Use
Open Browser Use 是一个开源、代理运行时中立的浏览器自动化层，它将 Chrome 扩展程序与 CLI/SDK/MCP 配对，以实现跨不同 AI 代理工具的 DOM 感知、CDP 驱动的选项卡控制、导航和操作。