Retrace
Retrace는 AI 에이전트를 위한 실행 재생 엔진으로, 모든 LLM/도구 호출을 기록하고, 정확히 손상된 단계에서 실패를 재생 및 포크할 수 있도록 하며, 평가 게이트, 가드레일 및 품질 감지를 통해 수정을 검증합니다.
https://retraceai.tech/?ref=producthunt&utm_source=aipure
제품 정보
업데이트됨:Jul 3, 2026
Retrace이란?
Retrace는 AI 에이전트를 위한 안정성 및 디버깅 플랫폼으로, 'AI 에이전트 동작을 위한 CI'로 포지셔닝됩니다. LLM 호출, 도구 호출, 오류, 지연 시간 및 비용을 포함한 완전한 엔드투엔드 에이전트 실행을 캡처하여 팀이 프로덕션에서 발생한 일을 검사하고 실패를 반복 가능한 회귀 테스트로 전환할 수 있도록 합니다. 프레임워크에 구애받지 않도록 설계된 Retrace는 일반적인 에이전트 스택(예: LangChain, CrewAI, LlamaIndex)과 함께 작동하며 Python 및 TypeScript를 지원하며, 주요 모델 공급자(OpenAI, Anthropic 및 Google Gemini)에 대한 자동 계측 기능을 제공합니다.
Retrace의 주요 기능
Retrace는 AI 에이전트를 위한 실행 재생 엔진이자 안정성 플랫폼으로, 모든 LLM 호출, 도구 호출, 비용, 지연 시간 및 오류를 기록하여 팀이 정확한 실행을 재생하고, 오류가 발생한 단계에서 포크하며, 출시 전에 수정 사항을 확인할 수 있도록 합니다. 관찰 가능성을 넘어, 기록 → 재생/포크 → 수정 → 증명이라는 폐쇄 루프 워크플로우와 자동화된 오류 감지(예: 근거성 격차, 드리프트, 클러스터링), 런타임 강제 적용(예산, 루프/단계 제한, 승인 게이트), 그리고 실제 프로덕션 오류를 회귀 테스트로 전환하는 CI 평가 게이트를 추가합니다. Python 또는 TypeScript의 경량 계측을 통해 일반적인 LLM 제공업체 및 에이전트 프레임워크에서 작동합니다.
전체 에이전트 실행 기록: 경량 데코레이터/SDK는 모든 모델 호출, 도구 호출, 오류, 타이밍 및 비용을 캡처하여 각 실행을 검사하고 회귀 아티팩트로 재사용할 수 있는 추적으로 전환합니다.
실패한 단계에서 재생 및 포크: 정확하게 기록된 실행을 다시 실행하거나 문제가 발생한 스팬에서 포크하고, 프롬프트/도구 입력/모델을 편집하고, 트래픽이 어떻게 변하는지 확인하기 위해 순차적으로 재생합니다.
수정 사항 증명 검증: 변경 후, Retrace는 원래 실패한 추적에 대해 다시 실행하고 릴리스 전에 수정 사항의 유효성을 검사하기 위해 판정(예: 수정됨/개선됨/회귀됨/변경 없음)을 반환할 수 있습니다.
자동화된 오류 감지 및 분석: 근거성/충실도 격차, 통계적 드리프트, 실패 클러스터 및 다중 에이전트 실패 유형과 같은 일반적인 에이전트 실패 패턴을 플래그하여 실행이 실패한 이유를 설명합니다.
런타임 안전 장치 및 강제 적용: 비용 예산, 루프 감지, 단계 제한, 지연 시간 제한 및 사전 호출 게이트웨이(승인 대기)와 같은 정책은 폭주 동작 및 예상치 못한 지출을 방지하기 위해 위험한 작업을 중단하거나 차단할 수 있습니다.
에이전트 동작을 위한 CI 평가 게이트: CI/CD에서 평가를 실행하고 동작이 기준선에 비해 퇴보할 때 빌드를 실패시켜 프롬프트, 도구 및 모델 업그레이드를 위한 '행동 회귀 테스트'를 가능하게 합니다.
Retrace의 사용 사례
프로덕션 에이전트 사고 디버깅: 프로덕션에서 에이전트가 실패할 경우, 엔지니어는 정확한 실행을 재생하고, (최종 증상이 아닌) 실제 근본 원인 단계에서 포크하며, 재배포 전에 수정 사항을 증명하여 유효성을 검사할 수 있습니다.
더 안전한 도구 사용 에이전트 출시 (DevOps/SRE): 로그/메트릭을 쿼리하거나 운영 작업을 트리거하는 에이전트의 경우, 안전 장치(예산, 루프 제한, 승인 게이트)는 연쇄 실패 또는 비용이 많이 드는 폭주 실행의 위험을 줄입니다.
프롬프트/도구/모델 변경에 대한 회귀 테스트: 프롬프트를 반복하고, 도구를 교체하거나, 모델을 업그레이드하는 팀은 기록된 실패 및 평가 게이트를 사용하여 다단계 동작이 릴리스 전반에 걸쳐 조용히 저하되지 않도록 할 수 있습니다.
다중 에이전트 워크플로우 안정성 (연구 → 작성 파이프라인): 기획자/연구원/작성자 에이전트가 있는 시스템에서 Retrace는 에이전트 토폴로지를 시각화하고, 에이전트 간 핸드오프 실패를 식별하며, 개선된 조정을 테스트하기 위해 재생/포크하는 데 도움을 줍니다.
기업용 비서의 품질 및 규정 준수 모니터링: 근거성 감지 및 추적성은 환각 및 안전하지 않은 작업이 조기에 감지되어야 하는 규제되거나 중요한 상황(예: 금융, 의료, 법률)에서 비서에 대한 감사 및 품질 관리를 지원합니다.
장점
폐쇄 루프 디버깅: 로그/메트릭만 검사하는 대신 수정 사항을 재생, 포크 및 확인할 수 있습니다.
경량 계측(Python/TypeScript) 및 일반 LLM 제공업체 지원을 통한 프레임워크 및 제공업체에 구애받지 않는 접근 방식입니다.
런타임 안전 장치는 비용이 많이 들거나 안전하지 않은 에이전트 동작(예산, 루프 감지, 승인 게이팅)을 방지할 수 있습니다.
CI 평가 게이트는 실제 실패를 행동 회귀 테스트로 전환하여 팀이 더 큰 확신을 가지고 출시할 수 있도록 돕습니다.
단점
일부 기능은 제공업체/키 지원에 따라 달라집니다(예: 특정 재생/평가 흐름은 특정 제공업체에 대해 더 성숙할 수 있습니다).
의미 있는 평가 게이트는 신중한 평가 설계 및 임계값을 필요로 합니다. 복잡한 에이전트의 경우 설정이 간단하지 않을 수 있습니다.
자세한 추적 기록은 개인 정보 보호/규정 준수 문제를 야기할 수 있으므로 민감한 환경에서는 신중한 수정 및 데이터 거버넌스가 필요합니다.
Retrace 사용 방법
1) 계정 생성: https://retraceai.tech/ 로 이동하여 가입하세요 (GitHub 로그인 지원). 시작하는 데 신용 카드가 필요하지 않습니다.
2) Retrace SDK 설치: 에이전트 프로젝트(Python 또는 TypeScript)에 Retrace SDK를 추가하세요. Retrace는 프레임워크에 구애받지 않으며 LangChain, CrewAI, LlamaIndex, Vercel AI SDK, AutoGen 등과 함께 작동합니다.
3) API 키 구성: 코드에서 작업 공간 API 키로 Retrace를 구성하세요 (사이트에 표시된 예시는 `retrace.configure(api_key="rt_...")`를 사용합니다). 이렇게 하면 앱이 Retrace에 연결되어 추적이 대시보드로 스트리밍될 수 있습니다.
4) 에이전트 진입점에 기록 데코레이터 추가: 문서에 표시된 데코레이터로 기본 에이전트 함수를 래핑하세요: `@retrace.record(name="my-agent")`. 이 단일 데코레이터는 모든 LLM 호출, 도구 호출, 비용, 타이밍 및 오류를 캡처합니다.
5) 에이전트 정상 실행: 평소처럼 에이전트를 실행하세요. Retrace는 OpenAI, Anthropic 및 Gemini에 대한 호출을 자동으로 캡처하고 도구 호출 및 실패를 추적 타임라인의 스팬으로 기록합니다.
6) 추적 실시간 스트림 보기 (선택 사항 CLI tail): CLI를 사용하여 실시간 추적을 확인하세요 (사이트 예시: `retrace traces tail`). 의도 분류, 컨텍스트 가져오기, 응답 생성과 같은 단계를 타이밍 및 비용과 함께 볼 수 있습니다.
7) 대시보드에서 추적 검사: Retrace UI를 열어 타임라인을 스크럽하고, 스팬을 열고, 모델/도구 호출의 전체 시퀀스를 확인하세요. 이는 실행이 실제로 잘못된 지점을 찾는 데 도움이 됩니다 (종종 최종 오류보다 더 일찍 발생합니다).
8) 실패한 실행 재생: 기록된 추적을 다시 실행하여 정확한 동작을 재현하세요. Retrace는 프로덕션 실패가 영구적인 회귀 테스트가 되어 다시 실행할 수 있도록 설계되었습니다.
9) 정확한 실패 스팬에서 포크: 실행이 분기되거나 실패한 스팬을 선택한 다음 해당 지점에서 분기할 포크를 생성하세요 (예시 명령: `retrace forks create --trace <id> --span <id> --input "..."`).
10) 손상된 단계 (프롬프트/도구 입력/모델) 편집 및 캐스케이드 재생: 포크에서 실패의 원인을 변경한 다음 (예: 프롬프트 조정, 도구 입력 수정 또는 모델 교체), 포크를 재생하세요 (예: `retrace forks replay <id> --wait`). Retrace는 포크 지점부터 캐스케이드 재생하여 다운스트림 단계에서 업데이트된 컨텍스트를 사용하도록 합니다.
11) 판정으로 수정 증명: 수정된 포크를 원래 실패한 실행과 비교하고 판정 (예: `retrace traces verify-fix <id>`)을 얻기 위해 내장된 검증을 실행하세요. 이는 개선됨/회귀됨/변경 없음으로 보고됩니다 (사이트 예시에서는 'fix verified'로 표시됨).
12) 런타임 가드레일 추가 (권장): 예산을 초과하거나, 너무 오래 루프를 돌거나, 컨텍스트가 넘치거나, 지연 시간 제한을 초과하는 실행을 중단하도록 가드레일/회로 차단기를 구성하세요. Retrace는 비용이 발생하거나 잘못된 작업이 트리거되기 전에 폭주하는 동작을 중지하기 위해 HALT를 발행할 수 있습니다.
13) 감지 신호 활성화 (권장): Retrace의 감지 기능을 사용하여 근거 부족, 드리프트, 실패 클러스터 및 MAST 실패 유형을 자동으로 플래그 지정하여 실행이 실패한 이유를 알 수 있도록 합니다 (단순히 실패했다는 사실뿐만 아니라).
14) (선택 사항) 서버 측 재생 및 평가 게이트를 위한 모델 공급자 키 추가: Retrace 대시보드 설정에서 공급자 키를 추가하세요 (사이트에서는 평가 게이트 + 재생을 위해 Google/Gemini를 강조합니다). Retrace는 저장 시 키를 검증하고, 저장 시 암호화하며, 마지막 4자만 표시하고, 재생/평가 토큰이 공급자 계정에 청구되도록 사용합니다.
15) 회귀 테스트를 위한 평가 및 데이터 세트 생성: 기록된 실행에 대해 에이전트 동작을 평가하고 기준선('골든') 동작과 비교할 수 있도록 평가 (및 선택적으로 데이터 세트 및 자동 평가 규칙)를 설정하세요.
16) CI에서 Eval Gate로 PR 게이트: 동작이 회귀할 때 빌드가 실패하도록 Retrace의 평가 게이트를 실행하는 CI 단계를 추가하세요. 사이트의 GitHub Actions 단계 예시: `retrace eval gate --evaluation $EVAL_ID --trace $TRACE_ID --threshold 0.8` (비밀에 `RETRACE_API_KEY` 포함); 이 명령은 실패 시 코드 1로 종료됩니다.
17) 폐쇄 루프 워크플로우를 사용하여 반복: 안정성 루프를 반복하세요: 실제 실패 기록 → 재생 → 실패 단계에서 포크 → 수정 → 수정 증명 → 평가 게이트에 추가하여 동일한 회귀가 다시 배포되기 어렵게 만듭니다.
Retrace 자주 묻는 질문
Retrace는 AI 에이전트용 실행 재생 엔진으로, 모든 LLM 호출, 도구 호출 및 오류를 기록하여 실행을 재생하고, 실패한 단계에서 포크하고, 출시 전에 수정 사항을 확인할 수 있습니다.
Retrace와(과) 유사한 최신 AI 도구
Hapticlabs
Hapticlabs는 디자이너, 개발자 및 연구자가 코딩 없이 장치 간 몰입형 촉각 상호작용을 쉽게 설계, 프로토타입 및 배포할 수 있도록 하는 코드 없는 툴킷입니다
Deployo.ai
Deployo.ai는 내장된 윤리적 AI 프레임워크와 크로스 클라우드 호환성을 통해 원활한 모델 배포, 모니터링 및 확장을 가능하게 하는 포괄적인 AI 배포 플랫폼입니다.
CloudSoul
CloudSoul은 사용자가 자연어 대화를 통해 클라우드 인프라를 즉시 배포하고 관리할 수 있도록 하는 AI 기반 SaaS 플랫폼으로, AWS 리소스 관리의 접근성과 효율성을 높입니다.
Devozy.ai
Devozy.ai는 Agile 프로젝트 관리, DevSecOps, 멀티 클라우드 인프라 관리 및 IT 서비스 관리를 통합하여 소프트웨어 배포를 가속화하는 AI 기반 개발자 셀프 서비스 플랫폼입니다.
Retrace와(과) 유사한 인기 AI 도구
A2A Protocol
A2A(Agent2Agent) 프로토콜은 Google에서 개발한 개방형 상호 운용성 프로토콜로, 기본 아키텍처에 관계없이 서로 다른 프레임워크와 공급업체의 AI 에이전트 간의 원활한 통신 및 협업을 가능하게 합니다.
VoltOps
VoltOps는 프레임워크에 구애받지 않는 LLM 관찰 가능성 플랫폼으로, 모든 기술 스택에서 AI 에이전트를 위한 실시간 시각적 모니터링, 디버깅 및 최적화 도구를 제공합니다.
Chaterm
Chaterm은 엔지니어가 자연어를 통해 복잡한 인프라를 관리하고 명령어를 암기하지 않고도 배포, 문제 해결 및 운영을 자동화할 수 있도록 지원하는 오픈 소스 AI 기반 터미널 및 SRE 코파일럿입니다.
Open Browser Use
Open Browser Use는 Chrome 확장 프로그램을 CLI/SDK/MCP와 결합하여 다양한 AI 에이전트 도구에서 DOM 인식, CDP 기반 탭 제어, 탐색 및 작업을 가능하게 하는 오픈 소스, 에이전트 런타임 중립 브라우저 자동화 계층입니다.