Progress AI Observability
WebsiteFree
Progress AI Observability는 .NET, Python 및 JavaScript에서 다단계 워크플로우 전반에 걸쳐 엔드투엔드 추적, 빠른 디버깅, 비용/토큰 분석 및 품질 평가를 제공하는 프로덕션 AI 에이전트용 클라우드 기반 관찰 플랫폼입니다.
https://www.telerik.com/ai-observability-platform?ref=producthunt&utm_source=aipure
제품 정보
업데이트됨:Aug 14, 2026
Progress AI Observability이란?
Progress AI Observability(Progress AI Observability Platform)는 AI 에이전트 및 LLM 애플리케이션이 실제 환경에서 어떻게 작동하는지에 대한 심층적인 가시성을 팀에 제공하도록 구축된 AI 전용 관찰 플랫폼입니다. 이를 통해 더 빠르게 디버깅하고, 안정성을 최적화하고, 지출을 제어하며, 프로덕션에서 출력을 신뢰할 수 있습니다. 인프라 메트릭 및 로그에 중점을 둔 기존 모니터링과 달리, 프롬프트, 모델 호출, 검색 단계(RAG) 및 도구 사용 전반에 걸쳐 에이전트 실행 경로를 캡처한 다음 해당 추적 데이터를 성능(대기 시간), 사용량(토큰), 예상 비용 및 품질 신호(평가)에 연결합니다. 기존 모니터링/로깅 스택을 보완하고, 일반적인 에이전트 프레임워크 및 LLM 제공업체와 통합되며, 감사 추적, PII 수정, SSO 및 데이터 상주 옵션과 같은 엔터프라이즈 요구 사항을 지원하도록 설계되었습니다.
Progress AI Observability의 주요 기능
Progress AI Observability는 LLM 애플리케이션 및 AI 에이전트 워크플로우를 위해 특별히 제작된 관찰 플랫폼으로, 프롬프트, 모델 호출, 검색 및 도구 사용 전반에 걸쳐 엔드투엔드 추적을 제공하여 팀이 오류를 디버그하고, 지연 시간 및 토큰 기반 비용을 제어하며, 시간 경과에 따른 출력 품질을 평가할 수 있도록 합니다. 이 플랫폼은 최고 수준의 Semantic Kernel 통합을 통해 기본 .NET 지원을 제공하며, .NET/Python/JavaScript 및 주요 모델 공급자(예: Azure OpenAI, OpenAI, Anthropic) 전반에서 작동하고, 감사 추적, PII 수정 및 데이터 상주 옵션과 같은 엔터프라이즈급 거버넌스 기능을 포함합니다. 이 플랫폼은 기존 모니터링/로깅 스택을 대체하기보다는 AI 관련 가시성을 추가하여 보완하도록 설계된 경량 비동기식입니다.
엔드투엔드 에이전트 추적: 프롬프트, 모델 호출, 검색 단계, 도구 호출, 재시도, 세션, 지연 시간, 토큰 사용량 및 출력 전반에 걸쳐 전체 실행 경로를 캡처하여 다단계 및 다중 에이전트 워크플로우를 프로덕션에서 이해할 수 있도록 합니다.
AI 특정 디버깅 워크플로우: 일반적인 애플리케이션 로그에 의존하는 대신 추적 수준 컨텍스트를 사용하여 명확하지 않은 실패(예: 건너뛴 도구, 잘못된 검색 컨텍스트, 루프/재시도, 연쇄적인 도구 오류)를 정확히 찾아내는 데 도움이 됩니다.
속성 기반 비용 및 토큰 분석: 입력/출력 토큰 및 예상 LLM 비용을 추적하고, 모델, 공급자, 에이전트, 앱/팀 및 워크플로우 패턴별로 지출을 할당하여 팀이 비용이 증가하기 전에 토큰 낭비를 식별하고 줄일 수 있도록 합니다.
품질 평가 루프 (LLM-as-a-judge): 캡처된 프로덕션 추적에 대한 평가를 실행하여 응답 품질, 유용성 및 정책 준수 여부를 평가합니다. 프롬프트/모델/워크플로우 변경 사항을 비교하고 시간 경과에 따른 평가 범위를 구축하는 것을 지원합니다.
Microsoft 에코시스템 친화적인 통합: 기본 .NET 지원 및 계측, 최고 수준의 Semantic Kernel 통합을 제공하며, Microsoft.Extensions.AI 및 Microsoft AI Foundry를 지원하여 Microsoft 중심 팀에 자연스럽게 통합됩니다.
엔터프라이즈 거버넌스 및 규정 준수 제어: 감사 추적, PII 수정, SSO 지원(Okta, Azure AD, SAML) 및 데이터 상주/보존 옵션과 같은 기능을 포함하여 관리되는 팀이 프로덕션 AI를 안전하게 운영할 수 있도록 돕습니다.
Progress AI Observability의 사용 사례
고객 지원 에이전트 신뢰성 (SaaS/기술): 검색 컨텍스트, 도구 호출(CRM/티켓팅) 및 프롬프트/모델 변경 사항을 검사하여 지원 코파일럿이 도움이 되지 않거나 잘못된 답변을 생성한 이유를 추적하고, 에스컬레이션을 줄이고 해결 품질을 향상시킵니다.
규제 대상 엔터프라이즈 코파일럿 (금융/의료): 감사 추적, 보존 제어 및 PII 수정을 사용하여 규정 준수 요구 사항을 지원하는 동시에 에이전트 동작에서 안전하지 않거나 정책을 위반하는 출력을 모니터링하고 인시던트를 신속하게 조사합니다.
RAG 지식 도우미 (내부 활성화): 검색 문제(잘못된 소스, 오래된 컨텍스트, 누락된 인용)를 진단하고 프로덕션 추적과 연결된 평가를 통해 품질을 측정하여 기반을 개선하고 환각을 줄입니다.
고용량 LLM 기능에 대한 비용 거버넌스 (소비자 앱): 기능/워크플로우별로 지출 및 토큰 사용량을 할당하고 긴 프롬프트, 반복 호출, 재시도 또는 에이전트 루프와 같은 비용이 많이 드는 패턴을 식별합니다. 비용을 제어하기 위해 모델 선택 및 워크플로우 설계를 최적화합니다.
에이전트 워크플로우에 대한 프로덕션 인시던트 조사 (플랫폼 팀): 지연 시간 급증 및 실패를 특정 스팬(예: 느린 검색, 실패하는 도구 호출, 과부하된 모델 엔드포인트)과 연관시키고 추적 증거를 사용하여 근본 원인 분석 및 해결을 가속화합니다.
.NET + Semantic Kernel 에이전트 개발 (Microsoft 팀): .NET SDK를 사용하여 에이전트를 신속하게 계측하여 로컬 및 프로덕션에서 추적을 캡처하고, 프롬프트/모델 반복을 비교하며, 증거 기반 디버깅 및 평가를 통해 반복 가능한 릴리스 루프를 생성합니다.
장점
기존 앱 모니터링 또는 고전적인 ML 관찰성이 아닌 LLM/에이전트 워크플로우(프롬프트, 검색, 도구, 세션)를 위해 특별히 제작되었습니다.
기본 .NET 지원 및 Semantic Kernel 통합과 광범위한 공급자/프레임워크 호환성을 통해 Microsoft/.NET 팀에 강력하게 적합합니다.
추적 증거를 비용(토큰 사용량) 및 품질(평가) 모두에 연결하여 일회성 디버깅이 아닌 지속적인 개선을 가능하게 합니다.
관리되는 배포를 위한 엔터프라이즈 준비 제어(SSO, 감사 추적, PII 수정, 데이터 상주/보존).
단점
훈련된 ML 모델의 기능 드리프트 및 예측 품질과 같은 기존 ML 관찰성 요구 사항보다는 LLM 앱 및 에이전트 워크플로우에 중점을 둡니다.
가치는 계측 및 추적 캡처에 따라 달라집니다. 팀은 SDK를 통합하고 어떤 데이터가 수집되는지(특히 민감한 프롬프트/출력의 경우) 관리해야 합니다.
보존 및 볼륨 기반 가격/단위는 예상치 못한 사용량 증가를 피하기 위해 고트래픽 에이전트에 대한 계획을 필요로 할 수 있습니다.
전문 계층으로서 기존 관찰성 스택을 대체하기보다는 보완하며, 이는 운영할 도구를 하나 더 추가할 수 있습니다.
Progress AI Observability 사용 방법
1) 계정을 생성하고 액세스 권한을 얻으세요: Progress AI Observability Platform 페이지로 이동하여 “무료 시작”을 클릭하세요(신용 카드 필요 없음). Observability 웹 앱에서 작업 공간을 생성/로그인하고 계측에 필요한 값(API 키 및 앱 이름)을 얻으세요.
2) .NET SDK를 애플리케이션에 추가하세요: .NET 프로젝트에서 Progress AI Observability 계측 패키지를 설치하세요:
dotnet add package Progress.Observability.Instrumentation
3) 환경 변수를 통해 자격 증명을 구성하세요: SDK에서 사용하는 환경 변수를 설정하세요:
- OBSERVABILITY_APP_NAME: Progress AI Observability의 애플리케이션 이름
- OBSERVABILITY_API_KEY: API 키
이렇게 하면 소스 코드에서 비밀이 제거되고 로컬/개발/프로덕션 환경 간에 쉽게 전환할 수 있습니다.
4) LLM/에이전트 클라이언트를 계측하세요 (최소한의 코드 변경): 추적이 자동으로 캡처되도록 채팅/LLM 클라이언트를 관찰 기능으로 래핑하거나 확장하세요. 공식 페이지의 예시:
chatClient = chatClient.AddObservability(options =>
{
options.AppName = Environment.GetEnvironmentVariable("OBSERVABILITY_APP_NAME")!;
options.ApiKey = Environment.GetEnvironmentVariable("OBSERVABILITY_API_KEY")!;
});
5) 에이전트를 로컬에서 실행하고 추적을 생성하세요: 정상적인 에이전트 실행(프롬프트 → 검색/도구 호출 → 모델 응답)을 수행하세요. 플랫폼은 경량 비동기식으로 설계되었으므로 계측이 사용자에게 보이는 대기 시간에 의미 있는 영향을 미치지 않아야 합니다. 실행이 완료되면 대시보드에서 추적을 사용할 수 있어야 합니다.
6) Trace Explorer를 열어 전체 실행 경로를 확인하세요: Progress AI Observability UI에서 추적 보기(Trace Explorer)를 여세요. 프롬프트, 모델 호출, 검색 단계, 도구 호출, 출력, 대기 시간 및 토큰 사용량 전반에 걸친 엔드투엔드 워크플로우를 검사하세요. 이를 사용하여 다단계 또는 다중 에이전트 흐름에서 에이전트가 실제로 무엇을 했는지 이해하세요.
7) 추적 수준 컨텍스트를 사용하여 오류를 디버깅하세요: 디버깅 보기를 사용하여 동작이 중단된 지점을 정확히 찾아내세요. 건너뛴 도구, 검색 문제/잘못된 컨텍스트, 루프, 재시도, 오류, 도구 오류 및 대기 시간 급증과 같은 패턴을 찾으세요. 이는 에이전트가 여전히 잘못되었거나 근거 없는 “성공적인” 응답을 반환할 때 특히 유용합니다.
8) 추적에 연결된 토큰 사용량 및 예상 비용을 분석하세요: 비용 분석/비용 할당 보기를 열어 예상 비용, 입력/출력 토큰, 모델/제공업체/에이전트/워크플로우별 비용을 확인하세요. 추적 컨텍스트를 사용하여 어떤 런타임 동작이 지출을 유발하는지 식별하세요(예: 긴 프롬프트, 반복 호출, 재시도, 비효율적인 검색, 에이전트 루프).
9) LLM-as-a-Judge 평가로 출력 품질을 평가하세요: 캡처된 추적에 대해 평가를 실행하여 품질, 유용성, 근거, 안전/정책 준수 등을 평가하세요. 내장된 평가자 템플릿(또는 사용자 지정)을 사용하여 심사자 지침 및 채점 기준을 정의하세요. 점수표에서 평가 점수, 심사자 판결 및 품질 추세를 검토하세요.
10) 실제 실행 데이터를 사용하여 변경 사항(프롬프트/모델/워크플로우)을 비교하세요: 플랫폼의 변경 전/후 비교를 사용하여 릴리스 전에 변경 사항을 검증하세요. 프롬프트, 모델, 검색 설정 또는 도구/워크플로우 로직을 변경할 때 추적 및 평가 결과를 나란히 비교하여 품질, 대기 시간 및 비용 개선을 확인하세요.
11) 프로덕션 증거에서 회귀 검사 및 데이터 세트를 구축하세요: 관찰된 추적 및 낮은 평가 점수를 사용하여 평가 데이터 세트를 큐레이션하고 반복 가능한 회귀 검사를 생성하세요. 이는 프로덕션 오류를 테스트 케이스로 전환하여 반복적인 사고를 방지하고 프롬프트, 모델, 검색, 도구 및 워크플로우를 지속적으로 개선할 수 있도록 합니다.
12) 동일한 워크플로우로 프로덕션에 배포하세요: 사고를 조사하고 실제 에이전트 동작을 모니터링하기 위해 프로덕션에서 동일한 계측을 유지하세요. 이 플랫폼은 프롬프트, 도구 사용, 검색, 출력, 대기 시간 및 토큰 사용량에 대한 AI별 가시성을 추가하여 기존 모니터링/로깅 스택을 보완(대체 아님)하기 위한 것입니다.
13) (선택 사항) 기존 스택 및 엔터프라이즈 제어와 통합하세요: 필요한 경우 감사 추적, PII 수정, 데이터 상주, 보존 및 SSO(예: Azure AD/Okta/SAML)와 같은 엔터프라이즈 요구 사항에 맞추세요. 이러한 제어를 사용하여 추적 기록 및 운영 감독을 유지하면서 관리되는 AI 애플리케이션을 확장하세요.
Progress AI Observability 자주 묻는 질문
Progress AI Observability Platform은 프로덕션 AI 에이전트, LLM 앱, RAG 시스템 및 코파일럿을 위한 관찰 가능성 제품으로, 팀이 워크플로우를 엔드투엔드로 추적하고, 실패를 디버그하고, 토큰/비용 지출을 제어하며, 실제 실행 데이터를 사용하여 출력 품질을 평가하는 데 도움을 줍니다.
