Progress AI Observability

Progress AI Observability

WebsiteFree
Progress AI Observability é uma plataforma de observabilidade baseada em nuvem para agentes de IA de produção que fornece rastreamento de ponta a ponta, depuração rápida, análise de custo/token e avaliações de qualidade em fluxos de trabalho de várias etapas em .NET, Python e JavaScript.
Visitar Site
Anunciar Esta Ferramenta
https://www.telerik.com/ai-observability-platform?ref=producthunt&utm_source=aipure
Progress AI Observability

Informações do Produto

Atualizado:Aug 14, 2026

O que é Progress AI Observability

Progress AI Observability (Plataforma de Observabilidade Progress AI) é uma plataforma de observabilidade específica para IA, construída para dar às equipes visibilidade profunda de como os agentes de IA e os aplicativos LLM se comportam em ambientes reais – para que possam depurar mais rapidamente, otimizar a confiabilidade, controlar gastos e confiar nas saídas em produção. Ao contrário do monitoramento tradicional que se concentra em métricas e logs de infraestrutura, ele captura caminhos de execução de agentes em prompts, chamadas de modelo, etapas de recuperação (RAG) e uso de ferramentas, e então conecta esses dados de rastreamento ao desempenho (latência), uso (tokens), custo estimado e sinais de qualidade (avaliações). Ele foi projetado para complementar pilhas de monitoramento/registro existentes, integrar-se com estruturas de agentes comuns e provedores de LLM, e suportar necessidades empresariais como trilhas de auditoria, redação de PII, SSO e opções de residência de dados.

Principais Recursos do Progress AI Observability

Progress AI Observability é uma plataforma de observabilidade desenvolvida especificamente para aplicações LLM e fluxos de trabalho de agentes de IA, fornecendo rastreamento de ponta a ponta em prompts, chamadas de modelo, recuperação e uso de ferramentas, para que as equipes possam depurar falhas, controlar a latência e os custos impulsionados por tokens, e avaliar a qualidade da saída ao longo do tempo. Oferece suporte nativo a .NET com integração de primeira classe com o Semantic Kernel, funciona em .NET/Python/JavaScript e nos principais provedores de modelos (por exemplo, Azure OpenAI, OpenAI, Anthropic), e inclui recursos de governança de nível empresarial, como trilhas de auditoria, redação de PII e opções de residência de dados. A plataforma é projetada para ser leve e assíncrona, complementando as pilhas de monitoramento/registro existentes, adicionando visibilidade específica de IA em vez de substituí-las.
Rastreamento de agente de ponta a ponta: Captura caminhos de execução completos em prompts, chamadas de modelo, etapas de recuperação, chamadas de ferramentas, novas tentativas, sessões, latência, uso de tokens e saídas – tornando os fluxos de trabalho de várias etapas e multiagentes compreensíveis em produção.
Fluxos de trabalho de depuração específicos de IA: Ajuda a identificar falhas não óbvias (por exemplo, ferramentas ignoradas, contexto de recuperação incorreto, loops/novas tentativas, erros de ferramentas em cascata) usando contexto de nível de rastreamento em vez de depender de logs de aplicativos genéricos.
Análise de custo e token com atribuição: Rastreia tokens de entrada/saída e custo estimado de LLM, atribuindo gastos por modelo, provedor, agente, aplicativo/equipe e padrões de fluxo de trabalho para que as equipes possam identificar e reduzir o desperdício de tokens antes que os custos aumentem.
Ciclo de avaliação de qualidade (LLM-as-a-judge): Executa avaliações em rastreamentos de produção capturados para pontuar a qualidade da resposta, utilidade e alinhamento com a política; suporta a comparação de alterações de prompt/modelo/fluxo de trabalho e a construção de cobertura de avaliação ao longo do tempo.
Integrações amigáveis ao ecossistema Microsoft: Fornece suporte e instrumentação .NET nativos, integração de primeira classe com o Semantic Kernel e suporta Microsoft.Extensions.AI e Microsoft AI Foundry – encaixando-se naturalmente em equipes centradas na Microsoft.
Controles de governança e conformidade empresarial: Inclui recursos como trilhas de auditoria, redação de PII, suporte a SSO (Okta, Azure AD, SAML) e opções de residência/retenção de dados para ajudar equipes governadas a operar IA de produção com segurança.

Casos de Uso do Progress AI Observability

Confiabilidade do agente de suporte ao cliente (SaaS/tecnologia): Rastreie por que um copiloto de suporte produziu uma resposta inútil ou incorreta, inspecionando o contexto de recuperação, chamadas de ferramentas (CRM/ticketing) e alterações de prompt/modelo; reduza as escalações e melhore a qualidade da resolução.
Copilotos empresariais regulamentados (finanças/saúde): Use trilhas de auditoria, controles de retenção e redação de PII para apoiar os requisitos de conformidade, enquanto monitora o comportamento do agente para saídas inseguras ou que violam políticas e investiga incidentes rapidamente.
Assistentes de conhecimento RAG (habilitação interna): Diagnostique problemas de recuperação (fontes erradas, contexto desatualizado, citações ausentes) e meça a qualidade com avaliações vinculadas a rastreamentos de produção para melhorar a fundamentação e reduzir alucinações.
Governança de custos para recursos LLM de alto volume (aplicativos de consumo): Atribua gastos e uso de tokens por recurso/fluxo de trabalho e identifique padrões caros, como prompts longos, chamadas repetidas, novas tentativas ou loops de agente; otimize a escolha do modelo e o design do fluxo de trabalho para controlar as contas.
Investigação de incidentes de produção para fluxos de trabalho de agentes (equipes de plataforma): Correlacione picos de latência e falhas a spans específicos (por exemplo, recuperação lenta, chamadas de ferramentas com falha, endpoints de modelo sobrecarregados) e use evidências de rastreamento para acelerar a análise da causa raiz e a remediação.
Desenvolvimento de agentes .NET + Semantic Kernel (equipes Microsoft): Instrumente agentes rapidamente com o SDK .NET para capturar rastreamentos localmente e em produção, comparar iterações de prompt/modelo e criar um ciclo de lançamento repetível a partir de depuração e avaliação baseadas em evidências.

Vantagens

Construído especificamente para fluxos de trabalho LLM/agente (prompts, recuperação, ferramentas, sessões), não apenas monitoramento de aplicativos tradicionais ou observabilidade clássica de ML.
Ótimo ajuste para equipes Microsoft/.NET com suporte nativo a .NET e integração com Semantic Kernel, além de ampla compatibilidade com provedores/frameworks.
Conecta evidências de rastreamento a custos (uso de tokens) e qualidade (avaliações), permitindo melhoria contínua em vez de depuração pontual.
Controles prontos para empresas (SSO, trilhas de auditoria, redação de PII, residência/retenção de dados) para implantações governadas.

Desvantagens

Focado em aplicativos LLM e fluxos de trabalho de agentes, em vez de necessidades tradicionais de observabilidade de ML, como desvio de recursos e qualidade de previsão para modelos de ML treinados.
O valor depende da instrumentação e captura de rastreamento; as equipes devem integrar SDKs e gerenciar quais dados são coletados (especialmente para prompts/saídas sensíveis).
A retenção e o preço/unidades baseados em volume podem exigir planejamento para agentes de alto tráfego para evitar crescimento inesperado de uso.
Como uma camada especializada, complementa em vez de substituir as pilhas de observabilidade existentes, o que pode adicionar outra ferramenta para operar.

Como Usar o Progress AI Observability

1) Crie uma conta e obtenha acesso: Vá para a página da Plataforma de Observabilidade Progress AI e clique em “Começar Grátis” (não é necessário cartão de crédito). No aplicativo web de Observabilidade, crie/faça login em seu espaço de trabalho e obtenha os valores que você precisará para a instrumentação: uma chave de API e um Nome de Aplicativo.
2) Adicione o SDK .NET à sua aplicação: No seu projeto .NET, instale o pacote de instrumentação Progress AI Observability: dotnet add package Progress.Observability.Instrumentation
3) Configure as credenciais via variáveis de ambiente: Defina as variáveis de ambiente usadas pelo SDK: - OBSERVABILITY_APP_NAME: o nome do seu aplicativo no Progress AI Observability - OBSERVABILITY_API_KEY: sua chave de API Isso mantém os segredos fora do código-fonte e facilita a alternância entre ambientes local/desenvolvimento/produção.
4) Instrumente seu cliente LLM/agente (mudança mínima de código): Envolva ou estenda seu cliente de chat/LLM com observabilidade para que os rastreamentos sejam capturados automaticamente. Exemplo da página oficial: chatClient = chatClient.AddObservability(options => { options.AppName = Environment.GetEnvironmentVariable("OBSERVABILITY_APP_NAME")!; options.ApiKey = Environment.GetEnvironmentVariable("OBSERVABILITY_API_KEY")!; });
5) Execute seu agente localmente e gere um rastreamento: Execute uma execução normal do agente (prompt → chamadas de recuperação/ferramenta → resposta do modelo). A plataforma foi projetada para ser leve e assíncrona, portanto, a instrumentação não deve impactar significativamente a latência voltada para o usuário. Após a conclusão de uma execução, um rastreamento deve estar disponível no painel.
6) Abra o Explorador de Rastreamentos para ver o caminho de execução completo: Na UI do Progress AI Observability, abra a visualização de rastreamento (Explorador de Rastreamentos). Inspecione o fluxo de trabalho de ponta a ponta em prompts, chamadas de modelo, etapas de recuperação, chamadas de ferramentas, saídas, latência e uso de tokens. Use isso para entender o que seu agente realmente fez em fluxos de várias etapas ou vários agentes.
7) Depure falhas usando o contexto em nível de rastreamento: Use as visualizações de depuração para identificar onde o comportamento falhou. Procure padrões como ferramentas ignoradas, problemas de recuperação/contexto ruim, loops, tentativas, erros, falhas de ferramentas e picos de latência. Isso é especialmente útil quando o agente retorna uma resposta “bem-sucedida” que ainda está errada ou sem base.
8) Analise o uso de tokens e o custo estimado vinculado aos rastreamentos: Abra as visualizações de análise de custo/atribuição de custo para ver o custo estimado, tokens de entrada/saída e custo por modelo/provedor/agente/fluxo de trabalho. Use o contexto de rastreamento para identificar quais comportamentos de tempo de execução estão impulsionando os gastos (por exemplo, prompts longos, chamadas repetidas, tentativas, recuperação ineficiente, loops de agente).
9) Avalie a qualidade da saída com avaliações LLM-as-a-Judge: Execute avaliações em rastreamentos capturados para pontuar qualidade, utilidade, fundamentação, segurança/alinhamento de políticas, etc. Use modelos de avaliador integrados (ou personalize os seus próprios) para definir instruções do juiz e critérios de pontuação. Revise as pontuações de avaliação, veredictos do juiz e tendências de qualidade em scorecards.
10) Compare as alterações (prompt/modelo/fluxo de trabalho) usando dados de execução reais: Use as comparações antes/depois da plataforma para validar as alterações antes do lançamento. Compare rastreamentos e resultados de avaliação lado a lado ao alterar prompts, modelos, configurações de recuperação ou lógica de ferramenta/fluxo de trabalho para confirmar melhorias na qualidade, latência e custo.
11) Crie verificações de regressão e conjuntos de dados a partir de evidências de produção: Use rastreamentos observados e baixas pontuações de avaliação para curar conjuntos de dados de avaliação e criar verificações de regressão repetíveis. Isso transforma falhas de produção em casos de teste para que você possa evitar incidentes repetidos e melhorar continuamente prompts, modelos, recuperação, ferramentas e fluxos de trabalho.
12) Implante em produção com o mesmo fluxo de trabalho: Mantenha a mesma instrumentação em produção para investigar incidentes e monitorar o comportamento real do agente. A plataforma destina-se a complementar (não substituir) sua pilha de monitoramento/registro existente, adicionando visibilidade específica de IA em prompts, uso de ferramentas, recuperação, saídas, latência e uso de tokens.
13) (Opcional) Integre com sua pilha existente e controles corporativos: Se necessário, alinhe-se com os requisitos corporativos, como trilhas de auditoria, redação de PII, residência de dados, retenção e SSO (por exemplo, Azure AD/Okta/SAML). Use esses controles para escalar aplicativos de IA governados, mantendo o histórico de rastreamento e a supervisão operacional.

Perguntas Frequentes do Progress AI Observability

Progress AI Observability Platform é um produto de observabilidade para agentes de IA em produção, aplicativos LLM, sistemas RAG e copilotos que ajuda as equipes a rastrear fluxos de trabalho de ponta a ponta, depurar falhas, controlar gastos de token/custo e avaliar a qualidade da saída usando dados de execução reais.