Progress AI Observability

Progress AI Observability

WebsiteFree
Progress AI Observability è una piattaforma di osservabilità basata su cloud per agenti AI di produzione che fornisce tracciamento end-to-end, debug rapido, analisi di costi/token e valutazioni di qualità attraverso flussi di lavoro multi-step in .NET, Python e JavaScript.
Visita il Sito Web
Pubblicizza Questo Strumento
https://www.telerik.com/ai-observability-platform?ref=producthunt&utm_source=aipure
Progress AI Observability

Informazioni sul Prodotto

Aggiornato:Aug 14, 2026

Cos'è Progress AI Observability

Progress AI Observability (Progress AI Observability Platform) è una piattaforma di osservabilità specifica per l'IA, creata per fornire ai team una visibilità approfondita su come gli agenti AI e le applicazioni LLM si comportano in ambienti reali, in modo da poter eseguire il debug più velocemente, ottimizzare l'affidabilità, controllare la spesa e fidarsi degli output in produzione. A differenza del monitoraggio tradizionale che si concentra su metriche e log dell'infrastruttura, cattura i percorsi di esecuzione degli agenti attraverso prompt, chiamate di modello, passaggi di recupero (RAG) e utilizzo di strumenti, quindi collega tali dati di traccia a prestazioni (latenza), utilizzo (token), costo stimato e segnali di qualità (valutazioni). È progettato per integrare gli stack di monitoraggio/logging esistenti, integrarsi con i framework di agenti comuni e i provider LLM e supportare le esigenze aziendali come audit trail, redazione PII, SSO e opzioni di residenza dei dati.

Caratteristiche principali di Progress AI Observability

Progress AI Observability è una piattaforma di osservabilità creata appositamente per le applicazioni LLM e i flussi di lavoro degli agenti AI, fornendo tracciabilità end-to-end su prompt, chiamate di modello, recupero e utilizzo degli strumenti, in modo che i team possano eseguire il debug dei fallimenti, controllare la latenza e i costi basati sui token, e valutare la qualità dell'output nel tempo. Offre supporto .NET nativo con integrazione Semantic Kernel di prima classe, funziona su .NET/Python/JavaScript e i principali fornitori di modelli (ad esempio, Azure OpenAI, OpenAI, Anthropic), e include funzionalità di governance di livello enterprise come audit trail, redazione PII e opzioni di residenza dei dati. La piattaforma è progettata per essere leggera e asincrona, completando gli stack di monitoraggio/logging esistenti aggiungendo visibilità specifica per l'AI anziché sostituirli.
Tracciamento end-to-end degli agenti: Cattura percorsi di esecuzione completi su prompt, chiamate di modello, passaggi di recupero, chiamate a strumenti, tentativi, sessioni, latenza, utilizzo dei token e output, rendendo comprensibili i flussi di lavoro multi-passo e multi-agente in produzione.
Flussi di lavoro di debug specifici per l'AI: Aiuta a individuare fallimenti non ovvi (ad esempio, strumenti saltati, contesto di recupero errato, cicli/tentativi, errori a cascata degli strumenti) utilizzando il contesto a livello di traccia anziché affidarsi a log di applicazioni generici.
Analisi dei costi e dei token con attribuzione: Traccia i token di input/output e il costo stimato di LLM, attribuendo la spesa per modello, fornitore, agente, app/team e schemi di flusso di lavoro in modo che i team possano identificare e ridurre lo spreco di token prima che i costi aumentino.
Ciclo di valutazione della qualità (LLM-as-a-judge): Esegue valutazioni su tracce di produzione acquisite per valutare la qualità della risposta, l'utilità e l'allineamento alle policy; supporta il confronto delle modifiche a prompt/modello/flusso di lavoro e la costruzione della copertura di valutazione nel tempo.
Integrazioni compatibili con l'ecosistema Microsoft: Fornisce supporto e strumentazione .NET nativi, integrazione Semantic Kernel di prima classe e supporta Microsoft.Extensions.AI e Microsoft AI Foundry, adattandosi naturalmente ai team incentrati su Microsoft.
Controlli di governance e conformità aziendale: Include funzionalità come audit trail, redazione PII, supporto SSO (Okta, Azure AD, SAML) e opzioni di residenza/conservazione dei dati per aiutare i team governati a operare in sicurezza l'AI in produzione.

Casi d'uso di Progress AI Observability

Affidabilità dell'agente di supporto clienti (SaaS/tecnologia): Traccia il motivo per cui un copilota di supporto ha prodotto una risposta inutile o errata ispezionando il contesto di recupero, le chiamate agli strumenti (CRM/ticketing) e le modifiche a prompt/modello; riduci le escalation e migliora la qualità della risoluzione.
Copiloti aziendali regolamentati (finanza/sanità): Utilizza audit trail, controlli di conservazione e redazione PII per supportare i requisiti di conformità monitorando il comportamento dell'agente per output non sicuri o che violano le policy e indagando rapidamente sugli incidenti.
Assistenti di conoscenza RAG (abilitazione interna): Diagnostica i problemi di recupero (fonti errate, contesto obsoleto, citazioni mancanti) e misura la qualità con valutazioni legate alle tracce di produzione per migliorare la messa a terra e ridurre le allucinazioni.
Governance dei costi per funzionalità LLM ad alto volume (app consumer): Attribuisci la spesa e l'utilizzo dei token per funzionalità/flusso di lavoro e identifica schemi costosi come prompt lunghi, chiamate ripetute, tentativi o cicli di agenti; ottimizza la scelta del modello e la progettazione del flusso di lavoro per controllare le bollette.
Indagine sugli incidenti di produzione per i flussi di lavoro degli agenti (team di piattaforma): Correlare i picchi di latenza e i fallimenti a span specifici (ad esempio, recupero lento, chiamate a strumenti fallite, endpoint di modello sovraccarichi) e utilizzare le prove di traccia per accelerare l'analisi della causa radice e la risoluzione.
Sviluppo di agenti .NET + Semantic Kernel (team Microsoft): Strumenta rapidamente gli agenti con l'SDK .NET per acquisire tracce localmente e in produzione, confrontare le iterazioni di prompt/modello e creare un ciclo di rilascio ripetibile dal debug e dalla valutazione basati sull'evidenza.

Vantaggi

Costruito appositamente per i flussi di lavoro LLM/agenti (prompt, recupero, strumenti, sessioni), non solo per il monitoraggio tradizionale delle app o l'osservabilità ML classica.
Ottima compatibilità per i team Microsoft/.NET con supporto .NET nativo e integrazione Semantic Kernel, oltre a un'ampia compatibilità con fornitori/framework.
Collega le prove di traccia sia ai costi (utilizzo dei token) che alla qualità (valutazioni), consentendo un miglioramento continuo piuttosto che un debug una tantum.
Controlli pronti per l'azienda (SSO, audit trail, redazione PII, residenza/conservazione dei dati) per implementazioni governate.

Svantaggi

Focalizzato su app LLM e flussi di lavoro di agenti piuttosto che sulle tradizionali esigenze di osservabilità ML come la deriva delle funzionalità e la qualità delle previsioni per i modelli ML addestrati.
Il valore dipende dalla strumentazione e dall'acquisizione delle tracce; i team devono integrare gli SDK e gestire quali dati vengono raccolti (specialmente per prompt/output sensibili).
La conservazione e i prezzi/unità basati sul volume potrebbero richiedere una pianificazione per gli agenti ad alto traffico per evitare una crescita inaspettata dell'utilizzo.
Come livello specializzato, completa piuttosto che sostituisce gli stack di osservabilità esistenti, il che può aggiungere un altro strumento da gestire.

Come usare Progress AI Observability

1) Crea un account e ottieni l'accesso: Vai alla pagina della piattaforma Progress AI Observability e clicca su "Inizia gratis" (non è richiesta la carta di credito). Nell'applicazione web di Observability, crea/accedi al tuo spazio di lavoro e ottieni i valori necessari per l'instrumentazione: una chiave API e un nome dell'app.
2) Aggiungi l'SDK .NET alla tua applicazione: Nel tuo progetto .NET, installa il pacchetto di strumentazione Progress AI Observability: dotnet add package Progress.Observability.Instrumentation
3) Configura le credenziali tramite variabili d'ambiente: Imposta le variabili d'ambiente utilizzate dall'SDK: - OBSERVABILITY_APP_NAME: il nome della tua applicazione in Progress AI Observability - OBSERVABILITY_API_KEY: la tua chiave API Questo mantiene i segreti fuori dal codice sorgente e facilita il passaggio tra ambienti locali/dev/prod.
4) Strumenta il tuo client LLM/agente (modifica minima del codice): Avvolgi o estendi il tuo client chat/LLM con l'osservabilità in modo che le tracce vengano acquisite automaticamente. Esempio dalla pagina ufficiale: chatClient = chatClient.AddObservability(options => { options.AppName = Environment.GetEnvironmentVariable("OBSERVABILITY_APP_NAME")!; options.ApiKey = Environment.GetEnvironmentVariable("OBSERVABILITY_API_KEY")!; });
5) Esegui il tuo agente localmente e genera una traccia: Esegui una normale esecuzione dell'agente (prompt → recupero/chiamate di strumenti → risposta del modello). La piattaforma è progettata per essere leggera e asincrona, quindi la strumentazione non dovrebbe influire in modo significativo sulla latenza percepita dall'utente. Dopo il completamento di un'esecuzione, una traccia dovrebbe essere disponibile nella dashboard.
6) Apri Trace Explorer per vedere il percorso di esecuzione completo: Nell'interfaccia utente di Progress AI Observability, apri la vista delle tracce (Trace Explorer). Ispeziona il flusso di lavoro end-to-end attraverso prompt, chiamate di modello, passaggi di recupero, chiamate di strumenti, output, latenza e utilizzo dei token. Usalo per capire cosa ha effettivamente fatto il tuo agente attraverso flussi multi-step o multi-agente.
7) Debugga i fallimenti usando il contesto a livello di traccia: Usa le viste di debug per individuare dove il comportamento si è interrotto. Cerca schemi come strumenti saltati, problemi di recupero/contesto errato, cicli, tentativi, errori, fallimenti degli strumenti e picchi di latenza. Questo è particolarmente utile quando l'agente restituisce una risposta "riuscita" che è comunque sbagliata o infondata.
8) Analizza l'utilizzo dei token e il costo stimato collegato alle tracce: Apri le viste di analisi dei costi/attribuzione dei costi per vedere il costo stimato, i token di input/output e il costo per modello/provider/agente/flusso di lavoro. Usa il contesto della traccia per identificare quali comportamenti di runtime stanno guidando la spesa (ad es. prompt lunghi, chiamate ripetute, tentativi, recupero inefficiente, cicli dell'agente).
9) Valuta la qualità dell'output con le valutazioni LLM-as-a-Judge: Esegui valutazioni sulle tracce acquisite per assegnare un punteggio a qualità, utilità, fondatezza, sicurezza/allineamento delle policy, ecc. Usa i modelli di valutatore integrati (o personalizza i tuoi) per definire le istruzioni del giudice e i criteri di punteggio. Rivedi i punteggi delle valutazioni, i verdetti del giudice e le tendenze di qualità nelle schede di valutazione.
10) Confronta le modifiche (prompt/modello/flusso di lavoro) utilizzando dati di esecuzione reali: Usa i confronti prima/dopo della piattaforma per convalidare le modifiche prima del rilascio. Confronta le tracce e i risultati delle valutazioni fianco a fianco quando modifichi prompt, modelli, impostazioni di recupero o logica di strumenti/flusso di lavoro per confermare miglioramenti in qualità, latenza e costo.
11) Costruisci controlli di regressione e set di dati da prove di produzione: Usa le tracce osservate e i punteggi di valutazione bassi per curare i set di dati di valutazione e creare controlli di regressione ripetibili. Questo trasforma i fallimenti di produzione in casi di test in modo da poter prevenire incidenti ripetuti e migliorare continuamente prompt, modelli, recupero, strumenti e flussi di lavoro.
12) Distribuisci in produzione con lo stesso flusso di lavoro: Mantieni la stessa strumentazione in produzione per indagare sugli incidenti e monitorare il comportamento reale dell'agente. La piattaforma è intesa a integrare (non sostituire) il tuo stack di monitoraggio/logging esistente aggiungendo visibilità specifica per l'IA su prompt, utilizzo di strumenti, recupero, output, latenza e utilizzo dei token.
13) (Opzionale) Integra con il tuo stack esistente e i controlli aziendali: Se necessario, allineati ai requisiti aziendali come audit trail, redazione PII, residenza dei dati, conservazione e SSO (ad es. Azure AD/Okta/SAML). Usa questi controlli per scalare le applicazioni AI governate mantenendo la cronologia delle tracce e la supervisione operativa.

FAQ di Progress AI Observability

Progress AI Observability Platform è un prodotto di osservabilità per agenti AI di produzione, app LLM, sistemi RAG e copiloti che aiuta i team a tracciare i flussi di lavoro end-to-end, eseguire il debug dei guasti, controllare la spesa di token/costo e valutare la qualità dell'output utilizzando dati di esecuzione reali.