Progress AI Observability

Progress AI Observability

WebsiteFree
Progress AI Observability est une plateforme d'observabilité basée sur le cloud pour les agents IA de production qui fournit un traçage de bout en bout, un débogage rapide, des analyses de coûts/jetons et des évaluations de qualité sur des flux de travail multi-étapes en .NET, Python et JavaScript.
Visiter le site web
Promouvoir cet outil
https://www.telerik.com/ai-observability-platform?ref=producthunt&utm_source=aipure
Progress AI Observability

Informations sur le produit

Mis à jour:Aug 14, 2026

Qu'est-ce que Progress AI Observability

Progress AI Observability (Plateforme d'Observabilité IA de Progress) est une plateforme d'observabilité spécifique à l'IA conçue pour donner aux équipes une visibilité approfondie sur la façon dont les agents IA et les applications LLM se comportent dans des environnements réels, afin qu'elles puissent déboguer plus rapidement, optimiser la fiabilité, contrôler les dépenses et faire confiance aux résultats en production. Contrairement à la surveillance traditionnelle qui se concentre sur les métriques et les journaux d'infrastructure, elle capture les chemins d'exécution des agents à travers les invites, les appels de modèle, les étapes de récupération (RAG) et l'utilisation des outils, puis connecte ces données de trace aux performances (latence), à l'utilisation (jetons), au coût estimé et aux signaux de qualité (évaluations). Il est conçu pour compléter les piles de surveillance/journalisation existantes, s'intégrer aux frameworks d'agents et aux fournisseurs LLM courants, et prendre en charge les besoins de l'entreprise tels que les pistes d'audit, la rédaction de PII, le SSO et les options de résidence des données.

Caractéristiques principales de Progress AI Observability

Progress AI Observability est une plateforme d'observabilité conçue spécifiquement pour les applications LLM et les flux de travail des agents IA, offrant un traçage de bout en bout à travers les invites, les appels de modèle, la récupération et l'utilisation d'outils afin que les équipes puissent déboguer les échecs, contrôler la latence et les coûts basés sur les jetons, et évaluer la qualité de la sortie au fil du temps. Elle offre un support .NET natif avec une intégration de première classe de Semantic Kernel, fonctionne sur .NET/Python/JavaScript et les principaux fournisseurs de modèles (par exemple, Azure OpenAI, OpenAI, Anthropic), et inclut des capacités de gouvernance de niveau entreprise telles que les pistes d'audit, la rédaction des informations personnelles identifiables (PII) et les options de résidence des données. La plateforme est conçue pour être légère et asynchrone, complétant les piles de surveillance/journalisation existantes en ajoutant une visibilité spécifique à l'IA plutôt qu'en les remplaçant.
Traçage d'agent de bout en bout: Capture les chemins d'exécution complets à travers les invites, les appels de modèle, les étapes de récupération, les appels d'outils, les tentatives, les sessions, la latence, l'utilisation des jetons et les sorties, rendant les flux de travail multi-étapes et multi-agents compréhensibles en production.
Flux de travail de débogage spécifiques à l'IA: Aide à identifier les échecs non évidents (par exemple, outils ignorés, mauvais contexte de récupération, boucles/tentatives, erreurs d'outils en cascade) en utilisant le contexte au niveau de la trace plutôt que de s'appuyer sur des journaux d'application génériques.
Analyse des coûts et des jetons avec attribution: Suit les jetons d'entrée/sortie et le coût estimé du LLM, attribuant les dépenses par modèle, fournisseur, agent, application/équipe et modèles de flux de travail afin que les équipes puissent identifier et réduire le gaspillage de jetons avant que les coûts n'augmentent.
Boucle d'évaluation de la qualité (LLM-as-a-judge): Exécute des évaluations sur les traces de production capturées pour noter la qualité de la réponse, son utilité et sa conformité aux politiques ; prend en charge la comparaison des changements d'invite/modèle/flux de travail et la création d'une couverture d'évaluation au fil du temps.
Intégrations conviviales pour l'écosystème Microsoft: Fournit un support et une instrumentation .NET natifs, une intégration de première classe de Semantic Kernel, et prend en charge Microsoft.Extensions.AI et Microsoft AI Foundry, s'intégrant naturellement aux équipes centrées sur Microsoft.
Contrôles de gouvernance et de conformité d'entreprise: Comprend des fonctionnalités telles que les pistes d'audit, la rédaction des PII, le support SSO (Okta, Azure AD, SAML) et les options de résidence/rétention des données pour aider les équipes gouvernées à exploiter l'IA en production en toute sécurité.

Cas d'utilisation de Progress AI Observability

Fiabilité de l'agent de support client (SaaS/technologie): Tracez pourquoi un copilote de support a produit une réponse inutile ou incorrecte en inspectant le contexte de récupération, les appels d'outils (CRM/billetterie) et les changements d'invite/modèle ; réduisez les escalades et améliorez la qualité de la résolution.
Copilotes d'entreprise réglementés (finance/santé): Utilisez les pistes d'audit, les contrôles de rétention et la rédaction des PII pour soutenir les exigences de conformité tout en surveillant le comportement des agents pour les sorties dangereuses ou violant les politiques et en enquêtant rapidement sur les incidents.
Assistants de connaissances RAG (activation interne): Diagnostiquez les problèmes de récupération (mauvaises sources, contexte obsolète, citations manquantes) et mesurez la qualité avec des évaluations liées aux traces de production pour améliorer l'ancrage et réduire les hallucinations.
Gouvernance des coûts pour les fonctionnalités LLM à volume élevé (applications grand public): Attribuez les dépenses et l'utilisation des jetons par fonctionnalité/flux de travail et identifiez les modèles coûteux comme les invites longues, les appels répétés, les tentatives ou les boucles d'agents ; optimisez le choix du modèle et la conception du flux de travail pour contrôler les factures.
Investigation d'incidents de production pour les flux de travail des agents (équipes de plateforme): Corrélez les pics de latence et les échecs à des spans spécifiques (par exemple, récupération lente, appels d'outils défaillants, points de terminaison de modèle surchargés) et utilisez les preuves de trace pour accélérer l'analyse des causes profondes et la remédiation.
Développement d'agents .NET + Semantic Kernel (équipes Microsoft): Instrumentez rapidement les agents avec le SDK .NET pour capturer les traces localement et en production, comparez les itérations d'invite/modèle et créez une boucle de publication reproductible à partir du débogage et de l'évaluation basés sur des preuves.

Avantages

Conçu spécifiquement pour les flux de travail LLM/agents (invites, récupération, outils, sessions), pas seulement la surveillance d'applications traditionnelles ou l'observabilité ML classique.
Convient parfaitement aux équipes Microsoft/.NET avec un support .NET natif et une intégration de Semantic Kernel, ainsi qu'une large compatibilité avec les fournisseurs/frameworks.
Connecte les preuves de trace au coût (utilisation des jetons) et à la qualité (évaluations), permettant une amélioration continue plutôt qu'un débogage ponctuel.
Contrôles prêts pour l'entreprise (SSO, pistes d'audit, rédaction des PII, résidence/rétention des données) pour les déploiements gouvernés.

Inconvénients

Axé sur les applications LLM et les flux de travail des agents plutôt que sur les besoins traditionnels d'observabilité ML comme la dérive des fonctionnalités et la qualité de prédiction pour les modèles ML entraînés.
La valeur dépend de l'instrumentation et de la capture des traces ; les équipes doivent intégrer les SDK et gérer les données collectées (en particulier pour les invites/sorties sensibles).
La rétention et la tarification/unités basées sur le volume peuvent nécessiter une planification pour les agents à fort trafic afin d'éviter une croissance inattendue de l'utilisation.
En tant que couche spécialisée, elle complète plutôt qu'elle ne remplace les piles d'observabilité existantes, ce qui peut ajouter un autre outil à opérer.

Comment utiliser Progress AI Observability

1) Créez un compte et obtenez un accès: Accédez à la page de la plateforme d'observabilité Progress AI et cliquez sur « Démarrer gratuitement » (aucune carte de crédit requise). Dans l'application web d'observabilité, créez/connectez-vous à votre espace de travail et obtenez les valeurs dont vous aurez besoin pour l'instrumentation : une clé API et un nom d'application.
2) Ajoutez le SDK .NET à votre application: Dans votre projet .NET, installez le package d'instrumentation Progress.Observability.Instrumentation : dotnet add package Progress.Observability.Instrumentation
3) Configurez les identifiants via des variables d'environnement: Définissez les variables d'environnement utilisées par le SDK : - OBSERVABILITY_APP_NAME : le nom de votre application dans Progress AI Observability - OBSERVABILITY_API_KEY : votre clé API Cela permet de garder les secrets hors du code source et facilite le basculement entre les environnements local/dev/prod.
4) Instrumentez votre client LLM/agent (changement de code minimal): Enveloppez ou étendez votre client de chat/LLM avec l'observabilité afin que les traces soient capturées automatiquement. Exemple tiré de la page officielle : chatClient = chatClient.AddObservability(options => { options.AppName = Environment.GetEnvironmentVariable("OBSERVABILITY_APP_NAME")!; options.ApiKey = Environment.GetEnvironmentVariable("OBSERVABILITY_API_KEY")!; });
5) Exécutez votre agent localement et générez une trace: Exécutez un agent normalement (invite → appels de récupération/outils → réponse du modèle). La plateforme est conçue pour être légère et asynchrone, de sorte que l'instrumentation ne devrait pas avoir d'impact significatif sur la latence côté utilisateur. Une fois l'exécution terminée, une trace devrait être disponible dans le tableau de bord.
6) Ouvrez l'Explorateur de traces pour voir le chemin d'exécution complet: Dans l'interface utilisateur de Progress AI Observability, ouvrez la vue des traces (Explorateur de traces). Inspectez le flux de travail de bout en bout à travers les invites, les appels de modèle, les étapes de récupération, les appels d'outils, les sorties, la latence et l'utilisation des jetons. Utilisez ceci pour comprendre ce que votre agent a réellement fait à travers des flux multi-étapes ou multi-agents.
7) Déboguez les échecs à l'aide du contexte au niveau de la trace: Utilisez les vues de débogage pour identifier où le comportement a échoué. Recherchez des modèles tels que des outils ignorés, des problèmes de récupération/mauvais contexte, des boucles, des tentatives, des erreurs, des échecs d'outils et des pics de latence. Ceci est particulièrement utile lorsque l'agent renvoie une réponse « réussie » qui est toujours incorrecte ou non fondée.
8) Analysez l'utilisation des jetons et le coût estimé liés aux traces: Ouvrez les vues d'analyse des coûts/attribution des coûts pour voir le coût estimé, les jetons d'entrée/sortie et le coût par modèle/fournisseur/agent/flux de travail. Utilisez le contexte de trace pour identifier les comportements d'exécution qui génèrent des dépenses (par exemple, de longues invites, des appels répétés, des tentatives, une récupération inefficace, des boucles d'agents).
9) Évaluez la qualité des résultats avec les évaluations LLM-as-a-Judge: Exécutez des évaluations sur les traces capturées pour noter la qualité, l'utilité, la pertinence, la sécurité/conformité aux politiques, etc. Utilisez des modèles d'évaluateurs intégrés (ou personnalisez les vôtres) pour définir les instructions du juge et les critères de notation. Examinez les scores d'évaluation, les verdicts du juge et les tendances de qualité dans les tableaux de bord.
10) Comparez les changements (invite/modèle/flux de travail) à l'aide de données d'exécution réelles: Utilisez les comparaisons avant/après de la plateforme pour valider les changements avant la publication. Comparez les traces et les résultats d'évaluation côte à côte lorsque vous modifiez les invites, les modèles, les paramètres de récupération ou la logique des outils/flux de travail pour confirmer les améliorations en termes de qualité, de latence et de coût.
11) Créez des vérifications de régression et des ensembles de données à partir de preuves de production: Utilisez les traces observées et les faibles scores d'évaluation pour organiser des ensembles de données d'évaluation et créer des vérifications de régression reproductibles. Cela transforme les échecs de production en cas de test afin que vous puissiez prévenir les incidents répétés et améliorer continuellement les invites, les modèles, la récupération, les outils et les flux de travail.
12) Déployez en production avec le même flux de travail: Conservez la même instrumentation en production pour enquêter sur les incidents et surveiller le comportement réel des agents. La plateforme est destinée à compléter (et non à remplacer) votre pile de surveillance/journalisation existante en ajoutant une visibilité spécifique à l'IA sur les invites, l'utilisation des outils, la récupération, les sorties, la latence et l'utilisation des jetons.
13) (Facultatif) Intégrez-vous à votre pile existante et aux contrôles d'entreprise: Si nécessaire, alignez-vous sur les exigences de l'entreprise telles que les pistes d'audit, la rédaction de PII, la résidence des données, la rétention et le SSO (par exemple, Azure AD/Okta/SAML). Utilisez ces contrôles pour faire évoluer les applications IA gouvernées tout en maintenant l'historique des traces et la surveillance opérationnelle.

FAQ de Progress AI Observability

La plateforme d'observabilité Progress AI est un produit d'observabilité pour les agents d'IA en production, les applications LLM, les systèmes RAG et les copilotes qui aide les équipes à tracer les flux de travail de bout en bout, à déboguer les échecs, à contrôler les dépenses en jetons/coûts et à évaluer la qualité des résultats à l'aide de données d'exécution réelles.