Progress AI Observability

Progress AI Observability

WebsiteFree
Progress AI Observability es una plataforma de observabilidad basada en la nube para agentes de IA de producción que proporciona trazado de extremo a extremo, depuración rápida, análisis de costos/tokens y evaluaciones de calidad en flujos de trabajo de varios pasos en .NET, Python y JavaScript.
Visitar Sitio Web
Anunciar Esta Herramienta
https://www.telerik.com/ai-observability-platform?ref=producthunt&utm_source=aipure
Progress AI Observability

Información del Producto

Actualizado:14/08/2026

¿Qué es Progress AI Observability?

Progress AI Observability (Plataforma de Observabilidad de IA de Progress) es una plataforma de observabilidad específica de IA creada para dar a los equipos una visibilidad profunda de cómo se comportan los agentes de IA y las aplicaciones LLM en entornos reales, para que puedan depurar más rápido, optimizar la fiabilidad, controlar el gasto y confiar en las salidas en producción. A diferencia de la monitorización tradicional que se centra en las métricas y los registros de infraestructura, captura las rutas de ejecución del agente a través de las indicaciones, las llamadas al modelo, los pasos de recuperación (RAG) y el uso de herramientas, y luego conecta esos datos de traza con el rendimiento (latencia), el uso (tokens), el costo estimado y las señales de calidad (evaluaciones). Está diseñada para complementar las pilas de monitorización/registro existentes, integrarse con los marcos de agentes y proveedores de LLM comunes, y admitir las necesidades empresariales como las pistas de auditoría, la redacción de PII, el SSO y las opciones de residencia de datos.

Características Principales de Progress AI Observability

Progress AI Observability es una plataforma de observabilidad diseñada específicamente para aplicaciones LLM y flujos de trabajo de agentes de IA, que proporciona un seguimiento de extremo a extremo a través de "prompts", llamadas a modelos, recuperación y uso de herramientas para que los equipos puedan depurar fallos, controlar la latencia y los costes impulsados por "tokens", y evaluar la calidad de la salida a lo largo del tiempo. Ofrece soporte nativo para .NET con integración de primera clase de Semantic Kernel, funciona en .NET/Python/JavaScript y con los principales proveedores de modelos (por ejemplo, Azure OpenAI, OpenAI, Anthropic), e incluye capacidades de gobernanza de nivel empresarial como pistas de auditoría, redacción de PII y opciones de residencia de datos. La plataforma está diseñada para ser ligera y asíncrona, complementando las pilas de monitorización/registro existentes al añadir visibilidad específica de la IA en lugar de reemplazarlas.
Trazado de agente de extremo a extremo: Captura rutas de ejecución completas a través de "prompts", llamadas a modelos, pasos de recuperación, llamadas a herramientas, reintentos, sesiones, latencia, uso de "tokens" y salidas, lo que hace que los flujos de trabajo de varios pasos y multiagente sean comprensibles en producción.
Flujos de trabajo de depuración específicos de IA: Ayuda a identificar fallos no obvios (por ejemplo, herramientas omitidas, contexto de recuperación incorrecto, bucles/reintentos, errores de herramientas en cascada) utilizando el contexto a nivel de traza en lugar de depender de registros de aplicaciones genéricos.
Análisis de costes y "tokens" con atribución: Rastrea los "tokens" de entrada/salida y el coste estimado de LLM, atribuyendo el gasto por modelo, proveedor, agente, aplicación/equipo y patrones de flujo de trabajo para que los equipos puedan identificar y reducir el desperdicio de "tokens" antes de que los costes aumenten.
Bucle de evaluación de calidad (LLM como juez): Ejecuta evaluaciones en trazas de producción capturadas para calificar la calidad de la respuesta, la utilidad y la alineación con las políticas; admite la comparación de cambios de "prompt"/modelo/flujo de trabajo y la construcción de cobertura de evaluación a lo largo del tiempo.
Integraciones amigables con el ecosistema de Microsoft: Proporciona soporte e instrumentación nativos de .NET, integración de primera clase de Semantic Kernel y es compatible con Microsoft.Extensions.AI y Microsoft AI Foundry, encajando naturalmente en equipos centrados en Microsoft.
Controles de gobernanza y cumplimiento empresarial: Incluye características como pistas de auditoría, redacción de PII, soporte SSO (Okta, Azure AD, SAML) y opciones de residencia/retención de datos para ayudar a los equipos gobernados a operar la IA de producción de forma segura.

Casos de Uso de Progress AI Observability

Fiabilidad del agente de atención al cliente (SaaS/tecnología): Rastree por qué un copiloto de soporte produjo una respuesta inútil o incorrecta inspeccionando el contexto de recuperación, las llamadas a herramientas (CRM/tickets) y los cambios de "prompt"/modelo; reduzca las escaladas y mejore la calidad de la resolución.
Copilotos empresariales regulados (finanzas/sanidad): Utilice pistas de auditoría, controles de retención y redacción de PII para cumplir con los requisitos de cumplimiento mientras monitorea el comportamiento del agente para detectar resultados inseguros o que violen las políticas e investiga incidentes rápidamente.
Asistentes de conocimiento RAG (habilitación interna): Diagnostique problemas de recuperación (fuentes incorrectas, contexto obsoleto, citas faltantes) y mida la calidad con evaluaciones vinculadas a trazas de producción para mejorar la fundamentación y reducir las alucinaciones.
Gobernanza de costes para funciones LLM de alto volumen (aplicaciones de consumo): Atribuya el gasto y el uso de "tokens" por función/flujo de trabajo e identifique patrones costosos como "prompts" largos, llamadas repetidas, reintentos o bucles de agente; optimice la elección del modelo y el diseño del flujo de trabajo para controlar las facturas.
Investigación de incidentes de producción para flujos de trabajo de agentes (equipos de plataforma): Correlacione los picos de latencia y los fallos con tramos específicos (por ejemplo, recuperación lenta, llamadas a herramientas fallidas, puntos finales de modelo sobrecargados) y utilice la evidencia de trazas para acelerar el análisis de la causa raíz y la remediación.
Desarrollo de agentes .NET + Semantic Kernel (equipos de Microsoft): Instrumente agentes rápidamente con el SDK de .NET para capturar trazas localmente y en producción, compare iteraciones de "prompt"/modelo y cree un ciclo de lanzamiento repetible a partir de la depuración y evaluación basadas en evidencia.

Ventajas

Diseñado específicamente para flujos de trabajo de LLM/agentes ("prompts", recuperación, herramientas, sesiones), no solo para la monitorización de aplicaciones tradicionales o la observabilidad clásica de ML.
Gran ajuste para equipos de Microsoft/.NET con soporte nativo de .NET e integración de Semantic Kernel, además de una amplia compatibilidad con proveedores/marcos.
Conecta la evidencia de trazas tanto con el coste (uso de "tokens") como con la calidad (evaluaciones), lo que permite una mejora continua en lugar de una depuración única.
Controles listos para empresas (SSO, pistas de auditoría, redacción de PII, residencia/retención de datos) para implementaciones gobernadas.

Desventajas

Centrado en aplicaciones LLM y flujos de trabajo de agentes en lugar de las necesidades tradicionales de observabilidad de ML como la deriva de características y la calidad de predicción para modelos de ML entrenados.
El valor depende de la instrumentación y la captura de trazas; los equipos deben integrar los SDK y gestionar qué datos se recopilan (especialmente para "prompts"/salidas sensibles).
La retención y los precios/unidades basados en el volumen pueden requerir planificación para agentes de alto tráfico para evitar un crecimiento inesperado del uso.
Como capa especializada, complementa en lugar de reemplazar las pilas de observabilidad existentes, lo que puede añadir otra herramienta para operar.

Cómo Usar Progress AI Observability

1) Cree una cuenta y obtenga acceso: Vaya a la página de la Plataforma de Observabilidad de IA de Progress y haga clic en "Comenzar gratis" (no se requiere tarjeta de crédito). En la aplicación web de Observabilidad, cree/inicie sesión en su espacio de trabajo y obtenga los valores que necesitará para la instrumentación: una clave API y un nombre de aplicación.
2) Agregue el SDK de .NET a su aplicación: En su proyecto .NET, instale el paquete de instrumentación de Progress AI Observability: dotnet add package Progress.Observability.Instrumentation
3) Configure las credenciales a través de variables de entorno: Establezca las variables de entorno utilizadas por el SDK: - OBSERVABILITY_APP_NAME: el nombre de su aplicación en Progress AI Observability - OBSERVABILITY_API_KEY: su clave API Esto mantiene los secretos fuera del código fuente y facilita el cambio entre entornos locales/de desarrollo/de producción.
4) Instrumente su cliente LLM/agente (cambio mínimo de código): Envuelva o extienda su cliente de chat/LLM con observabilidad para que las trazas se capturen automáticamente. Ejemplo de la página oficial: chatClient = chatClient.AddObservability(options => { options.AppName = Environment.GetEnvironmentVariable("OBSERVABILITY_APP_NAME")!; options.ApiKey = Environment.GetEnvironmentVariable("OBSERVABILITY_API_KEY")!; });
5) Ejecute su agente localmente y genere una traza: Ejecute una ejecución normal del agente (prompt → llamadas de recuperación/herramienta → respuesta del modelo). La plataforma está diseñada para ser ligera y asíncrona, por lo que la instrumentación no debería afectar significativamente la latencia percibida por el usuario. Una vez que se completa una ejecución, una traza debería estar disponible en el panel de control.
6) Abra el Explorador de Trazas para ver la ruta de ejecución completa: En la interfaz de usuario de Progress AI Observability, abra la vista de trazas (Explorador de Trazas). Inspeccione el flujo de trabajo de extremo a extremo a través de prompts, llamadas a modelos, pasos de recuperación, llamadas a herramientas, salidas, latencia y uso de tokens. Utilice esto para comprender lo que su agente realmente hizo en flujos de varios pasos o de varios agentes.
7) Depure fallos utilizando el contexto a nivel de traza: Utilice las vistas de depuración para identificar dónde se produjo el fallo. Busque patrones como herramientas omitidas, problemas de recuperación/contexto incorrecto, bucles, reintentos, errores, fallos de herramientas y picos de latencia. Esto es especialmente útil cuando el agente devuelve una respuesta "exitosa" que aún es incorrecta o no está fundamentada.
8) Analice el uso de tokens y el costo estimado vinculado a las trazas: Abra las vistas de análisis de costos/atribución de costos para ver el costo estimado, los tokens de entrada/salida y el costo por modelo/proveedor/agente/flujo de trabajo. Utilice el contexto de la traza para identificar qué comportamientos en tiempo de ejecución están impulsando el gasto (por ejemplo, prompts largos, llamadas repetidas, reintentos, recuperación ineficiente, bucles de agente).
9) Evalúe la calidad de la salida con evaluaciones LLM-as-a-Judge: Ejecute evaluaciones en las trazas capturadas para calificar la calidad, la utilidad, la fundamentación, la seguridad/alineación de políticas, etc. Utilice plantillas de evaluador integradas (o personalice las suyas propias) para definir las instrucciones del juez y los criterios de puntuación. Revise las puntuaciones de la evaluación, los veredictos del juez y las tendencias de calidad en los cuadros de mando.
10) Compare cambios (prompt/modelo/flujo de trabajo) utilizando datos de ejecución reales: Utilice las comparaciones antes/después de la plataforma para validar los cambios antes del lanzamiento. Compare las trazas y los resultados de la evaluación lado a lado cuando cambie los prompts, los modelos, la configuración de recuperación o la lógica de la herramienta/flujo de trabajo para confirmar mejoras en la calidad, la latencia y el costo.
11) Cree verificaciones de regresión y conjuntos de datos a partir de evidencia de producción: Utilice las trazas observadas y las puntuaciones de evaluación bajas para curar conjuntos de datos de evaluación y crear verificaciones de regresión repetibles. Esto convierte los fallos de producción en casos de prueba para que pueda prevenir incidentes repetidos y mejorar continuamente los prompts, modelos, recuperación, herramientas y flujos de trabajo.
12) Implemente en producción con el mismo flujo de trabajo: Mantenga la misma instrumentación en producción para investigar incidentes y monitorear el comportamiento real del agente. La plataforma está destinada a complementar (no reemplazar) su pila de monitoreo/registro existente al agregar visibilidad específica de IA en prompts, uso de herramientas, recuperación, salidas, latencia y uso de tokens.
13) (Opcional) Integre con su pila existente y controles empresariales: Si es necesario, alinee con los requisitos empresariales como pistas de auditoría, redacción de PII, residencia de datos, retención y SSO (por ejemplo, Azure AD/Okta/SAML). Utilice estos controles para escalar aplicaciones de IA gobernadas mientras mantiene el historial de trazas y la supervisión operativa.

Preguntas Frecuentes de Progress AI Observability

Progress AI Observability Platform es un producto de observabilidad para agentes de IA en producción, aplicaciones LLM, sistemas RAG y copilotos que ayuda a los equipos a rastrear flujos de trabajo de extremo a extremo, depurar fallos, controlar el gasto de tokens/costos y evaluar la calidad de la salida utilizando datos de ejecución reales.