Progress AI Observability

Progress AI Observability

WebsiteFree
Progress AI Observability — это облачная платформа наблюдаемости для производственных агентов ИИ, которая обеспечивает сквозную трассировку, быструю отладку, аналитику затрат/токенов и оценки качества в многошаговых рабочих процессах в .NET, Python и JavaScript.
Посетить сайт
Прорекламировать этот инструмент
https://www.telerik.com/ai-observability-platform?ref=producthunt&utm_source=aipure
Progress AI Observability

Информация о продукте

Обновлено:14/08/2026

Что такое Progress AI Observability

Progress AI Observability (Платформа наблюдаемости Progress AI) — это платформа наблюдаемости, специфичная для ИИ, созданная для того, чтобы предоставить командам глубокую видимость того, как агенты ИИ и приложения LLM ведут себя в реальных условиях, чтобы они могли быстрее отлаживать, оптимизировать надежность, контролировать расходы и доверять результатам в производстве. В отличие от традиционного мониторинга, который фокусируется на метриках инфраструктуры и журналах, она фиксирует пути выполнения агента по запросам, вызовам моделей, шагам извлечения (RAG) и использованию инструментов, а затем связывает эти данные трассировки с производительностью (задержка), использованием (токены), предполагаемой стоимостью и сигналами качества (оценки). Она разработана для дополнения существующих стеков мониторинга/логирования, интеграции с общими фреймворками агентов и провайдерами LLM, а также для поддержки корпоративных потребностей, таких как журналы аудита, редактирование PII, SSO и варианты резидентности данных.

Ключевые особенности Progress AI Observability

Progress AI Observability – это платформа наблюдаемости, специально разработанная для приложений LLM и рабочих процессов AI-агентов, обеспечивающая сквозную трассировку запросов, вызовов моделей, извлечения данных и использования инструментов, чтобы команды могли отлаживать сбои, контролировать задержки и расходы, обусловленные токенами, а также оценивать качество вывода с течением времени. Она предлагает нативную поддержку .NET с первоклассной интеграцией Semantic Kernel, работает с .NET/Python/JavaScript и основными поставщиками моделей (например, Azure OpenAI, OpenAI, Anthropic), а также включает корпоративные возможности управления, такие как журналы аудита, обезличивание PII и опции резидентности данных. Платформа разработана как легковесная и асинхронная, дополняя существующие стеки мониторинга/логирования путем добавления специфической для ИИ видимости, а не их замены.
Сквозная трассировка агентов: Захватывает полные пути выполнения по запросам, вызовам моделей, шагам извлечения, вызовам инструментов, повторным попыткам, сессиям, задержкам, использованию токенов и результатам – делая многошаговые и многоагентные рабочие процессы понятными в производстве.
Рабочие процессы отладки, специфичные для ИИ: Помогает выявлять неочевидные сбои (например, пропущенные инструменты, плохой контекст извлечения, циклы/повторные попытки, каскадные ошибки инструментов) с использованием контекста уровня трассировки, а не полагаясь на общие журналы приложений.
Аналитика затрат и токенов с атрибуцией: Отслеживает входные/выходные токены и предполагаемую стоимость LLM, атрибутируя расходы по модели, поставщику, агенту, приложению/команде и шаблонам рабочего процесса, чтобы команды могли выявлять и сокращать потери токенов до того, как затраты возрастут.
Цикл оценки качества (LLM как судья): Проводит оценки на захваченных производственных трассировках для оценки качества ответа, полезности и соответствия политике; поддерживает сравнение изменений запросов/моделей/рабочих процессов и создание покрытия оценки с течением времени.
Интеграции, дружественные к экосистеме Microsoft: Обеспечивает нативную поддержку и инструментарий .NET, первоклассную интеграцию Semantic Kernel и поддерживает Microsoft.Extensions.AI и Microsoft AI Foundry – органично вписываясь в команды, ориентированные на Microsoft.
Корпоративное управление и контроль соответствия: Включает такие функции, как журналы аудита, обезличивание PII, поддержка SSO (Okta, Azure AD, SAML) и опции резидентности/хранения данных, чтобы помочь управляемым командам безопасно эксплуатировать производственный ИИ.

Варианты использования Progress AI Observability

Надежность агента поддержки клиентов (SaaS/технологии): Отслеживайте, почему помощник поддержки выдал бесполезный или неверный ответ, проверяя контекст извлечения, вызовы инструментов (CRM/тикетинг) и изменения запросов/моделей; сокращайте эскалации и улучшайте качество разрешения проблем.
Регулируемые корпоративные помощники (финансы/здравоохранение): Используйте журналы аудита, средства контроля хранения и обезличивание PII для поддержки требований соответствия, одновременно отслеживая поведение агентов на предмет небезопасных или нарушающих политику результатов и быстро расследуя инциденты.
Помощники по знаниям RAG (внутреннее обеспечение): Диагностируйте проблемы с извлечением (неправильные источники, устаревший контекст, отсутствующие ссылки) и измеряйте качество с помощью оценок, привязанных к производственным трассировкам, чтобы улучшить обоснованность и уменьшить галлюцинации.
Управление затратами для высокообъемных функций LLM (потребительские приложения): Атрибутируйте расходы и использование токенов по функциям/рабочим процессам и выявляйте дорогостоящие шаблоны, такие как длинные запросы, повторяющиеся вызовы, повторные попытки или циклы агентов; оптимизируйте выбор модели и дизайн рабочего процесса для контроля счетов.
Расследование производственных инцидентов для рабочих процессов агентов (команды платформы): Коррелируйте всплески задержек и сбои с конкретными диапазонами (например, медленное извлечение, сбои вызовов инструментов, перегруженные конечные точки модели) и используйте доказательства трассировки для ускорения анализа первопричин и устранения.
Разработка агентов .NET + Semantic Kernel (команды Microsoft): Быстро инструментируйте агентов с помощью .NET SDK для захвата трассировок локально и в производстве, сравнивайте итерации запросов/моделей и создавайте повторяемый цикл выпуска на основе отладки и оценки, основанных на доказательствах.

Преимущества

Специально разработан для рабочих процессов LLM/агентов (запросы, извлечение, инструменты, сессии), а не только для традиционного мониторинга приложений или классической наблюдаемости ML.
Отлично подходит для команд Microsoft/.NET с нативной поддержкой .NET и интеграцией Semantic Kernel, а также широкой совместимостью с поставщиками/фреймворками.
Связывает доказательства трассировки как со стоимостью (использование токенов), так и с качеством (оценки), обеспечивая постоянное улучшение, а не одноразовую отладку.
Готовые к использованию на предприятии средства контроля (SSO, журналы аудита, обезличивание PII, резидентность/хранение данных) для управляемых развертываний.

Недостатки

Сосредоточен на приложениях LLM и рабочих процессах агентов, а не на традиционных потребностях наблюдаемости ML, таких как дрейф признаков и качество прогнозирования для обученных моделей ML.
Ценность зависит от инструментария и захвата трассировки; команды должны интегрировать SDK и управлять тем, какие данные собираются (особенно для конфиденциальных запросов/выводов).
Ценообразование/единицы на основе хранения и объема могут потребовать планирования для высоконагруженных агентов, чтобы избежать неожиданного роста использования.
Как специализированный слой, он дополняет, а не заменяет существующие стеки наблюдаемости, что может добавить еще один инструмент для эксплуатации.

Как использовать Progress AI Observability

1) Создайте учетную запись и получите доступ: Перейдите на страницу Progress AI Observability Platform и нажмите «Начать бесплатно» (кредитная карта не требуется). В веб-приложении Observability создайте/войдите в свою рабочую область и получите значения, которые вам понадобятся для инструментирования: ключ API и имя приложения.
2) Добавьте .NET SDK в свое приложение: В вашем проекте .NET установите пакет инструментирования Progress AI Observability: dotnet add package Progress.Observability.Instrumentation
3) Настройте учетные данные через переменные среды: Установите переменные среды, используемые SDK: - OBSERVABILITY_APP_NAME: имя вашего приложения в Progress AI Observability - OBSERVABILITY_API_KEY: ваш ключ API Это позволяет хранить секреты вне исходного кода и упрощает переключение между локальными/разработческими/производственными средами.
4) Инструментируйте ваш клиент LLM/агента (минимальное изменение кода): Оберните или расширьте ваш клиент чата/LLM с помощью наблюдаемости, чтобы трассировки захватывались автоматически. Пример с официальной страницы: chatClient = chatClient.AddObservability(options => { options.AppName = Environment.GetEnvironmentVariable("OBSERVABILITY_APP_NAME")!; options.ApiKey = Environment.GetEnvironmentVariable("OBSERVABILITY_API_KEY")!; });
5) Запустите своего агента локально и сгенерируйте трассировку: Выполните обычный запуск агента (запрос → вызовы извлечения/инструментов → ответ модели). Платформа разработана как легковесная и асинхронная, поэтому инструментирование не должно существенно влиять на задержку, видимую пользователю. После завершения выполнения трассировка должна быть доступна на панели инструментов.
6) Откройте Trace Explorer, чтобы увидеть полный путь выполнения: В пользовательском интерфейсе Progress AI Observability откройте представление трассировки (Trace Explorer). Проверьте сквозной рабочий процесс по запросам, вызовам моделей, шагам извлечения, вызовам инструментов, выходам, задержке и использованию токенов. Используйте это, чтобы понять, что на самом деле сделал ваш агент в многошаговых или многоагентных потоках.
7) Отладка сбоев с использованием контекста на уровне трассировки: Используйте представления отладки, чтобы точно определить, где произошел сбой. Ищите такие закономерности, как пропущенные инструменты, проблемы с извлечением/плохой контекст, циклы, повторные попытки, ошибки, сбои инструментов и всплески задержки. Это особенно полезно, когда агент возвращает «успешный» ответ, который все еще неверен или необоснован.
8) Анализируйте использование токенов и предполагаемую стоимость, привязанную к трассировкам: Откройте представления аналитики затрат/атрибуции затрат, чтобы увидеть предполагаемую стоимость, входные/выходные токены и стоимость по модели/провайдеру/агенту/рабочему процессу. Используйте контекст трассировки, чтобы определить, какие поведенческие факторы во время выполнения влияют на расходы (например, длинные запросы, повторяющиеся вызовы, повторные попытки, неэффективное извлечение, циклы агента).
9) Оцените качество вывода с помощью оценок LLM-as-a-Judge: Выполняйте оценки на захваченных трассировках, чтобы оценить качество, полезность, обоснованность, соответствие безопасности/политике и т. д. Используйте встроенные шаблоны оценщиков (или настройте свои собственные), чтобы определить инструкции судьи и критерии оценки. Просматривайте оценки, вердикты судей и тенденции качества в оценочных карточках.
10) Сравните изменения (запрос/модель/рабочий процесс) с использованием реальных данных выполнения: Используйте сравнения до/после платформы для проверки изменений перед выпуском. Сравнивайте трассировки и результаты оценки бок о бок, когда вы изменяете запросы, модели, настройки извлечения или логику инструментов/рабочего процесса, чтобы подтвердить улучшения в качестве, задержке и стоимости.
11) Создавайте регрессионные проверки и наборы данных на основе производственных доказательств: Используйте наблюдаемые трассировки и низкие оценки для создания наборов данных для оценки и создания повторяемых регрессионных проверок. Это превращает производственные сбои в тестовые случаи, чтобы вы могли предотвратить повторные инциденты и постоянно улучшать запросы, модели, извлечение, инструменты и рабочие процессы.
12) Разверните в производстве с тем же рабочим процессом: Сохраняйте то же инструментирование в производстве для расследования инцидентов и мониторинга реального поведения агентов. Платформа предназначена для дополнения (а не замены) вашего существующего стека мониторинга/логирования путем добавления специфической для ИИ видимости запросов, использования инструментов, извлечения, выходов, задержки и использования токенов.
13) (Необязательно) Интегрируйтесь с вашей существующей инфраструктурой и корпоративными средствами контроля: При необходимости согласуйте с корпоративными требованиями, такими как журналы аудита, редактирование PII, резидентность данных, хранение и SSO (например, Azure AD/Okta/SAML). Используйте эти средства контроля для масштабирования управляемых приложений ИИ, сохраняя при этом историю трассировки и оперативный надзор.

Часто задаваемые вопросы о Progress AI Observability

Progress AI Observability Platform — это продукт для обеспечения наблюдаемости производственных агентов ИИ, приложений LLM, систем RAG и "второго пилота", который помогает командам отслеживать рабочие процессы от начала до конца, отлаживать сбои, контролировать расходы на токены/стоимость и оценивать качество вывода с использованием реальных данных выполнения.