Progress AI Observability

Progress AI Observability

WebsiteFree
Progress AI Gözlemlenebilirlik, .NET, Python ve JavaScript'teki çok adımlı iş akışları genelinde uçtan uca izleme, hızlı hata ayıklama, maliyet/belirteç analizi ve kalite değerlendirmeleri sağlayan, üretim yapay zeka aracıları için bulut tabanlı bir gözlemlenebilirlik platformudur.
Web Sitesini Ziyaret Et
Bu Aracı Reklamla
https://www.telerik.com/ai-observability-platform?ref=producthunt&utm_source=aipure
Progress AI Observability

Ürün Bilgisi

Güncellendi:Aug 14, 2026

Progress AI Observability Nedir

Progress AI Gözlemlenebilirlik (Progress AI Gözlemlenebilirlik Platformu), ekiplere yapay zeka aracıları ve LLM uygulamalarının gerçek ortamlarda nasıl davrandığına dair derinlemesine görünürlük sağlamak için oluşturulmuş yapay zekaya özel bir gözlemlenebilirlik platformudur; böylece daha hızlı hata ayıklayabilir, güvenilirliği optimize edebilir, harcamaları kontrol edebilir ve üretimdeki çıktılara güvenebilirler. Altyapı metriklerine ve günlüklerine odaklanan geleneksel izlemenin aksine, istemler, model çağrıları, alma adımları (RAG) ve araç kullanımı genelinde aracı yürütme yollarını yakalar, ardından bu izleme verilerini performans (gecikme), kullanım (belirteçler), tahmini maliyet ve kalite sinyallerine (değerlendirmeler) bağlar. Mevcut izleme/günlük yığınlarını tamamlamak, yaygın aracı çerçeveleri ve LLM sağlayıcılarıyla entegre olmak ve denetim izleri, PII redaksiyonu, SSO ve veri yerleşimi seçenekleri gibi kurumsal ihtiyaçları desteklemek üzere tasarlanmıştır.

Progress AI Observability Temel Özellikleri

Progress AI Observability, LLM uygulamaları ve yapay zeka aracı iş akışları için özel olarak tasarlanmış bir gözlemlenebilirlik platformudur. Ekiplerin hataları ayıklaması, gecikmeyi ve jeton odaklı maliyetleri kontrol etmesi ve zaman içinde çıktı kalitesini değerlendirmesi için istemler, model çağrıları, alma ve araç kullanımı genelinde uçtan uca izleme sağlar. Birinci sınıf Semantik Çekirdek entegrasyonu ile yerel .NET desteği sunar, .NET/Python/JavaScript ve başlıca model sağlayıcıları (örn. Azure OpenAI, OpenAI, Anthropic) genelinde çalışır ve denetim izleri, PII redaksiyonu ve veri yerleşimi seçenekleri gibi kurumsal düzeyde yönetişim yetenekleri içerir. Platform, mevcut izleme/günlükleme yığınlarını değiştirmek yerine yapay zekaya özgü görünürlük ekleyerek tamamlamak üzere hafif ve eşzamansız olacak şekilde tasarlanmıştır.
Uçtan uca aracı izleme: İstemler, model çağrıları, alma adımları, araç çağrıları, yeniden denemeler, oturumlar, gecikme, jeton kullanımı ve çıktılar genelinde tam yürütme yollarını yakalar; çok adımlı ve çok aracılı iş akışlarını üretimde anlaşılır hale getirir.
Yapay zekaya özgü hata ayıklama iş akışları: Genel uygulama günlüklerine güvenmek yerine izleme düzeyinde bağlam kullanarak belirgin olmayan hataları (örn. atlanan araçlar, kötü alma bağlamı, döngüler/yeniden denemeler, basamaklı araç hataları) belirlemeye yardımcı olur.
Atıflı maliyet ve jeton analizi: Giriş/çıkış jetonlarını ve tahmini LLM maliyetini izler, harcamayı modele, sağlayıcıya, aracıya, uygulamaya/ekibe ve iş akışı kalıplarına göre atfeder, böylece ekipler maliyetler ölçeklenmeden önce jeton israfını belirleyebilir ve azaltabilir.
Kalite değerlendirme döngüsü (LLM-hakim olarak): Yanıt kalitesini, kullanışlılığını ve politika uyumunu puanlamak için yakalanan üretim izleri üzerinde değerlendirmeler yapar; istem/model/iş akışı değişikliklerini karşılaştırmayı ve zaman içinde değerlendirme kapsamını oluşturmayı destekler.
Microsoft ekosistemine uygun entegrasyonlar: Yerel .NET desteği ve enstrümantasyonu, birinci sınıf Semantik Çekirdek entegrasyonu sağlar ve Microsoft.Extensions.AI ve Microsoft AI Foundry'yi destekler; Microsoft merkezli ekiplere doğal olarak uyum sağlar.
Kurumsal yönetişim ve uyumluluk kontrolleri: Yönetilen ekiplerin üretim yapay zekasını güvenli bir şekilde çalıştırmasına yardımcı olmak için denetim izleri, PII redaksiyonu, SSO desteği (Okta, Azure AD, SAML) ve veri yerleşimi/saklama seçenekleri gibi özellikleri içerir.

Progress AI Observability Kullanım Alanları

Müşteri destek aracısı güvenilirliği (SaaS/teknoloji): Alma bağlamını, araç çağrılarını (CRM/biletleme) ve istem/model değişikliklerini inceleyerek bir destek yardımcı pilotunun neden yararsız veya yanlış bir yanıt verdiğini izleyin; yükseltmeleri azaltın ve çözüm kalitesini artırın.
Düzenlenmiş kurumsal yardımcı pilotlar (finans/sağlık): Denetim izlerini, saklama kontrollerini ve PII redaksiyonunu kullanarak uyumluluk gereksinimlerini desteklerken, aracı davranışını güvenli olmayan veya politika ihlal eden çıktılar için izleyin ve olayları hızla araştırın.
RAG bilgi asistanları (dahili etkinleştirme): Alma sorunlarını (yanlış kaynaklar, eski bağlam, eksik alıntılar) teşhis edin ve temel oluşturmayı iyileştirmek ve halüsinasyonları azaltmak için üretim izlerine bağlı değerlendirmelerle kaliteyi ölçün.
Yüksek hacimli LLM özellikleri için maliyet yönetimi (tüketici uygulamaları): Özelliğe/iş akışına göre harcamayı ve jeton kullanımını atfedin ve uzun istemler, tekrarlanan çağrılar, yeniden denemeler veya aracı döngüleri gibi pahalı kalıpları belirleyin; faturaları kontrol etmek için model seçimini ve iş akışı tasarımını optimize edin.
Aracı iş akışları için üretim olayı araştırması (platform ekipleri): Gecikme artışlarını ve hataları belirli aralıklara (örn. yavaş alma, başarısız araç çağrıları, aşırı yüklenmiş model uç noktaları) ilişkilendirin ve kök neden analizini ve düzeltmeyi hızlandırmak için izleme kanıtlarını kullanın.
.NET + Semantik Çekirdek aracı geliştirme (Microsoft ekipleri): .NET SDK ile aracıları hızlı bir şekilde enstrümante ederek yerel olarak ve üretimde izleri yakalayın, istem/model yinelemelerini karşılaştırın ve kanıta dayalı hata ayıklama ve değerlendirmeden tekrarlanabilir bir yayın döngüsü oluşturun.

Artıları

Geleneksel uygulama izleme veya klasik ML gözlemlenebilirliği yerine LLM/aracı iş akışları (istemler, alma, araçlar, oturumlar) için özel olarak tasarlanmıştır.
Yerel .NET desteği ve Semantik Çekirdek entegrasyonu ile Microsoft/.NET ekipleri için güçlü uyum ve geniş sağlayıcı/çerçeve uyumluluğu.
İzleme kanıtlarını hem maliyet (jeton kullanımı) hem de kalite (değerlendirmeler) ile birleştirerek tek seferlik hata ayıklama yerine sürekli iyileştirme sağlar.
Yönetilen dağıtımlar için kurumsal düzeyde kontroller (SSO, denetim izleri, PII redaksiyonu, veri yerleşimi/saklama).

Eksileri

Geleneksel ML gözlemlenebilirlik ihtiyaçları (örn. özellik kayması ve eğitilmiş ML modelleri için tahmin kalitesi) yerine LLM uygulamalarına ve aracı iş akışlarına odaklanmıştır.
Değer, enstrümantasyon ve izleme yakalamaya bağlıdır; ekiplerin SDK'ları entegre etmesi ve hangi verilerin toplandığını (özellikle hassas istemler/çıktılar için) yönetmesi gerekir.
Saklama ve hacme dayalı fiyatlandırma/birimler, beklenmedik kullanım artışını önlemek için yüksek trafikli aracılar için planlama gerektirebilir.
Uzmanlaşmış bir katman olarak, mevcut gözlemlenebilirlik yığınlarını değiştirmek yerine tamamlar, bu da çalıştırılacak başka bir araç ekleyebilir.

Progress AI Observability Nasıl Kullanılır

1) Bir hesap oluşturun ve erişim sağlayın: Progress AI Gözlemlenebilirlik Platformu sayfasına gidin ve “Ücretsiz Başla”ya tıklayın (kredi kartı gerekmez). Gözlemlenebilirlik web uygulamasında, çalışma alanınızı oluşturun/oturum açın ve enstrümantasyon için ihtiyacınız olan değerleri edinin: bir API anahtarı ve bir Uygulama Adı.
2) .NET SDK'yı uygulamanıza ekleyin: .NET projenizde Progress AI Gözlemlenebilirlik enstrümantasyon paketini yükleyin: dotnet add package Progress.Observability.Instrumentation
3) Kimlik bilgilerini ortam değişkenleri aracılığıyla yapılandırın: SDK tarafından kullanılan ortam değişkenlerini ayarlayın: - OBSERVABILITY_APP_NAME: Progress AI Gözlemlenebilirlik'teki uygulama adınız - OBSERVABILITY_API_KEY: API anahtarınız Bu, sırları kaynak kodundan uzak tutar ve yerel/geliştirme/üretim ortamları arasında geçiş yapmayı kolaylaştırır.
4) LLM/aracı istemcinizi enstrümante edin (minimum kod değişikliği): İstemlerin otomatik olarak yakalanması için sohbet/LLM istemcinizi gözlemlenebilirlik ile sarın veya genişletin. Resmi sayfadan örnek: chatClient = chatClient.AddObservability(options => { options.AppName = Environment.GetEnvironmentVariable("OBSERVABILITY_APP_NAME")!; options.ApiKey = Environment.GetEnvironmentVariable("OBSERVABILITY_API_KEY")!; });
5) Aracınızı yerel olarak çalıştırın ve bir izleme oluşturun: Normal bir aracı çalıştırması gerçekleştirin (istem → alma/araç çağrıları → model yanıtı). Platform hafif ve eşzamansız olacak şekilde tasarlanmıştır, bu nedenle enstrümantasyonun kullanıcıya yönelik gecikmeyi anlamlı bir şekilde etkilememesi gerekir. Bir çalıştırma tamamlandıktan sonra, kontrol panelinde bir izleme mevcut olmalıdır.
6) Tam yürütme yolunu görmek için İzleme Gezgini'ni açın: Progress AI Gözlemlenebilirlik kullanıcı arayüzünde, izleme görünümünü (İzleme Gezgini) açın. İstemler, model çağrıları, alma adımları, araç çağrıları, çıktılar, gecikme ve belirteç kullanımı genelinde uçtan uca iş akışını inceleyin. Aracınızın çok adımlı veya çok aracılı akışlarda gerçekten ne yaptığını anlamak için bunu kullanın.
7) İzleme düzeyinde bağlam kullanarak hataları ayıklayın: Davranışın nerede bozulduğunu belirlemek için hata ayıklama görünümlerini kullanın. Atlanan araçlar, alma sorunları/kötü bağlam, döngüler, yeniden denemeler, hatalar, araç arızaları ve gecikme artışları gibi kalıpları arayın. Bu, aracı hala yanlış veya temelsiz bir “başarılı” yanıt döndürdüğünde özellikle yararlıdır.
8) İzlemelere bağlı belirteç kullanımını ve tahmini maliyeti analiz edin: Tahmini maliyeti, giriş/çıkış belirteçlerini ve model/sağlayıcı/aracı/iş akışına göre maliyeti görmek için maliyet analizi/maliyet atıf görünümlerini açın. Çalışma zamanı davranışlarının harcamaları neyin yönlendirdiğini (örn. uzun istemler, tekrarlanan çağrılar, yeniden denemeler, verimsiz alma, aracı döngüleri) belirlemek için izleme bağlamını kullanın.
9) LLM-as-a-Judge değerlendirmeleriyle çıktı kalitesini değerlendirin: Kaliteyi, kullanışlılığı, temelliliği, güvenlik/politika uyumunu vb. puanlamak için yakalanan izlemeler üzerinde değerlendirmeler çalıştırın. Yargıç talimatlarını ve puanlama kriterlerini tanımlamak için yerleşik değerlendirici şablonlarını (veya kendi şablonlarınızı özelleştirin) kullanın. Puan kartlarında değerlendirme puanlarını, yargıç kararlarını ve kalite eğilimlerini inceleyin.
10) Gerçek yürütme verilerini kullanarak değişiklikleri (istem/model/iş akışı) karşılaştırın: Yayınlamadan önce değişiklikleri doğrulamak için platformun önceki/sonraki karşılaştırmalarını kullanın. İstemleri, modelleri, alma ayarlarını veya araç/iş akışı mantığını değiştirdiğinizde kalite, gecikme ve maliyetteki iyileşmeleri doğrulamak için izlemeleri ve değerlendirme sonuçlarını yan yana karşılaştırın.
11) Üretim kanıtlarından regresyon kontrolleri ve veri kümeleri oluşturun: Değerlendirme veri kümelerini düzenlemek ve tekrarlanabilir regresyon kontrolleri oluşturmak için gözlemlenen izlemeleri ve düşük değerlendirme puanlarını kullanın. Bu, üretim hatalarını test senaryolarına dönüştürerek tekrarlanan olayları önlemenizi ve istemleri, modelleri, almayı, araçları ve iş akışlarını sürekli olarak iyileştirmenizi sağlar.
12) Aynı iş akışıyla üretime dağıtın: Olayları araştırmak ve gerçek aracı davranışını izlemek için üretimde aynı enstrümantasyonu koruyun. Platform, istemlere, araç kullanımına, almaya, çıktılara, gecikmeye ve belirteç kullanımına yapay zekaya özel görünürlük ekleyerek mevcut izleme/günlük yığınınızı tamamlamayı (değiştirmeyi değil) amaçlamaktadır.
13) (İsteğe Bağlı) Mevcut yığınınız ve kurumsal kontrollerinizle entegre edin: Gerekirse, denetim izleri, PII redaksiyonu, veri yerleşimi, saklama ve SSO (örn. Azure AD/Okta/SAML) gibi kurumsal gereksinimlerle uyum sağlayın. İzleme geçmişini ve operasyonel denetimi sürdürürken yönetilen yapay zeka uygulamalarını ölçeklendirmek için bu kontrolleri kullanın.

Progress AI Observability SSS

Progress AI Gözlemlenebilirlik Platformu, üretim yapay zeka ajanları, LLM uygulamaları, RAG sistemleri ve yardımcı pilotlar için bir gözlemlenebilirlik ürünüdür. Ekiplerin iş akışlarını uçtan uca izlemesine, hataları ayıklamasına, token/maliyet harcamalarını kontrol etmesine ve gerçek yürütme verilerini kullanarak çıktı kalitesini değerlendirmesine yardımcı olur.