Apa yang ditangkapnya saat melacak jalannya agen?

Ini menangkap jalur eksekusi penuh di seluruh prompt, interaksi model, panggilan alat, langkah pengambilan, percobaan ulang/kesalahan, latensi, penggunaan token, output, dan perkiraan biaya—sehingga Anda dapat melihat bagaimana alur kerja multi-langkah atau multi-agen benar-benar dieksekusi.

Bagaimana Progress AI Observability membantu men-debug kegagalan agen?

Ini menyediakan konteks tingkat jejak untuk mendiagnosis masalah seperti alat yang dilewati, masalah pengambilan dan konteks yang buruk, loop/percobaan ulang, kegagalan alat, dan lonjakan latensi—membantu tim menentukan di mana perilaku rusak bahkan ketika agen mengembalikan respons yang tampaknya berhasil.

Apakah ini menggantikan tumpukan pemantauan/pencatatan saya yang sudah ada?

Tidak. Ini melengkapi alat pemantauan dan pencatatan yang ada dengan menambahkan visibilitas khusus AI/agen (misalnya, prompt, panggilan model, pengambilan, alur kerja alat, output, penggunaan token, dan biaya) daripada mengganti tumpukan observabilitas Anda saat ini.

Bahasa, kerangka kerja, dan penyedia model apa yang didukungnya?

Ini mendukung .NET (C#), Python, dan JavaScript/TypeScript. Ini terintegrasi dengan kerangka kerja agen termasuk Semantic Kernel, LangChain, LlamaIndex, AutoGen, dan Microsoft Agent Framework, dan mendukung penyedia seperti Azure OpenAI, OpenAI, dan Anthropic, ditambah model OSS (misalnya, Llama, Mistral, Mixtral, Falcon, Gemma).

Apakah ada dukungan kelas satu untuk ekosistem Microsoft/.NET?

Ya. Platform ini menawarkan dukungan .NET asli dan integrasi Semantic Kernel kelas satu, dan diposisikan agar sesuai dengan tim ekosistem Microsoft (termasuk penggunaan Azure).

Apakah saya perlu mengelola OpenTelemetry secara langsung untuk memulai?

Tidak. Progress AI Observability menyediakan SDK dan instrumentasi untuk menangkap jejak khusus AI dari agen dan aplikasi LLM, jadi Anda tidak perlu mengelola OpenTelemetry secara langsung untuk memulai.

Apakah instrumentasi menambah latensi yang signifikan pada eksekusi agen?

Ini dirancang agar ringan dan asinkron sehingga instrumentasi tidak secara signifikan memengaruhi eksekusi agen atau latensi yang dihadapi pengguna.

Kemampuan tata kelola dan kepatuhan perusahaan apa yang disebutkan?

Ini mencakup fitur kepatuhan tingkat perusahaan seperti jejak audit, redaksi PII, dan opsi residensi data, serta mendukung integrasi SSO perusahaan (Okta, Azure AD, SAML).

Pilihan harga apa saja yang tersedia?

Harga termasuk paket Gratis ($0/bulan) dengan 10.000 unit dan retensi 7 hari; Starter ($29/bulan) dengan 200.000 unit dan retensi 30 hari ditambah $8 per 100K unit tambahan; Pro ($299/bulan) dengan 1.000.000 unit dan retensi 60 hari ditambah $8 per 100K unit tambahan; dan Enterprise mulai dari $3.000/bulan dengan volume kustom dan retensi tak terbatas.

Progress AI Observability

WebsiteFree

Progress AI Observability adalah platform observabilitas berbasis cloud untuk agen AI produksi yang menyediakan pelacakan ujung ke ujung, debugging cepat, analitik biaya/token, dan evaluasi kualitas di seluruh alur kerja multi-langkah di .NET, Python, dan JavaScript.

Kunjungi Situs Web

Iklankan Alat Ini

https://www.telerik.com/ai-observability-platform?ref=producthunt&utm_source=aipure

Ikhtisar
Alternatif

Informasi Produk

Diperbarui:Aug 14, 2026

Apa itu Progress AI Observability

Progress AI Observability (Progress AI Observability Platform) adalah platform observabilitas khusus AI yang dibangun untuk memberikan visibilitas mendalam kepada tim tentang bagaimana agen AI dan aplikasi LLM berperilaku di lingkungan nyata—sehingga mereka dapat melakukan debug lebih cepat, mengoptimalkan keandalan, mengontrol pengeluaran, dan mempercayai output dalam produksi. Berbeda dengan pemantauan tradisional yang berfokus pada metrik dan log infrastruktur, platform ini menangkap jalur eksekusi agen di seluruh prompt, panggilan model, langkah-langkah pengambilan (RAG), dan penggunaan alat, kemudian menghubungkan data jejak tersebut dengan kinerja (latensi), penggunaan (token), perkiraan biaya, dan sinyal kualitas (evaluasi). Ini dirancang untuk melengkapi tumpukan pemantauan/pencatatan yang ada, berintegrasi dengan kerangka kerja agen umum dan penyedia LLM, serta mendukung kebutuhan perusahaan seperti jejak audit, redaksi PII, SSO, dan opsi residensi data.

Fitur Utama Progress AI Observability

Progress AI Observability adalah platform observabilitas yang dibuat khusus untuk aplikasi LLM dan alur kerja agen AI, menyediakan penelusuran ujung ke ujung di seluruh prompt, panggilan model, pengambilan, dan penggunaan alat sehingga tim dapat men-debug kegagalan, mengontrol latensi dan biaya berbasis token, serta mengevaluasi kualitas output dari waktu ke waktu. Platform ini menawarkan dukungan .NET asli dengan integrasi Semantic Kernel kelas satu, berfungsi di seluruh .NET/Python/JavaScript dan penyedia model utama (misalnya, Azure OpenAI, OpenAI, Anthropic), dan mencakup kemampuan tata kelola tingkat perusahaan seperti jejak audit, redaksi PII, dan opsi residensi data. Platform ini dirancang agar ringan dan asinkron, melengkapi tumpukan pemantauan/pencatatan yang ada dengan menambahkan visibilitas khusus AI daripada menggantikannya.

Penelusuran agen ujung ke ujung: Menangkap jalur eksekusi penuh di seluruh prompt, panggilan model, langkah pengambilan, panggilan alat, percobaan ulang, sesi, latensi, penggunaan token, dan output—membuat alur kerja multi-langkah dan multi-agen dapat dipahami dalam produksi.

Alur kerja debugging khusus AI: Membantu menunjukkan kegagalan yang tidak jelas (misalnya, alat yang dilewati, konteks pengambilan yang buruk, loop/percobaan ulang, kesalahan alat berjenjang) menggunakan konteks tingkat jejak daripada mengandalkan log aplikasi generik.

Analitik biaya dan token dengan atribusi: Melacak token input/output dan perkiraan biaya LLM, mengatribusikan pengeluaran berdasarkan model, penyedia, agen, aplikasi/tim, dan pola alur kerja sehingga tim dapat mengidentifikasi dan mengurangi pemborosan token sebelum biaya meningkat.

Loop evaluasi kualitas (LLM-sebagai-hakim): Menjalankan evaluasi pada jejak produksi yang ditangkap untuk menilai kualitas respons, kegunaan, dan keselarasan kebijakan; mendukung perbandingan perubahan prompt/model/alur kerja dan membangun cakupan evaluasi dari waktu ke waktu.

Integrasi ramah ekosistem Microsoft: Menyediakan dukungan dan instrumentasi .NET asli, integrasi Semantic Kernel kelas satu, dan mendukung Microsoft.Extensions.AI dan Microsoft AI Foundry—cocok secara alami untuk tim yang berpusat pada Microsoft.

Tata kelola perusahaan dan kontrol kepatuhan: Mencakup fitur-fitur seperti jejak audit, redaksi PII, dukungan SSO (Okta, Azure AD, SAML), dan opsi residensi/retensi data untuk membantu tim yang diatur mengoperasikan AI produksi dengan aman.

Kasus Penggunaan Progress AI Observability

Keandalan agen dukungan pelanggan (SaaS/teknologi): Lacak mengapa kopilot dukungan menghasilkan jawaban yang tidak membantu atau salah dengan memeriksa konteks pengambilan, panggilan alat (CRM/ticketing), dan perubahan prompt/model; mengurangi eskalasi dan meningkatkan kualitas resolusi.

Kopilot perusahaan yang diatur (keuangan/kesehatan): Gunakan jejak audit, kontrol retensi, dan redaksi PII untuk mendukung persyaratan kepatuhan sambil memantau perilaku agen untuk output yang tidak aman atau melanggar kebijakan dan menyelidiki insiden dengan cepat.

Asisten pengetahuan RAG (pemberdayaan internal): Mendiagnosis masalah pengambilan (sumber yang salah, konteks yang usang, kutipan yang hilang) dan mengukur kualitas dengan evaluasi yang terikat pada jejak produksi untuk meningkatkan dasar dan mengurangi halusinasi.

Tata kelola biaya untuk fitur LLM bervolume tinggi (aplikasi konsumen): Atribusikan pengeluaran dan penggunaan token berdasarkan fitur/alur kerja dan identifikasi pola mahal seperti prompt panjang, panggilan berulang, percobaan ulang, atau loop agen; optimalkan pilihan model dan desain alur kerja untuk mengontrol tagihan.

Investigasi insiden produksi untuk alur kerja agen (tim platform): Korelasikan lonjakan latensi dan kegagalan ke rentang tertentu (misalnya, pengambilan lambat, panggilan alat yang gagal, titik akhir model yang kelebihan beban) dan gunakan bukti jejak untuk mempercepat analisis akar masalah dan remediasi.

Pengembangan agen .NET + Semantic Kernel (tim Microsoft): Instrumentasikan agen dengan cepat dengan SDK .NET untuk menangkap jejak secara lokal dan dalam produksi, membandingkan iterasi prompt/model, dan membuat loop rilis yang berulang dari debugging dan evaluasi berbasis bukti.

Kelebihan

Dibangun khusus untuk alur kerja LLM/agen (prompt, pengambilan, alat, sesi), bukan hanya pemantauan aplikasi tradisional atau observabilitas ML klasik.

Sangat cocok untuk tim Microsoft/.NET dengan dukungan .NET asli dan integrasi Semantic Kernel ditambah kompatibilitas penyedia/kerangka kerja yang luas.

Menghubungkan bukti jejak ke biaya (penggunaan token) dan kualitas (evaluasi), memungkinkan peningkatan berkelanjutan daripada debugging satu kali.

Kontrol siap perusahaan (SSO, jejak audit, redaksi PII, residensi/retensi data) untuk penerapan yang diatur.

Kekurangan

Berfokus pada aplikasi LLM dan alur kerja agen daripada kebutuhan observabilitas ML tradisional seperti penyimpangan fitur dan kualitas prediksi untuk model ML yang terlatih.

Nilai tergantung pada instrumentasi dan penangkapan jejak; tim harus mengintegrasikan SDK dan mengelola data apa yang dikumpulkan (terutama untuk prompt/output sensitif).

Harga/unit berbasis retensi dan volume mungkin memerlukan perencanaan untuk agen lalu lintas tinggi untuk menghindari pertumbuhan penggunaan yang tidak terduga.

Sebagai lapisan khusus, ini melengkapi daripada menggantikan tumpukan observabilitas yang ada, yang dapat menambah alat lain untuk dioperasikan.

Cara Menggunakan Progress AI Observability

1) Buat akun dan dapatkan akses: Buka halaman Progress AI Observability Platform dan klik “Mulai Gratis” (tidak perlu kartu kredit). Di aplikasi web Observability, buat/masuk ke ruang kerja Anda dan dapatkan nilai yang Anda perlukan untuk instrumentasi: kunci API dan Nama Aplikasi.

2) Tambahkan SDK .NET ke aplikasi Anda: Di proyek .NET Anda, instal paket instrumentasi Progress AI Observability: dotnet add package Progress.Observability.Instrumentation

3) Konfigurasi kredensial melalui variabel lingkungan: Atur variabel lingkungan yang digunakan oleh SDK: - OBSERVABILITY_APP_NAME: nama aplikasi Anda di Progress AI Observability - OBSERVABILITY_API_KEY: kunci API Anda Ini menjaga rahasia dari kode sumber dan memudahkan untuk beralih antara lingkungan lokal/dev/prod.

4) Instrumentasi klien LLM/agen Anda (perubahan kode minimal): Bungkus atau perluas klien obrolan/LLM Anda dengan observabilitas sehingga jejak ditangkap secara otomatis. Contoh dari halaman resmi: chatClient = chatClient.AddObservability(options => { options.AppName = Environment.GetEnvironmentVariable("OBSERVABILITY_APP_NAME")!; options.ApiKey = Environment.GetEnvironmentVariable("OBSERVABILITY_API_KEY")!; });

5) Jalankan agen Anda secara lokal dan buat jejak: Jalankan agen secara normal (prompt → pengambilan/panggilan alat → respons model). Platform ini dirancang agar ringan dan asinkron, sehingga instrumentasi tidak akan secara signifikan memengaruhi latensi yang dihadapi pengguna. Setelah eksekusi selesai, jejak akan tersedia di dasbor.

6) Buka Trace Explorer untuk melihat jalur eksekusi lengkap: Di UI Progress AI Observability, buka tampilan jejak (Trace Explorer). Periksa alur kerja ujung ke ujung di seluruh prompt, panggilan model, langkah-langkah pengambilan, panggilan alat, output, latensi, dan penggunaan token. Gunakan ini untuk memahami apa yang sebenarnya dilakukan agen Anda di seluruh alur multi-langkah atau multi-agen.

7) Debug kegagalan menggunakan konteks tingkat jejak: Gunakan tampilan debugging untuk menunjukkan di mana perilaku rusak. Cari pola seperti alat yang dilewati, masalah pengambilan/konteks yang buruk, loop, percobaan ulang, kesalahan, kegagalan alat, dan lonjakan latensi. Ini sangat berguna ketika agen mengembalikan respons “berhasil” yang masih salah atau tidak berdasar.

8) Analisis penggunaan token dan perkiraan biaya yang terkait dengan jejak: Buka tampilan analitik biaya/atribusi biaya untuk melihat perkiraan biaya, token input/output, dan biaya berdasarkan model/penyedia/agen/alur kerja. Gunakan konteks jejak untuk mengidentifikasi perilaku runtime apa yang mendorong pengeluaran (misalnya, prompt panjang, panggilan berulang, percobaan ulang, pengambilan yang tidak efisien, loop agen).

9) Evaluasi kualitas output dengan evaluasi LLM-as-a-Judge: Jalankan evaluasi pada jejak yang ditangkap untuk menilai kualitas, kegunaan, dasar, keamanan/keselarasan kebijakan, dll. Gunakan templat evaluator bawaan (atau sesuaikan sendiri) untuk menentukan instruksi juri dan kriteria penilaian. Tinjau skor evaluasi, putusan juri, dan tren kualitas di kartu skor.

10) Bandingkan perubahan (prompt/model/alur kerja) menggunakan data eksekusi nyata: Gunakan perbandingan sebelum/sesudah platform untuk memvalidasi perubahan sebelum rilis. Bandingkan jejak dan hasil evaluasi secara berdampingan saat Anda mengubah prompt, model, pengaturan pengambilan, atau logika alat/alur kerja untuk mengonfirmasi peningkatan kualitas, latensi, dan biaya.

11) Bangun pemeriksaan regresi dan kumpulan data dari bukti produksi: Gunakan jejak yang diamati dan skor evaluasi rendah untuk mengkurasi kumpulan data evaluasi dan membuat pemeriksaan regresi yang dapat diulang. Ini mengubah kegagalan produksi menjadi kasus uji sehingga Anda dapat mencegah insiden berulang dan terus meningkatkan prompt, model, pengambilan, alat, dan alur kerja.

12) Terapkan ke produksi dengan alur kerja yang sama: Pertahankan instrumentasi yang sama dalam produksi untuk menyelidiki insiden dan memantau perilaku agen nyata. Platform ini dimaksudkan untuk melengkapi (bukan menggantikan) tumpukan pemantauan/pencatatan yang ada dengan menambahkan visibilitas khusus AI ke prompt, penggunaan alat, pengambilan, output, latensi, dan penggunaan token.

13) (Opsional) Integrasikan dengan tumpukan yang ada dan kontrol perusahaan Anda: Jika diperlukan, selaraskan dengan persyaratan perusahaan seperti jejak audit, redaksi PII, residensi data, retensi, dan SSO (misalnya, Azure AD/Okta/SAML). Gunakan kontrol ini untuk menskalakan aplikasi AI yang diatur sambil mempertahankan riwayat jejak dan pengawasan operasional.

FAQ Progress AI Observability

Progress AI Observability Platform adalah produk observabilitas untuk agen AI produksi, aplikasi LLM, sistem RAG, dan kopilot yang membantu tim melacak alur kerja secara menyeluruh, men-debug kegagalan, mengontrol pengeluaran token/biaya, dan mengevaluasi kualitas output menggunakan data eksekusi nyata.