Progress AI Observability

Progress AI Observability

WebsiteFree
Progress AI Observability là một nền tảng quan sát dựa trên đám mây dành cho các tác nhân AI sản xuất, cung cấp khả năng theo dõi từ đầu đến cuối, gỡ lỗi nhanh, phân tích chi phí/mã thông báo và đánh giá chất lượng trên các quy trình làm việc đa bước trong .NET, Python và JavaScript.
Truy cập Trang web
Quảng Cáo Công Cụ Này
https://www.telerik.com/ai-observability-platform?ref=producthunt&utm_source=aipure
Progress AI Observability

Thông tin Sản phẩm

Đã cập nhật:Aug 14, 2026

Progress AI Observability là gì

Progress AI Observability (Nền tảng Quan sát AI của Progress) là một nền tảng quan sát dành riêng cho AI được xây dựng để cung cấp cho các nhóm khả năng hiển thị sâu sắc về cách các tác nhân AI và ứng dụng LLM hoạt động trong môi trường thực tế—để họ có thể gỡ lỗi nhanh hơn, tối ưu hóa độ tin cậy, kiểm soát chi tiêu và tin cậy vào đầu ra trong sản xuất. Không giống như giám sát truyền thống tập trung vào các chỉ số và nhật ký cơ sở hạ tầng, nó thu thập các đường dẫn thực thi tác nhân trên các lời nhắc, cuộc gọi mô hình, các bước truy xuất (RAG) và việc sử dụng công cụ, sau đó kết nối dữ liệu dấu vết đó với hiệu suất (độ trễ), việc sử dụng (mã thông báo), chi phí ước tính và các tín hiệu chất lượng (đánh giá). Nó được thiết kế để bổ sung cho các ngăn xếp giám sát/ghi nhật ký hiện có, tích hợp với các khung tác nhân phổ biến và nhà cung cấp LLM, đồng thời hỗ trợ các nhu cầu của doanh nghiệp như nhật ký kiểm toán, ẩn danh PII, SSO và các tùy chọn lưu trú dữ liệu.

Các Tính năng Chính của Progress AI Observability

Progress AI Observability là một nền tảng quan sát được xây dựng có mục đích cho các ứng dụng LLM và quy trình làm việc của tác nhân AI, cung cấp khả năng theo dõi từ đầu đến cuối trên các lời nhắc, cuộc gọi mô hình, truy xuất và sử dụng công cụ để các nhóm có thể gỡ lỗi các lỗi, kiểm soát độ trễ và chi phí dựa trên token, đồng thời đánh giá chất lượng đầu ra theo thời gian. Nền tảng này cung cấp hỗ trợ .NET gốc với tích hợp Semantic Kernel hạng nhất, hoạt động trên .NET/Python/JavaScript và các nhà cung cấp mô hình lớn (ví dụ: Azure OpenAI, OpenAI, Anthropic), đồng thời bao gồm các khả năng quản trị cấp doanh nghiệp như nhật ký kiểm tra, ẩn danh PII và các tùy chọn lưu trú dữ liệu. Nền tảng được thiết kế nhẹ và không đồng bộ, bổ sung cho các ngăn xếp giám sát/ghi nhật ký hiện có bằng cách thêm khả năng hiển thị dành riêng cho AI thay vì thay thế chúng.
Theo dõi tác nhân từ đầu đến cuối: Ghi lại toàn bộ đường dẫn thực thi trên các lời nhắc, cuộc gọi mô hình, các bước truy xuất, cuộc gọi công cụ, thử lại, phiên, độ trễ, mức sử dụng token và đầu ra—giúp các quy trình làm việc đa bước và đa tác nhân dễ hiểu trong sản xuất.
Quy trình gỡ lỗi dành riêng cho AI: Giúp xác định các lỗi không rõ ràng (ví dụ: công cụ bị bỏ qua, ngữ cảnh truy xuất kém, vòng lặp/thử lại, lỗi công cụ xếp tầng) bằng cách sử dụng ngữ cảnh cấp dấu vết thay vì dựa vào nhật ký ứng dụng chung.
Phân tích chi phí và token với phân bổ: Theo dõi các token đầu vào/đầu ra và chi phí LLM ước tính, phân bổ chi tiêu theo mô hình, nhà cung cấp, tác nhân, ứng dụng/nhóm và các mẫu quy trình làm việc để các nhóm có thể xác định và giảm lãng phí token trước khi chi phí tăng lên.
Vòng lặp đánh giá chất lượng (LLM-as-a-judge): Chạy các đánh giá trên các dấu vết sản xuất đã ghi lại để chấm điểm chất lượng phản hồi, tính hữu ích và sự phù hợp với chính sách; hỗ trợ so sánh các thay đổi lời nhắc/mô hình/quy trình làm việc và xây dựng phạm vi đánh giá theo thời gian.
Tích hợp thân thiện với hệ sinh thái Microsoft: Cung cấp hỗ trợ và công cụ .NET gốc, tích hợp Semantic Kernel hạng nhất, đồng thời hỗ trợ Microsoft.Extensions.AI và Microsoft AI Foundry—phù hợp tự nhiên với các nhóm tập trung vào Microsoft.
Kiểm soát quản trị và tuân thủ cấp doanh nghiệp: Bao gồm các tính năng như nhật ký kiểm tra, ẩn danh PII, hỗ trợ SSO (Okta, Azure AD, SAML) và các tùy chọn lưu trú/lưu giữ dữ liệu để giúp các nhóm được quản lý vận hành AI sản xuất một cách an toàn.

Các Trường hợp Sử dụng của Progress AI Observability

Độ tin cậy của tác nhân hỗ trợ khách hàng (SaaS/công nghệ): Theo dõi lý do tại sao một copilot hỗ trợ đưa ra câu trả lời không hữu ích hoặc không chính xác bằng cách kiểm tra ngữ cảnh truy xuất, các cuộc gọi công cụ (CRM/ticketing) và các thay đổi lời nhắc/mô hình; giảm leo thang và cải thiện chất lượng giải quyết.
Copilot doanh nghiệp được quản lý (tài chính/chăm sóc sức khỏe): Sử dụng nhật ký kiểm tra, kiểm soát lưu giữ và ẩn danh PII để hỗ trợ các yêu cầu tuân thủ trong khi giám sát hành vi của tác nhân đối với các đầu ra không an toàn hoặc vi phạm chính sách và điều tra các sự cố nhanh chóng.
Trợ lý kiến thức RAG (hỗ trợ nội bộ): Chẩn đoán các vấn đề truy xuất (nguồn sai, ngữ cảnh cũ, thiếu trích dẫn) và đo lường chất lượng bằng các đánh giá gắn liền với dấu vết sản xuất để cải thiện nền tảng và giảm ảo giác.
Quản lý chi phí cho các tính năng LLM khối lượng lớn (ứng dụng tiêu dùng): Phân bổ chi tiêu và sử dụng token theo tính năng/quy trình làm việc và xác định các mẫu tốn kém như lời nhắc dài, cuộc gọi lặp lại, thử lại hoặc vòng lặp tác nhân; tối ưu hóa lựa chọn mô hình và thiết kế quy trình làm việc để kiểm soát hóa đơn.
Điều tra sự cố sản xuất cho quy trình làm việc của tác nhân (nhóm nền tảng): Tương quan các đột biến độ trễ và lỗi với các khoảng cụ thể (ví dụ: truy xuất chậm, cuộc gọi công cụ bị lỗi, điểm cuối mô hình quá tải) và sử dụng bằng chứng dấu vết để tăng tốc phân tích nguyên nhân gốc rễ và khắc phục.
Phát triển tác nhân .NET + Semantic Kernel (nhóm Microsoft): Nhanh chóng trang bị cho các tác nhân SDK .NET để thu thập dấu vết cục bộ và trong sản xuất, so sánh các lần lặp lời nhắc/mô hình và tạo một vòng lặp phát hành lặp lại từ việc gỡ lỗi và đánh giá dựa trên bằng chứng.

Ưu điểm

Được xây dựng có mục đích cho các quy trình làm việc LLM/tác nhân (lời nhắc, truy xuất, công cụ, phiên), không chỉ giám sát ứng dụng truyền thống hoặc quan sát ML cổ điển.
Phù hợp mạnh mẽ với các nhóm Microsoft/.NET với hỗ trợ .NET gốc và tích hợp Semantic Kernel cộng với khả năng tương thích khung/nhà cung cấp rộng rãi.
Kết nối bằng chứng dấu vết với cả chi phí (sử dụng token) và chất lượng (đánh giá), cho phép cải tiến liên tục thay vì gỡ lỗi một lần.
Các kiểm soát sẵn sàng cho doanh nghiệp (SSO, nhật ký kiểm tra, ẩn danh PII, lưu trú/lưu giữ dữ liệu) cho các triển khai được quản lý.

Nhược điểm

Tập trung vào các ứng dụng LLM và quy trình làm việc của tác nhân hơn là các nhu cầu quan sát ML truyền thống như sai lệch tính năng và chất lượng dự đoán cho các mô hình ML đã được đào tạo.
Giá trị phụ thuộc vào công cụ và thu thập dấu vết; các nhóm phải tích hợp SDK và quản lý dữ liệu được thu thập (đặc biệt đối với các lời nhắc/đầu ra nhạy cảm).
Việc lưu giữ và định giá/đơn vị dựa trên khối lượng có thể yêu cầu lập kế hoạch cho các tác nhân có lưu lượng truy cập cao để tránh tăng trưởng sử dụng không mong muốn.
Là một lớp chuyên biệt, nó bổ sung chứ không thay thế các ngăn xếp quan sát hiện có, điều này có thể thêm một công cụ khác để vận hành.

Cách Sử dụng Progress AI Observability

1) Tạo tài khoản và truy cập: Truy cập trang Nền tảng Quan sát AI của Progress và nhấp vào “Bắt đầu miễn phí” (không yêu cầu thẻ tín dụng). Trong ứng dụng web Quan sát, tạo/đăng nhập vào không gian làm việc của bạn và lấy các giá trị bạn sẽ cần để đo lường: khóa API và Tên ứng dụng.
2) Thêm SDK .NET vào ứng dụng của bạn: Trong dự án .NET của bạn, cài đặt gói đo lường Progress AI Observability: dotnet add package Progress.Observability.Instrumentation
3) Cấu hình thông tin xác thực qua biến môi trường: Đặt các biến môi trường được SDK sử dụng: - OBSERVABILITY_APP_NAME: tên ứng dụng của bạn trong Progress AI Observability - OBSERVABILITY_API_KEY: khóa API của bạn Điều này giữ bí mật khỏi mã nguồn và giúp dễ dàng chuyển đổi giữa các môi trường cục bộ/phát triển/sản xuất.
4) Đo lường máy khách LLM/tác nhân của bạn (thay đổi mã tối thiểu): Bọc hoặc mở rộng máy khách trò chuyện/LLM của bạn với khả năng quan sát để các dấu vết được tự động thu thập. Ví dụ từ trang chính thức: chatClient = chatClient.AddObservability(options => { options.AppName = Environment.GetEnvironmentVariable("OBSERVABILITY_APP_NAME")!; options.ApiKey = Environment.GetEnvironmentVariable("OBSERVABILITY_API_KEY")!; });
5) Chạy tác nhân của bạn cục bộ và tạo dấu vết: Thực hiện một lần chạy tác nhân bình thường (lời nhắc → truy xuất/gọi công cụ → phản hồi mô hình). Nền tảng được thiết kế nhẹ và không đồng bộ, vì vậy việc đo lường không nên ảnh hưởng đáng kể đến độ trễ đối với người dùng. Sau khi một lần chạy hoàn tất, một dấu vết sẽ có sẵn trong bảng điều khiển.
6) Mở Trace Explorer để xem toàn bộ đường dẫn thực thi: Trong giao diện người dùng Progress AI Observability, mở chế độ xem dấu vết (Trace Explorer). Kiểm tra quy trình làm việc từ đầu đến cuối trên các lời nhắc, cuộc gọi mô hình, các bước truy xuất, cuộc gọi công cụ, đầu ra, độ trễ và việc sử dụng mã thông báo. Sử dụng điều này để hiểu tác nhân của bạn thực sự đã làm gì trên các luồng đa bước hoặc đa tác nhân.
7) Gỡ lỗi các lỗi bằng cách sử dụng ngữ cảnh cấp độ dấu vết: Sử dụng các chế độ xem gỡ lỗi để xác định chính xác nơi hành vi bị hỏng. Tìm kiếm các mẫu như công cụ bị bỏ qua, sự cố truy xuất/ngữ cảnh xấu, vòng lặp, thử lại, lỗi, lỗi công cụ và tăng đột biến độ trễ. Điều này đặc biệt hữu ích khi tác nhân trả về một phản hồi “thành công” nhưng vẫn sai hoặc không có căn cứ.
8) Phân tích việc sử dụng mã thông báo và chi phí ước tính liên quan đến dấu vết: Mở chế độ xem phân tích chi phí/phân bổ chi phí để xem chi phí ước tính, mã thông báo đầu vào/đầu ra và chi phí theo mô hình/nhà cung cấp/tác nhân/quy trình làm việc. Sử dụng ngữ cảnh dấu vết để xác định các hành vi thời gian chạy nào đang thúc đẩy chi tiêu (ví dụ: lời nhắc dài, cuộc gọi lặp lại, thử lại, truy xuất không hiệu quả, vòng lặp tác nhân).
9) Đánh giá chất lượng đầu ra bằng các đánh giá LLM-as-a-Judge: Chạy các đánh giá trên các dấu vết đã thu thập để chấm điểm chất lượng, tính hữu ích, tính có căn cứ, sự phù hợp với an toàn/chính sách, v.v. Sử dụng các mẫu trình đánh giá tích hợp (hoặc tùy chỉnh của riêng bạn) để xác định hướng dẫn của người đánh giá và tiêu chí chấm điểm. Xem xét điểm đánh giá, phán quyết của người đánh giá và xu hướng chất lượng trong các bảng điểm.
10) So sánh các thay đổi (lời nhắc/mô hình/quy trình làm việc) bằng cách sử dụng dữ liệu thực thi thực tế: Sử dụng các so sánh trước/sau của nền tảng để xác thực các thay đổi trước khi phát hành. So sánh các dấu vết và kết quả đánh giá cạnh nhau khi bạn thay đổi lời nhắc, mô hình, cài đặt truy xuất hoặc logic công cụ/quy trình làm việc để xác nhận những cải thiện về chất lượng, độ trễ và chi phí.
11) Xây dựng kiểm tra hồi quy và tập dữ liệu từ bằng chứng sản xuất: Sử dụng các dấu vết được quan sát và điểm đánh giá thấp để tuyển chọn các tập dữ liệu đánh giá và tạo các kiểm tra hồi quy lặp lại. Điều này biến các lỗi sản xuất thành các trường hợp thử nghiệm để bạn có thể ngăn chặn các sự cố lặp lại và liên tục cải thiện lời nhắc, mô hình, truy xuất, công cụ và quy trình làm việc.
12) Triển khai vào sản xuất với cùng một quy trình làm việc: Giữ nguyên công cụ đo lường trong sản xuất để điều tra các sự cố và giám sát hành vi tác nhân thực tế. Nền tảng này nhằm bổ sung (không thay thế) ngăn xếp giám sát/ghi nhật ký hiện có của bạn bằng cách thêm khả năng hiển thị dành riêng cho AI vào các lời nhắc, việc sử dụng công cụ, truy xuất, đầu ra, độ trễ và việc sử dụng mã thông báo.
13) (Tùy chọn) Tích hợp với ngăn xếp hiện có và kiểm soát doanh nghiệp của bạn: Nếu cần, hãy tuân thủ các yêu cầu của doanh nghiệp như nhật ký kiểm toán, ẩn danh PII, lưu trú dữ liệu, lưu giữ và SSO (ví dụ: Azure AD/Okta/SAML). Sử dụng các kiểm soát này để mở rộng quy mô các ứng dụng AI được quản lý trong khi vẫn duy trì lịch sử dấu vết và giám sát hoạt động.

Câu hỏi Thường gặp về Progress AI Observability

Progress AI Observability Platform là một sản phẩm quan sát dành cho các tác nhân AI sản xuất, ứng dụng LLM, hệ thống RAG và copilots, giúp các nhóm theo dõi quy trình làm việc từ đầu đến cuối, gỡ lỗi các lỗi, kiểm soát chi phí/token và đánh giá chất lượng đầu ra bằng cách sử dụng dữ liệu thực thi thực tế.