Aguru AI Cách sử dụng
Aguru AI là một giải pháp phần mềm tại chỗ cung cấp các công cụ giám sát, bảo mật và tối ưu hóa toàn diện cho các ứng dụng dựa trên LLM với các tính năng như theo dõi hành vi, phát hiện bất thường và tối ưu hóa hiệu suất.
Xem thêmCách Sử dụng Aguru AI
Tải gói Aguru Safeguard: Đăng ký trên trang web Aguru để tải xuống gói đầy đủ. Những người dùng sớm có thể nhận được quyền truy cập miễn phí.
Cài đặt phần mềm: Cài đặt Aguru Safeguard trên hệ thống của bạn để đảm bảo quyền riêng tư và an toàn dữ liệu.
Cấu hình hạ tầng: Theo dõi hướng dẫn trong README.md để cấu hình hạ tầng của bạn để định tuyến lưu lượng LLM qua một proxy ngược. Không cần sửa đổi mã ứng dụng.
Truy cập giao diện: Đi đến http://localhost:5000 để truy cập giao diện Aguru Safeguard.
Giám sát lưu lượng LLM: Khi đã thiết lập, Aguru Safeguard sẽ tự động bắt đầu giám sát lưu lượng LLM của bạn và phát hiện các bất thường.
Thiết lập cảnh báo: Cấu hình các cảnh báo để được chuyển tiếp đến hệ thống cảnh báo ưa thích của bạn (như Splunk hoặc DataDog) để giám sát các bất thường tiềm ẩn.
Sử dụng Playground: Thử nghiệm với các lời nhắc cụ thể trong Playground để quan sát cách hệ thống phát hiện các bất thường và sử dụng những hiểu biết để cải thiện các ứng dụng AI của bạn.
Tùy chọn: Kích hoạt bộ định tuyến LLM: Nếu muốn, kích hoạt tính năng Bộ định tuyến LLM để tự động định hướng các lời nhắc đến các mô hình hiệu quả chi phí nhất trong khi duy trì hiệu suất tối ưu.
Câu hỏi Thường gặp về Aguru AI
Aguru Safeguard là phần mềm cài đặt tại chỗ theo dõi hành vi, hiệu suất và bảo mật của LLM. Nó cung cấp những thông tin có thể hành động về các khía cạnh quan trọng của hoạt động LLM trong khi đảm bảo dữ liệu vẫn được giữ bí mật và an toàn thông qua cài đặt cục bộ.
Xem thêm