Relari: Testing and Simulation Stack for GenAI Systems Cách sử dụng

Cài đặt continuous-eval: Cài đặt khung đánh giá mã nguồn mở của Relari 'continuous-eval' bằng cách chạy: git clone https://github.com/relari-ai/continuous-eval.git && cd continuous-eval poetry install --all-extras

Tạo dữ liệu tổng hợp: Tạo một tài khoản miễn phí trên Relari.ai và sử dụng nền tảng đám mây của họ để tạo ra các tập dữ liệu tổng hợp tùy chỉnh mô phỏng tương tác của người dùng cho trường hợp sử dụng cụ thể của bạn (ví dụ: RAG, đại lý, copilots)

Định nghĩa quy trình đánh giá: Sử dụng continuous-eval để thiết lập một quy trình đánh giá kiểm tra từng thành phần của ứng dụng GenAI của bạn một cách riêng biệt, cho phép bạn xác định các vấn đề cụ thể thuộc về các phần của hệ thống

Chọn chỉ số đánh giá: Chọn từ hơn 30 chỉ số mã nguồn mở của Relari hoặc tạo chỉ số tùy chỉnh để đánh giá việc tạo văn bản, tạo mã, truy xuất, phân loại và các nhiệm vụ LLM khác liên quan đến ứng dụng của bạn

Chạy đánh giá: Thực hiện quy trình đánh giá trên các tập dữ liệu tổng hợp của bạn để kiểm tra áp lực ứng dụng GenAI của bạn và xác định các lĩnh vực cần cải thiện

Phân tích kết quả: Xem xét các chỉ số cấp thành phần và hiệu suất tổng thể của hệ thống để hiểu nơi phát sinh vấn đề và ưu tiên cải tiến

Tối ưu hóa các prompt: Sử dụng công cụ tối ưu hóa prompt tự động của Relari để cải thiện có hệ thống các prompt LLM của bạn dựa trên kết quả đánh giá

Lặp lại và cải thiện: Thực hiện các cải tiến có mục tiêu cho ứng dụng GenAI của bạn dựa trên thông tin chi tiết từ đánh giá, sau đó chạy lại đánh giá để đo lường tiến độ

Giám sát trong sản xuất: Tận dụng khả năng giám sát thời gian chạy của Relari để liên tục đánh giá và cải thiện hiệu suất ứng dụng GenAI của bạn trong các môi trường sản xuất