Arch Cách sử dụng
Arch là một cổng thông minh Layer 7 được xây dựng trên Envoy Proxy cung cấp xử lý an toàn, khả năng quan sát mạnh mẽ và tích hợp liền mạch các prompt với API để xây dựng các đại lý AI nhanh chóng, mạnh mẽ và cá nhân hóa.
Xem thêmCách Sử dụng Arch
Cài đặt yêu cầu tiên quyết: Đảm bảo bạn đã cài đặt Docker (v24), Docker compose (v2.29), Python (v3.10) và Poetry (v1.8.3) trên hệ thống của bạn. Poetry là cần thiết cho phát triển cục bộ.
Tạo môi trường ảo Python: Tạo và kích hoạt một môi trường ảo Python mới bằng cách sử dụng: python -m venv venv && source venv/bin/activate (hoặc venv\Scripts\activate trên Windows)
Cài đặt Arch CLI: Cài đặt công cụ CLI của cổng Arch bằng cách sử dụng pip: pip install archgw
Tạo tệp cấu hình: Tạo một tệp cấu hình (ví dụ: arch_config.yaml) định nghĩa các nhà cung cấp LLM, mục tiêu prompt, điểm cuối và các cài đặt khác như prompt hệ thống và tham số
Cấu hình các nhà cung cấp LLM: Trong tệp cấu hình, thiết lập các nhà cung cấp LLM của bạn (ví dụ: OpenAI) với các khóa truy cập và cài đặt mô hình phù hợp
Định nghĩa các mục tiêu prompt: Cấu hình các mục tiêu prompt trong tệp cấu hình, chỉ định các điểm cuối, tham số và mô tả cho mỗi chức năng mục tiêu
Thiết lập các điểm cuối: Định nghĩa các điểm cuối ứng dụng của bạn trong tệp cấu hình, bao gồm các cài đặt kết nối và thời gian chờ
Khởi tạo Client: Tạo một phiên bản client OpenAI trỏ đến cổng Arch (ví dụ: base_url='http://127.0.0.1:12000/v1') trong mã ứng dụng của bạn
Thực hiện các cuộc gọi API: Sử dụng client đã cấu hình để thực hiện các cuộc gọi API qua Arch, mà sẽ xử lý định tuyến, bảo mật và khả năng quan sát
Giám sát hiệu suất: Sử dụng các tính năng quan sát tích hợp của Arch để giám sát các chỉ số, dấu vết và nhật ký cho các tương tác LLM của bạn
Câu hỏi Thường gặp về Arch
Arch là một cổng thông minh Layer 7 được thiết kế để bảo vệ, quan sát và cá nhân hóa các ứng dụng LLM với APIs. Nó được xây dựng trên Envoy Proxy và được thiết kế với các LLM được xây dựng theo mục đích để xử lý an toàn, quan sát mạnh mẽ và tích hợp liền mạch các prompt với APIs.
Xem thêm