Arch Giới thiệu
Arch là một cổng thông minh Layer 7 được xây dựng trên Envoy Proxy cung cấp xử lý an toàn, khả năng quan sát mạnh mẽ và tích hợp liền mạch các prompt với API để xây dựng các đại lý AI nhanh chóng, mạnh mẽ và cá nhân hóa.
Xem thêmArch là gì
Arch là một cổng thông minh mã nguồn mở được thiết kế với các LLM được xây dựng theo mục đích để xử lý các tác vụ quan trọng liên quan đến xử lý prompt và tích hợp API. Được xây dựng bởi các đóng góp chính của Envoy proxy, nó coi các prompt như những yêu cầu tinh vi của người dùng cần có cùng khả năng như các yêu cầu HTTP truyền thống. Nền tảng này được thiết kế để bảo vệ, quan sát và cá nhân hóa các ứng dụng LLM như đại lý, trợ lý và phi công đồng thời tích hợp chúng với các API backend.
Arch hoạt động như thế nào?
Arch hoạt động bằng cách xử lý các tác vụ không phân biệt trong xử lý prompt thông qua một số cơ chế chính. Nó sử dụng các LLM chuyên biệt để phát hiện và từ chối các nỗ lực jailbreak, gọi thông minh các API backend để thực hiện các yêu cầu của người dùng, và quản lý định tuyến prompt giữa các LLM upstream. Hệ thống chạy song song với các máy chủ ứng dụng và tận dụng khả năng quản lý HTTP của Envoy để xử lý lưu lượng vào và ra. Nó bao gồm các LLM được xây dựng theo mục đích cho việc gọi chức năng/API và trích xuất tham số, đồng thời tập trung các rào chắn prompt thông qua tính năng Rào chắn Prompt của nó. Nền tảng này thực hiện tiêu chuẩn W3C Trace Context cho việc theo dõi yêu cầu toàn diện và cung cấp quản lý lưu lượng mạnh mẽ với các tính năng như thử lại thông minh và chuyển đổi tự động.
Lợi ích của Arch
Việc sử dụng Arch mang lại nhiều lợi ích cho phát triển ứng dụng AI. Nó loại bỏ nhu cầu viết mã tùy chỉnh cho bảo mật prompt bằng cách cung cấp các rào chắn prompt tập trung. Nền tảng này cung cấp hiệu suất cải thiện thông qua các tác vụ dựa trên prompt nhanh chóng, tiết kiệm chi phí và chính xác, đồng thời đảm bảo tính khả dụng liên tục thông qua các kết nối upstream bền bỉ và quản lý lưu lượng thông minh. Các tổ chức được hưởng lợi từ khả năng quan sát toàn diện với các chỉ số tiêu chuẩn để theo dõi độ trễ, mức sử dụng token và tỷ lệ lỗi. Thêm vào đó, việc tích hợp với Envoy Proxy cung cấp khả năng mở rộng và độ tin cậy đã được chứng minh, giúp các nhà phát triển dễ dàng xây dựng và duy trì các ứng dụng AI an toàn, hiệu suất cao.
Xem thêm