Collaborative Language Model Runner Giới thiệu

Petals hoạt động bằng cách chia nhỏ các mô hình ngôn ngữ lớn thành các phần nhỏ hơn được phân phối trên nhiều thiết bị của người dùng. Khi một người dùng muốn chạy suy diễn hoặc tinh chỉnh một mô hình, họ chỉ tải một phần nhỏ của nó về máy và kết nối với những người dùng khác đang lưu trữ các phần còn lại. Điều này tạo ra một quy trình hợp tác cho việc thực thi mô hình nhanh chóng và tương tác. Hệ thống xử lý các phức tạp của việc hình thành chuỗi máy chủ, duy trì bộ nhớ cache và phục hồi từ các lỗi một cách minh bạch. Petals được xây dựng trên PyTorch và Hugging Face Transformers, cho phép người dùng sử dụng nhiều phương pháp tinh chỉnh và lấy mẫu khác nhau, thực hiện các đường dẫn tùy chỉnh qua mô hình và truy cập vào các trạng thái ẩn - cung cấp sự tiện lợi như API với sự linh hoạt của việc thực thi cục bộ.