FuriosaAI Giới thiệu
FuriosaAI là một công ty bán dẫn phát triển các bộ tăng tốc AI hiệu suất cao, tiết kiệm năng lượng được thiết kế đặc biệt cho việc triển khai LLM và đa phương thức trong các trung tâm dữ liệu.
Xem thêmFuriosaAI là gì
FuriosaAI là một công ty công nghệ chuyên phát triển các chip tăng tốc AI, với sản phẩm chủ lực là bộ tăng tốc trung tâm dữ liệu Furiosa RNGD Gen 2. Công ty tập trung vào việc tạo ra các giải pháp suy diễn AI mạnh mẽ và hiệu quả cho môi trường doanh nghiệp và đám mây. Công nghệ của họ được xây dựng trên quy trình sản xuất bán dẫn tiên tiến sử dụng công nghệ TSMC 5nm, cung cấp thông số cạnh tranh với các nhà lãnh đạo ngành như NVIDIA trong khi vẫn duy trì mức tiêu thụ điện năng thấp hơn đáng kể.
FuriosaAI hoạt động như thế nào?
Tại trung tâm công nghệ của FuriosaAI là kiến trúc Bộ xử lý co tensor (TCP), được thiết kế đặc biệt cho các phép toán co tensor hiệu quả - một phép toán cơ bản trong học sâu hiện đại. Khác với các bộ tăng tốc truyền thống sử dụng các lệnh nhân ma trận có kích thước cố định, phương pháp của FuriosaAI coi các phép toán tensor như những công dân hạng nhất, cho phép xử lý hiệu quả hơn. Hệ thống được hỗ trợ bởi một ngăn xếp phần mềm toàn diện bao gồm một bộ nén mô hình, khung phục vụ, runtime, trình biên dịch, profiler và trình gỡ lỗi. Hệ sinh thái phần mềm này tạo điều kiện cho việc triển khai liền mạch các mô hình ngôn ngữ lớn và tích hợp với các khung phổ biến như PyTorch 2.x.
Lợi ích của FuriosaAI
Công nghệ của FuriosaAI mang lại một số lợi thế chính: hiệu suất năng lượng vượt trội với chỉ 150W TDP so với 350-700W của các đối thủ, tổng chi phí sở hữu thấp hơn nhờ giảm tiêu thụ năng lượng và yêu cầu làm mát, và hiệu suất cao cho các khối lượng công việc suy diễn AI. Hệ thống cung cấp tính linh hoạt và bảo vệ tương lai thông qua kiến trúc lập trình được, cho phép chuyển đổi dễ dàng giữa các mô hình và khối lượng công việc khác nhau. Thêm vào đó, phương pháp đám mây gốc của nó với container hóa, SR-IOV và hỗ trợ Kubernetes đảm bảo sử dụng cao hơn và tính linh hoạt triển khai cho cả hoạt động quy mô nhỏ và lớn.
Xem thêm