什麼是FuriosaAI
FuriosaAI 是一家專門從事 AI 加速器芯片開發的技術公司,其旗艦產品是 Furiosa RNGD Gen 2 數據中心加速器。該公司專注於為企業和雲環境創建強大且高效的 AI 推理解決方案。其技術基於先進的半導體製造工藝,使用 TSMC 5nm 技術,提供與行業領導者如 NVIDIA 相當的規格,同時保持顯著更低的功耗。
FuriosaAI 如何運作?
FuriosaAI 技術的核心是張量收縮處理器 (TCP) 架構,該架構專門設計用於高效的張量收縮操作——現代深度學習中的基本計算。與使用固定大小矩陣乘法指令的傳統加速器不同,FuriosaAI 的方法將張量操作視為一等公民,實現了更高效的處理。該系統由一個全面的軟件堆棧支持,包括模型壓縮器、服務框架、運行時、編譯器、分析器和調試器。這個軟件生態系統促進了大型語言模型的無縫部署和與流行框架如 PyTorch 2.x 的集成。
FuriosaAI 的優點
FuriosaAI 的技術提供了幾個關鍵優勢:與競爭對手的 350-700W 相比,僅 150W TDP 的卓越能源效率,通過降低能源消耗和冷卻需求降低總擁有成本,以及高性能的 AI 推理工作負載。該系統通過其可編程架構提供靈活性和未來保障,可以輕鬆切換不同的模型和工作負載。此外,其基於雲的 方法支持容器化、SR-IOV 和 Kubernetes,確保小型和大型操作的更高利用率和部署靈活性。
查看更多