FuriosaAI
FuriosaAI 是一家半導體公司,專門開發高性能、節能的 AI 加速器,特別設計用於數據中心中的 LLM 和多模態部署。
https://furiosa.ai/?utm_source=aipure
產品資訊
已更新:09/11/2024
什麼是FuriosaAI
FuriosaAI 是一家專門從事 AI 加速器芯片開發的技術公司,其旗艦產品是 Furiosa RNGD Gen 2 數據中心加速器。該公司專注於為企業和雲環境創建強大且高效的 AI 推理解決方案。其技術基於先進的半導體製造工藝,使用 TSMC 5nm 技術,提供與行業領導者如 NVIDIA 相當的規格,同時保持顯著更低的功耗。
FuriosaAI 的主要功能
FuriosaAI 是一家半導體公司,專門開發先進的 AI 加速器芯片,其旗艦產品 Furiosa RNGD 是第二代數據中心加速器。該公司的技術基於獨特的張量收縮處理器 (TCP) 架構,能夠高效處理深度學習的張量運算,相比 NVIDIA 的 H100 和 L40S 等競爭對手,提供更高的性能功耗比。公司還提供全面的 AI 部署軟件解決方案,包括模型壓縮、服務框架和運行時優化工具。
張量收縮處理器架構: 專為高效張量運算設計的專有架構,性能優於傳統矩陣乘法方法
節能設計: 150W TDP 設計,提供高性能功耗比,顯著低於競爭對手的功耗
全面的軟件堆棧: 包括編譯器、分析器、調試器和 API 在內的完整工具包,用於優化和部署大型語言模型
靈活的內存管理: 基於張量形狀的先進內存資源優化,容量為 48GB,帶寬為 1.5 TB/s
FuriosaAI 的用例
企業 AI 部署: 在企業數據中心高效部署大型語言模型,同時降低功耗和冷卻要求
雲計算服務: 為需要可擴展和節能解決方案的雲服務提供商提供高性能 AI 推理
媒體和娛樂: 使用 RNGDS 變體進行創意工作負載和視頻 AI 應用的專門處理
優點
相比競爭對手,能源效率更高
全面的軟件生態系統,便於部署
由於功耗和冷卻要求降低,總擁有成本更低
缺點
相比 NVIDIA H100,原始性能較低
市場上的新進入者,生態系統相對不成熟
如何使用 FuriosaAI
註冊早期訪問計劃: 聯繫 [email protected] 以註冊早期訪問計劃 (EAP) 並同意最終用戶許可協議 (EULA)
設置身份驗證: 註冊後,登錄 FuriosaAI IAM 並創建一個新的 API 密鑰,該密鑰將用於訪問 FuriosaAI 服務
配置 APT 存儲庫: 在 Ubuntu/Debian 上設置 FuriosaAI APT 存儲庫,通過註冊公有簽名密鑰並配置 API 密鑰身份驗證
安裝所需軟件包: 通過已配置的存儲庫使用 APT 软件包管理器安裝內核驅動程序、固件和運行時庫
安裝 SDK: 使用 pip 安裝 Furiosa SDK,其中包括編譯器、分析器和其他開發工具
安裝模型庫: 安裝 furiosa-models 軟件包以訪問針對 FuriosaAI NPU 進行優化的預訓練和預量化模型
開發: 使用 Python/C SDK、運行時庫和命令行工具開發利用 FuriosaAI NPU 硬件的 AI 應用程序
模型部署: 使用 furiosa-serving 軟件包部署模型,並利用提供的 API 在 FuriosaAI 硬件上進行推理
FuriosaAI 常見問題
FuriosaAI 是一家於 2017 年成立的 AI 晶片初創公司,專門開發下一代 NPU(神經處理單元)產品,用於 AI 部署,其最新產品為 Furiosa RNGD 資料中心加速器。
FuriosaAI 網站分析
FuriosaAI 流量和排名
11K
每月訪問量
#2304231
全球排名
#1937
類別排名
流量趨勢:Aug 2024-Oct 2024
FuriosaAI 用戶洞察
00:01:12
平均訪問時長
1.96
每次訪問的頁面數
41%
用戶跳出率
FuriosaAI 的主要地區
KR: 63.15%
US: 17.75%
JP: 11.25%
TH: 3.98%
IN: 3.48%
Others: 0.39%