運行 Grok 2 的硬體要求是什麼？

您需要 8 個 GPU，每個 GPU 具有超過 40GB 的記憶體，因為檢查點使用 TP=8（張量並行）。

如何下載 Grok 2 模型？

您可以使用 Hugging Face CLI 命令下載它：'hf download xai-org/grok-2 --local-dir /local/grok-2'。下載應包含 42 個文件，約為 500 GB。

運行 Grok 2 需要什麼軟體？

您需要從 GitHub 安裝 SGLang 推理引擎（0.5.1 或更高版本）才能提供模型。

Grok 2 在什麼許可下發布？

該模型根據 Grok 2 社區許可協議發布。

Grok 2.5 (OSS Ver.)

Q: 下載後如何提供模型？

使用 SGLang 啟動推理伺服器，命令為：'python3 -m sglang.launch_server --model /local/grok-2 --tokenizer-path /local/grok-2/tokenizer.tok.json --tp 8 --quantization fp8 --attention-backend triton'

WebsiteFreeLarge Language Models (LLMs)AI Code Assistant

Grok 2.5 是 xAI 強大的開源大型語言模型，具有 314B 參數和混合專家架構，作為他們去年最佳模型在社群許可下發布。

訪問網站

宣傳此工具

https://huggingface.co/xai-org/grok-2?ref=producthunt&utm_source=aipure

概覽
替代方案

產品資訊

更新時間：2025年08月26日

什麼是 Grok 2.5 (OSS Ver.)

Grok 2.5 代表了 xAI 對開源 AI 的重大貢獻，它是一個 500GB 的大型模型，以前是他們效能最佳的模型。它建立在具有 3140 億參數的混合專家 (MoE) 架構之上，具有 8 個專家，其中 2 個用於推論，從而在操作期間產生約 1150 億個活動參數。該模型保持了與其前身 Grok-1 相同的核心功能，同時根據社群許可協議提供給開發人員和研究人員。

Grok 2.5 (OSS Ver.) 的主要功能

Grok 2.5是由xAI發布的開源大型語言模型，採用混合專家（MoE）架構，總參數約為3140億個，具有8個專家（推論時有2個處於活動狀態）。該模型需要大量的計算資源（8個GPU，每個GPU具有>40GB的記憶體），並且以約500GB的權重提供，並根據Grok 2社群授權協議獲得授權。

MoE架構: 採用具有3140億個參數的混合專家架構，具有8個專家，其中2個在推論期間處於活動狀態，從而產生1150億個活動參數

先進的推論引擎: 與SGLang推論引擎（v0.5.1+）相容，支援fp8量化和Triton注意力後端等功能

專用聊天範本: 實作一個經過後訓練的模型結構，需要特定的聊天範本才能實現最佳的互動和回應產生

Grok 2.5 (OSS Ver.) 的使用案例

研究與開發: 使AI研究人員和開發人員能夠研究和實驗大型語言模型和MoE架構

模型微調: 作為一個基礎模型，供希望透過微調開發專業AI應用程式的組織使用

學術研究: 為學術機構提供研究先進AI架構及其功能的機會

優點

開源可用性允許社群訪問和開發

具有重要參數計數的先進MoE架構

支援現代最佳化技術，如fp8量化

缺點

需要大量的計算資源（8個GPU，每個GPU具有>40GB的記憶體）

需要大量的儲存空間（500GB）

由於硬體要求，業餘愛好者的可訪問性有限

如何使用 Grok 2.5 (OSS Ver.)

系統需求檢查: 確保您有 8 個 GPU，每個 GPU 至少有 40GB 記憶體，因為 Grok 2 需要大量的計算資源，TP=8（張量並行）

下載模型權重: 執行命令：'hf download xai-org/grok-2 --local-dir /local/grok-2'。下載量約為 500GB，包含 42 個檔案。如果在下載過程中發生錯誤，請重試。

安裝 SGLang 推論引擎: 從 https://github.com/sgl-project/sglang/ 安裝最新的 SGLang 推論引擎（版本 >= v0.5.1）

啟動推論伺服器: 執行命令：'python3 -m sglang.launch_server --model /local/grok-2 --tokenizer-path /local/grok-2/tokenizer.tok.json --tp 8 --quantization fp8 --attention-backend triton'

測試模型: 使用命令傳送測試請求：'python3 -m sglang.test.send_one --prompt "Human: What is your name?<|separator|>\n\nAssistant:"' - 模型應回應並將自己識別為 Grok

審閱許可條款: 在使用模型之前，請確保符合 Grok 2 社群許可協議