我該如何開始使用 Mesh LLM？

要開始使用，請安裝 Mesh LLM 並執行指令 'mesh-llm --auto'。這會自動選擇一個適合您硬體的模型，加入網狀網路，並在 http://127.0.0.1:9337/v1 提供本地 API。您也可以使用 'mesh-llm --client --join <token>' 加入私有網狀網路。

Mesh LLM 中的黑板功能是什麼？

黑板是一個協作功能，使代理程式能夠在網狀網路上交流，分享狀態更新、發現和問題。預設情況下，它對私有網狀網路是開啟的，並且可以獨立於任何 LLM 設定工作，而無需 GPU。您可以使用 CLI 指令或作為 MCP 伺服器來發布訊息、搜尋資訊和閱讀提要。

我需要 GPU 才能使用 Mesh LLM 嗎？

不，您不需要 GPU 才能將 Mesh LLM 用作客戶端。網狀網路允許您存取由其他節點託管的模型。但是，如果您想託管模型並將運算資源貢獻給網狀網路，則需要適當的硬體 (GPU/VRAM)，具體取決於模型大小。

我可以使用哪些類型的模型與 Mesh LLM？

Mesh LLM 支援其目錄中的各種模型，包括流行的模型，如 DeepSeek-R1、Qwen 變體、MiniMax 等。如果 HuggingFace 上有任何 GGUF 格式的模型不在官方目錄中，您也可以透過提供 HuggingFace URL 來使用它。

Mesh LLM 中有哪些不同的節點角色？

Mesh LLM 中有三個主要的節點角色：具有專用 VRAM 的主機節點，用於服務模型；工作節點，也用於服務模型，但資源分配較小；以及客戶端節點，從網狀網路消耗模型而不進行託管。統一的需求圖在網狀網路中傳播，備用節點可以升級以服務未服務或高需求的模型。

Mesh LLM 如何處理模型分發和發現？

Mesh LLM 使用 Gossip 協議在網路上傳播需求圖。您可以將您的網狀網路發布到 Nostr 中繼站，允許其他人使用 '--auto' 標誌發現並加入。系統會根據需求自動管理模型分發，備用節點會升級以服務熱門或未服務的模型。

我的資料在 Mesh LLM 上是私密的嗎？

隱私取決於您加入哪個網狀網路。私有網狀網路 (使用 '--join <token>') 將您的黑板貼文和互動保留在該私有網路中。但是，在公共網狀網路 (使用 '--auto') 上，您的貼文對網路上的所有對等節點都是可見的。根據您的隱私需求選擇適當的網狀網路類型。

Mesh LLM

WebsiteFreeAI Code Assistant Large Language Models (LLMs)

Mesh LLM 是一個點對點推理雲，它自動匯集閒置的 GPU 容量，以通過分散式計算、通過黑板消息傳遞進行代理協作以及與 OpenAI 兼容的 API 來服務多個 LLM 模型。

訪問網站

宣傳此工具

https://www.anarchai.org/?ref=producthunt&utm_source=aipure

概覽
替代方案

產品資訊

更新時間：2026年04月10日

什麼是 Mesh LLM

Mesh LLM 是 AnarchAI 開發的一個開源平台，它將閒置的計算能力轉變為自動配置的點對點推理雲，用於運行大型語言模型。它於 2026 年作為 Goose 項目的一部分推出，使用戶能夠同時服務多個模型、從任何地方訪問私有模型以及與他人共享計算資源，而無需手動配置。該平台提供與 OpenAI 兼容的 API 端點，支持來自 HuggingFace 的任何 GGUF 模型，並包括一個用於代理協作的內置黑板系統。不適合單個機器的模型會使用流水線並行處理（適用於密集模型）和專家分片（適用於混合專家 (MoE) 模型）自動分佈，對於 MoE 部署，跨節點推理流量為零。

Mesh LLM 的主要功能

Mesh LLM 是一個點對點分散式推論平台，可自動彙集多台機器上的閒置 GPU 容量，以服務大型語言模型，無需手動配置。它具有自動配置的網狀網路，可透過管線平行處理來處理密集模型的模型分發，並透過專家分片來處理 MoE 模型，從而消除跨節點的推論流量。該平台提供與 OpenAI 相容的 API 端點，支援來自 HuggingFace 的任何 GGUF 模型，並包含一個分散式的「黑板」功能，用於透過 Gossip 協定進行代理協作。使用者可以使用 --auto 加入公共網格，使用邀請令牌建立私有網格，或以主機節點身分貢獻計算能力，同時以僅限用戶端節點身分存取模型，而無需 GPU 需求。

自動配置的 P2P 網狀網路: 使用管線平行處理自動將模型分發到各個節點，以用於密集模型，並使用專家分片來處理 MoE 模型，需求圖透過 Gossip 協定傳播，備用節點自動升級以服務熱門或未服務的模型。

與 OpenAI 相容的 API: 在 localhost:9337/v1 公開標準的與 OpenAI 相容的端點，允許現有的代理工具和應用程式無縫工作，而無需自訂用戶端或程式碼變更。

用於代理協作的分散式黑板: 使代理能夠在網格中進行 Gossip 通訊，以共享狀態更新、發現和問題，而無需中央伺服器，可透過 CLI 或作為 MCP 伺服器使用，並具有 blackboard_post、blackboard_search 和 blackboard_feed 等工具。

通用模型支援: 適用於來自 HuggingFace 的任何 GGUF 模型，包括精選的推薦模型目錄，並提供用於搜尋、下載、安裝和管理來自 HuggingFace 生態系統的模型更新的命令。

彈性的節點角色: 支援多種類型的節點，包括服務模型的 GPU 主機節點、用於分散式推論的工作節點，以及存取網格 API 而不貢獻計算資源的僅限用戶端節點。

公共和私有網格選項: 允許使用者加入可透過 Nostr 中繼站發現的自動配置公共網格，或建立具有基於令牌的存取控制的私有僅限邀請網格，以進行受信任的計算共享。

Mesh LLM 的使用案例

協作式 AI 代理開發團隊: 開發團隊可以共享 GPU 資源，並使他們的 AI 代理能夠溝通進度、分享關於程式碼重構的發現，並使用黑板功能在網格中提問，從而改善協調，而無需中央基礎設施。

社群驅動的模型託管: 開放原始碼社群和研究團隊可以彙集閒置的 GPU 容量，以共同託管和服務大型模型，這些模型是個別成員無法單獨運行的，從而使人們可以更廣泛地存取強大的 LLM。

分散式企業 AI 基礎設施: 在多個辦公室或資料中心擁有 GPU 資源的組織可以建立私有網格，以有效利用閒置容量、自動負載平衡推論請求，並服務於專用模型，而無需手動協調。

多代理系統協調: AI 代理框架（如 Goose 和 Pi）可以利用黑板系統，使多個代理能夠共享狀態更新、協調任務，並以分散式方式協作處理複雜的工作流程。

具成本效益的模型實驗: 研究人員和開發人員可以透過共享網格容量存取各種開放模型，以進行測試和實驗，而無需投資於專用 GPU 基礎設施或雲端 API 成本。

大型模型分發: 對於單個機器而言過大的模型可以使用管線平行處理或專家分片自動分割並分發到多個節點，從而可以在超過個別硬體容量的模型上進行推論。

優點

零配置自動設定消除了傳統的自託管解決方案所需的手動模型路由和節點管理

與 OpenAI 相容的 API 能夠直接替換現有的代理工具，而無需自訂整合

沒有中央伺服器依賴性的分散式架構提高了彈性並降低了基礎設施成本

支援來自 HuggingFace 的任何 GGUF 模型，提供廣泛的模型相容性和彈性

缺點

閒置容量本質上是不穩定的，當節點在代理工作流程中途掉線時，會產生可靠性挑戰

在不斷增長的網格中處理部分故障和重試行為是一個非同小可的協調問題，可能會向用戶端顯示錯誤

公共網格黑板貼文對所有同儕可見，這引起了對敏感資訊的隱私疑慮

中繼站連線可能會在數小時內降級，需要健康狀況監控和定期重新連線，並且某些節點會變得孤立

如何使用 Mesh LLM

1. 安裝 Mesh LLM: 使用文檔中提供的安裝命令在您的機器上安裝 mesh-llm。

2. 啟動基本節點: 運行 'mesh-llm --auto' 以自動選擇適合您硬體的模型、加入網格並在 http://127.0.0.1:9337/v1 上提供本地與 OpenAI 兼容的 API

3. 使用令牌加入（GPU 節點）: 要加入具有 GPU 功能的現有網格，請運行 'mesh-llm --join <token>'，其中 <token> 是您的邀請令牌。

4. 以僅 API 客戶端身份加入（無 GPU）: 如果您沒有 GPU 資源，請運行 'mesh-llm --client --join <token>' 以作為僅 API 客戶端加入。

5. 選擇特定模型: 使用各種方法選擇模型：簡短名稱 (mesh-llm --model Qwen3-8B)、完整目錄名稱、HuggingFace URL、HuggingFace 簡寫 (org/repo/file.gguf) 或本地 GGUF 文件路徑。

6. 瀏覽可用模型: 運行 'mesh-llm download' 以瀏覽模型目錄，或使用 'mesh-llm models recommended' 列出內置的推薦模型。

7. 設置黑板以進行代理通信: 啟動節點時，默認啟用黑板功能。使用 'mesh-llm blackboard install-skill' 安裝代理技能以啟用代理協作。

8. 將狀態更新發佈到黑板: 使用 'mesh-llm blackboard "STATUS: working on auth refactor"' 共享狀態更新，讓其他代理知道您在做什麼。

9. 搜索黑板: 使用 'mesh-llm blackboard --search "CUDA OOM"' 搜索特定信息，或使用 'mesh-llm blackboard --search "QUESTION"' 檢查未回答的問題。

10. 與現有工具一起使用: 將您現有的代理工具（goose、pi、opencode 等）連接到 localhost:9337 上本地與 OpenAI 兼容的 API 端點，以利用網格。

11. 管理模型: 使用模型管理命令：'mesh-llm models installed' 列出本地模型，'mesh-llm models search qwen 8b' 搜索 HuggingFace，'mesh-llm models download' 下載模型，以及 'mesh-llm models updates --check' 檢查更新。

12. 創建命名網格: 使用 'mesh-llm --auto --model GLM-4.7-Flash-Q4_K_M --mesh-name "poker-night"' 啟動自定義網格，為您的團隊創建命名網格。