我如何在 RunInfra 上建立我的第一個管道？

您可以用純英文描述您想要部署的內容（例如，一個使用特定模型的延遲優化支援副駕駛）。RunInfra 隨後會建立並優化管道，您可以透過聊天迭代以完善需求，然後進行部署。

RunInfra 支援哪些模型？

RunInfra 支援 Hugging Face 經過驗證的開放模型，涵蓋多個類別，包括大型語言模型 (LLM)、語音 (ASR)、嵌入、視覺和圖像生成。如果模型受限或不受支援，RunInfra 會在您開始之前標記出來。

RunInfra 支援哪些服務引擎？

RunInfra 支援多種推論/服務引擎，包括 vLLM、SGLang、TensorRT-LLM、vLLM Omni、TEI 和 Transformers，並且它會對相容的引擎進行基準測試，而不是假設只有一種。

RunInfra 執行哪些類型的優化？

RunInfra 會對配置進行分析和基準測試，並可能應用量化、KV 快取調整（包括分頁 KV 快取）、推測解碼、前綴快取、連續批處理、FlashAttention v2、CUDA 圖形捕獲和服務配置調整等技術，根據測量結果選擇最佳的速度/記憶體/成本權衡。

我可以將管道部署為 API 嗎？

是的。支援的管道可以部署為 REST 端點（一鍵式）。如果管道尚未可部署，RunInfra 會指示原因，而不是部署一個損壞的端點。

我可以在哪裡部署優化的堆疊？

您可以在 RunInfra 的託管雲端上部署，或匯出並部署到您自己的基礎設施。支援的部署目標包括 RunInfra Cloud、RunPod、Modal 和 Vast.ai（可選擇部署到您自己的 RunPod/Modal 帳戶）。

RunInfra 與使用閉源 AI API 有何不同？

閉源 API 抽象了模型和基礎設施。RunInfra 專注於開放模型，並為您提供一個可檢查、經過基準測試、可移植的部署套件，以便您可以擁有模型/運行時/GPU 堆疊，並根據您自己的延遲、吞吐量、VRAM 和成本目標進行優化。

我的資料在 RunInfra 上安全嗎？

RunInfra 聲明它在傳輸和靜止時使用加密，在隔離的基礎設施上運行，對推論資料零保留，不使用您的推論資料來訓練模型，並且符合 SOC 2 Type II 標準。

RunInfra

WebsitePaidAI Code Assistant AI DevOps Assistant

RunInfra 將簡單的英語要求轉化為生產 AI 推理端點，方法是基準測試 GPU、調整服務堆疊（引擎、核心、量化）以及部署或匯出可檢查、可移植的部署套件。

訪問網站

宣傳此工具

https://runinfra.ai/?ref=producthunt&utm_source=aipure

概覽
影片
替代方案

產品資訊

更新時間：2026年07月02日

什麼是 RunInfra

RunInfra 是 RightNow 推出的人工智慧模型最佳化和推理基礎設施平台，可幫助團隊在生產環境中運行開源模型，而無需將部署視為黑箱。您描述所需的推理工作負載（模型、延遲/成本目標、硬體限制），RunInfra 會建立一個可測量的服務堆疊，您可以將其部署為託管 API 或匯出以進行自我託管。它支援廣泛的開源模型（LLM、嵌入、ASR/TTS、視覺）和常見的服務引擎，同時強調可重現的基準測試、成本追蹤和最終堆疊的所有權。

RunInfra 的主要功能

RunInfra 是一個原生聊天平台，用於將開源/「開放權重」AI 模型從選擇階段帶到生產推斷階段：您描述所需的端點/工作負載，它會對兼容的服務引擎和 GPU 選項進行基準測試，應用運行時和內核級優化（例如，量化、FlashAttention、批處理、KV 緩存調整），然後部署生產 API 或導出可檢查、可運行的部署套件，以便您的團隊能夠擁有並重現具有測量延遲/吞吐量/VRAM/成本結果的成功堆棧。

純英文管道構建器: 描述您想要部署的推斷工作負載；RunInfra 將其轉化為執行計劃/運行手冊，捕捉模型、引擎、性能目標和約束，而無需手寫配置。

模型 + 引擎比較和基準測試: 自動比較服務引擎（例如 vLLM、SGLang、TensorRT-LLM、TEI、Transformers）並基準測試真實性能指標，如 p95/p99 延遲、吞吐量、VRAM 適配和每百萬令牌的成本。

跨供應商的 GPU 適配: 評估 GPU 候選者（例如 L4、A10、L40S、RTX 4090、A100、H100、H200、B200）並幫助選擇最佳的成本/性能選項，然後部署到 RunInfra Cloud 或您自己的帳戶（Modal、RunPod、Vast.ai）。

推斷優化和內核/運行時調整: 在支持的情況下應用優化——量化（例如 AWQ int4）、FlashAttention v2、連續批處理、分頁 KV 緩存、CUDA 圖捕獲、推測解碼、前綴緩存和服務配置調整——以降低延遲和成本，同時提高吞吐量。

可導出、可檢查的部署套件: 生成基準「收據」以及可移植堆棧（例如 Dockerfile、compose/K8s 清單、腳本、runinfra.yaml），以便團隊可以重現結果、修改設置並避免黑盒鎖定。

生產 API 兼容性 + 安全態勢: 支持 OpenAI-SDK 兼容的使用模式（每個站點副本），並強調企業控制，例如端到端加密、隔離的 GPU 基礎設施、零數據保留和 SOC 2 Type II 聲明。

RunInfra 的使用案例

SaaS LLM 聊天或副駕駛端點: 部署由開放模型（例如 Llama、Qwen、Mistral）支持的 OpenAI 兼容聊天/完成 API，具有經過調整的延遲/吞吐量和每百萬令牌可預測的成本。

客戶支持和聯絡中心自動化: 運行低延遲的指令遵循模型，用於工單分類、響應草擬和代理協助，使用基準測試來滿足 p95 目標，並提供可導出的堆棧以滿足合規性需求。

語音和音頻管道 (ASR/TTS): 提供 Whisper 或 TTS 系統等模型，並進行 p95 和成本檢查，選擇最佳的引擎/GPU 組合以實現實時轉錄或語音生成。

RAG 和搜索基礎設施（嵌入 + 重排序）: 部署嵌入模型（例如 BGE-M3、NV-Embed）和重排序器，並提供批處理吞吐量指標，以優化知識庫和企業搜索的檢索管道。

視覺和多模態推斷: 託管視覺或視覺語言模型（例如 Pixtral、Qwen2-VL、Llama Vision），並進行硬件尺寸調整和運行時調整，以滿足交互式延遲限制。

自託管 AI 的成本優化: 對於從封閉 API 遷移的團隊，RunInfra 有助於找到更便宜的 GPU/引擎/量化配置，並提供可重現的套件以在所選基礎設施上運行。

優點

基於測量、基準驅動的決策（延遲/吞吐量/VRAM/成本），而非假設。

可移植、可檢查的部署工件減少了鎖定，並使團隊能夠擁有和重現。

跨引擎和跨 GPU 優化可以顯著降低成本並提高開放模型的性能。

多個部署目標（託管端點或部署到您自己的雲帳戶）提供了靈活性。

缺點

優化深度和內核調整效益可能因模型/引擎/GPU 而異；並非每個工作負載都會看到顯著收益。

導出/自託管時，操作責任可能會轉移給用戶（監控、擴展、更新）。

與 DIY 基礎設施腳本相比，平台特定的工作流程（聊天/管道構建器）可能需要採用努力。

某些聲明（例如安全保證、「零保留」）可能需要針對受監管環境進行合同驗證。

如何使用 RunInfra

1) 決定您要部署的內容（模型 + 任務 + 優先順序）: 選擇您關心的推理工作負載（例如，聊天 LLM、嵌入、ASR、TTS、視覺語言、圖像生成）。決定您的主要優先順序（最低成本、最低 p95 延遲、最高吞吐量、最佳品質）和任何限制（GPU/VRAM 限制、延遲目標、預算）。

2) 登入 RunInfra 並開啟 Pipeline Builder: 前往 https://runinfra.ai/ 並登入（或註冊）。開啟 Pipeline Builder（儀表板）以開始一個新會話，您可以在其中用簡單的英語描述您的端點。

3) 用簡單的英語描述工作負載: 在建構器提示框中，描述您要運行的內容。包括：(a) 模型名稱（或 Hugging Face 模型），(b) 端點類型（例如，聊天/完成、嵌入），(c) 性能目標（成本/延遲/吞吐量/品質），以及 (d) 任何檢查（VRAM 適用性、p95/p99 延遲）。網站上顯示的範例要求包括：「調整延遲：Qwen 2.5 7B 以實現低延遲」或「擴展檢索：BGE-M3 嵌入與批次吞吐量指標」。

4) 讓 RunInfra 提出計畫（引擎 + GPU + 最佳化）: RunInfra 將起草一個執行計畫，比較相容的服務引擎（例如，vLLM、SGLang、TensorRT-LLM、vLLM Omni、TEI、Transformers）並考慮 GPU 目標（例如，L4、A10、L40S、RTX 4090、A100、H100、H200、B200）。在運行之前審查計畫。

5) 審查並接受最佳化計畫: 該計畫通常列出量化（例如，根據目標選擇 AWQ/GPTQ/FP8/FP16）、FlashAttention/其他融合核心、連續批處理、分頁 KV 快取、CUDA 圖形捕獲、推測解碼、前綴快取、張量並行大小調整、預熱/自動調整和服務配置調整等階段。接受計畫以開始運行。

6) 運行最佳化 + 基準測試作業: RunInfra 執行階段並對候選者進行基準測試。它測量關鍵指標，例如 p95/p99 延遲、首次令牌時間、每個 GPU 的吞吐量、VRAM 使用/適用性以及每 1M 令牌的成本。系統比較基準與最佳化配置，並確定「獲勝」堆疊（引擎 + GPU + 設定）。

7) 檢查基準測試收據（在您發貨之前）: 運行後，檢查記錄測量結果（延遲、吞吐量、VRAM、成本）和所用確切運行時配置的基準測試收據。這旨在可重現，而不是黑箱。

8) 檢查和編輯最佳化運行時配置（可選）: 審查生成的配置（例如，runinfra.yaml）和引擎標誌（批次/並發設定、量化選擇、KV 快取資料類型、前綴快取、推測解碼、GPU 記憶體利用率）。如果您想要不同的權衡，請調整設定，然後在需要時重新運行基準測試。

9) 選擇部署目標（託管或匯出）: 選擇在哪裡運行獲勝堆疊：(a) RunInfra 託管端點（按每百萬令牌計費），或 (b) 匯出並部署到您自己的環境。該網站顯示的目標包括 RunInfra Cloud、您的 RunPod 帳戶、Modal 或您自己的 Modal 工作區。

10) 部署為 API 端點: 將最佳化堆疊部署為推理 API。RunInfra 支援將管道部署為 API，並提供具有自動擴展功能的託管端點選項。部署後，您可以從常見客戶端呼叫端點（該網站提到 Python、TypeScript、curl、LangChain、LlamaIndex、Vercel AI SDK）。

11) 匯出部署套件以進行自我託管（可選）: 如果您想自己擁有並運行堆疊，請匯出生成的部署套件。該平台提供可運行的工件，例如 Dockerfile、啟動腳本（例如，serve.sh/serve.py）、Kubernetes 清單、compose 文件和基準測試報告，以便您可以在其他地方重現測量設置。

12) 操作和迭代（當需求變化時再次最佳化）: 如果您的流量模式、延遲目標、預算或模型發生變化，請重複工作流程：更新簡單的英語要求，重新運行引擎/GPU 之間的比較，並發布新的測量獲勝者。這使性能/成本與您的工作負載保持一致，而不是依賴固定的閉源 API 預設值。