如何使用 Tensorfuse
連接您的雲帳戶: 將您的雲帳戶(AWS、GCP 或 Azure)連接到 Tensorfuse。Tensorfuse 將自動配置資源以管理您的基礎設施。
描述您的環境: 使用 Python 描述您的容器映像和硬件規格。無需 YAML。例如,使用 tensorkube.Image 指定基礎映像、Python 版本、apt 包、pip 包、環境變量等。
定義模型加載函數: 使用 @tensorkube.entrypoint 裝飾器定義一個將模型加載到 GPU 上的函數。指定要使用的映像和 GPU 類型。
定義推理函數: 使用 @tensorkube.function 裝飾器定義您的推理函數。該函數將處理傳入的請求並返回預測結果。
部署您的模型: 通過 Tensorfuse SDK 將您的 ML 模型部署到自有雲。您的模型和數據將保留在您的私有雲中。
開始使用 API: 通過 Tensorfuse 提供的 OpenAI 兼容 API 端點開始使用您的部署。
監控和擴展: Tensorfuse 將根據傳入流量自動擴展您的部署,從零到數百個 GPU 工作者在幾秒鐘內完成。
Tensorfuse 常見問題
Tensorfuse 是一個平台,允許用戶在其自己的雲基礎設施上部署和自動擴展生成式 AI 模型。它提供私有雲(如 AWS、Azure 和 GCP)上的無服務器 GPU 計算能力。
查看更多