如何使用 Tensorfuse
连接您的云账户: 将您的云账户(AWS、GCP或Azure)连接到Tensorfuse。Tensorfuse将自动配置资源以管理您的基础设施。
描述您的环境: 使用Python描述您的容器镜像和硬件规格。无需YAML。例如,使用tensorkube.Image指定基础镜像、Python版本、apt包、pip包、环境变量等。
定义模型加载函数: 使用@tensorkube.entrypoint装饰器定义一个将模型加载到GPU上的函数。指定要使用的镜像和GPU类型。
定义推理函数: 使用@tensorkube.function装饰器定义您的推理函数。该函数将处理传入请求并返回预测结果。
部署您的模型: 通过Tensorfuse SDK将您的ML模型部署到您的自有云。您的模型和数据将保留在您的私有云中。
开始使用API: 通过Tensorfuse提供的OpenAI兼容API端点开始使用您的部署。
监控和扩展: Tensorfuse将根据传入流量自动扩展您的部署,从零到数百个GPU工作节点仅需几秒钟。
Tensorfuse 常见问题
Tensorfuse 是一个平台,允许用户在自己的云基础设施上部署和自动扩展生成式 AI 模型。它为 AWS、Azure 和 GCP 等私有云提供无服务器 GPU 计算能力。
查看更多