Tensorfuse 사용 방법
클라우드 계정 연결: 클라우드 계정(AWS, GCP 또는 Azure)을 Tensorfuse에 연결합니다. Tensorfuse는 인프라를 관리하기 위해 자동으로 자원을 프로비저닝합니다.
환경 설명: Python을 사용하여 컨테이너 이미지 및 하드웨어 사양을 설명합니다. YAML은 필요하지 않습니다. 예를 들어, tensorkube.Image를 사용하여 기본 이미지, Python 버전, apt 패키지, pip 패키지, 환경 변수 등을 지정합니다.
모델 로딩 함수 정의: 모델을 GPU에 로드하는 함수를 정의하기 위해 @tensorkube.entrypoint 데코레이터를 사용합니다. 사용할 이미지와 GPU 유형을 지정합니다.
추론 함수 정의: 추론 함수를 정의하기 위해 @tensorkube.function 데코레이터를 사용합니다. 이 함수는 들어오는 요청을 처리하고 예측을 반환합니다.
모델 배포: Tensorfuse SDK를 통해 자신의 클라우드에 ML 모델을 배포합니다. 모델과 데이터는 개인 클라우드 내에 유지됩니다.
API 사용 시작: Tensorfuse에서 제공하는 OpenAI 호환 API 엔드포인트를 통해 배포를 사용하기 시작합니다.
모니터링 및 확장: Tensorfuse는 들어오는 트래픽에 따라 배포를 자동으로 확장하여 몇 초 만에 제로에서 수백 개의 GPU 작업자로 확장합니다.
Tensorfuse 자주 묻는 질문
Tensorfuse는 사용자가 자신의 클라우드 인프라에서 생성 AI 모델을 배포하고 자동으로 확장할 수 있도록 하는 플랫폼입니다. AWS, Azure 및 GCP와 같은 개인 클라우드에서 서버리스 GPU 컴퓨팅 기능을 제공합니다.
더 보기