Tensorfuse Anleitung
Tensorfuse ist eine serverlose GPU-Plattform, die eine einfache Bereitstellung und automatische Skalierung von generativen KI-Modellen auf Ihrer eigenen Cloud-Infrastruktur ermöglicht.
Mehr anzeigenWie verwendet man Tensorfuse
Verbinden Sie Ihr Cloud-Konto: Verbinden Sie Ihr Cloud-Konto (AWS, GCP oder Azure) mit Tensorfuse. Tensorfuse wird automatisch die Ressourcen bereitstellen, um Ihre Infrastruktur zu verwalten.
Beschreiben Sie Ihre Umgebung: Verwenden Sie Python, um Ihre Containerbilder und Hardware-Spezifikationen zu beschreiben. Kein YAML erforderlich. Verwenden Sie beispielsweise tensorkube.Image, um das Basisbild, die Python-Version, apt-Pakete, pip-Pakete, Umgebungsvariablen usw. anzugeben.
Definieren Sie Ihre Modell-Ladefunktion: Verwenden Sie den @tensorkube.entrypoint-Dekorator, um eine Funktion zu definieren, die Ihr Modell auf die GPU lädt. Geben Sie das Bild und den GPU-Typ an, der verwendet werden soll.
Definieren Sie Ihre Inferenzfunktion: Verwenden Sie den @tensorkube.function-Dekorator, um Ihre Inferenzfunktion zu definieren. Diese Funktion verarbeitet eingehende Anfragen und gibt Vorhersagen zurück.
Bereitstellen Sie Ihr Modell: Stellen Sie Ihr ML-Modell über das Tensorfuse SDK in Ihrer eigenen Cloud bereit. Ihr Modell und Ihre Daten bleiben in Ihrer privaten Cloud.
Beginnen Sie mit der Nutzung der API: Beginnen Sie mit der Nutzung Ihrer Bereitstellung über einen OpenAI-kompatiblen API-Endpunkt, der von Tensorfuse bereitgestellt wird.
Überwachen und skalieren: Tensorfuse wird Ihre Bereitstellung automatisch als Reaktion auf eingehenden Verkehr skalieren, von null bis zu Hunderten von GPU-Arbeitern in Sekunden.
Tensorfuse FAQs
Tensorfuse ist eine Plattform, die es Benutzern ermöglicht, generative KI-Modelle auf ihrer eigenen Cloud-Infrastruktur bereitzustellen und automatisch zu skalieren. Es bietet serverlose GPU-Computing-Funktionen auf privaten Clouds wie AWS, Azure und GCP.
Mehr anzeigen