Tensorfuse Howto
Tensorfuse adalah platform GPU tanpa server yang memungkinkan penyebaran yang mudah dan auto-scaling model AI generatif di infrastruktur cloud Anda sendiri.
Lihat Lebih BanyakCara Menggunakan Tensorfuse
Sambungkan akun cloud Anda: Sambungkan akun cloud Anda (AWS, GCP, atau Azure) ke Tensorfuse. Tensorfuse akan secara otomatis menyediakan sumber daya untuk mengelola infrastruktur Anda.
Deskripsikan lingkungan Anda: Gunakan Python untuk mendeskripsikan gambar kontainer dan spesifikasi perangkat keras Anda. Tidak diperlukan YAML. Misalnya, gunakan tensorkube.Image untuk menentukan gambar dasar, versi Python, paket apt, paket pip, variabel lingkungan, dll.
Tentukan fungsi pemuatan model Anda: Gunakan dekorator @tensorkube.entrypoint untuk mendefinisikan fungsi yang memuat model Anda ke GPU. Tentukan gambar dan jenis GPU yang akan digunakan.
Tentukan fungsi inferensi Anda: Gunakan dekorator @tensorkube.function untuk mendefinisikan fungsi inferensi Anda. Fungsi ini akan menangani permintaan yang masuk dan mengembalikan prediksi.
Sebarkan model Anda: Sebarkan model ML Anda ke cloud Anda sendiri melalui SDK Tensorfuse. Model dan data Anda akan tetap berada dalam cloud pribadi Anda.
Mulai menggunakan API: Mulailah menggunakan penyebaran Anda melalui endpoint API yang kompatibel dengan OpenAI yang disediakan oleh Tensorfuse.
Pantau dan skala: Tensorfuse akan secara otomatis menskalakan penyebaran Anda sebagai respons terhadap lalu lintas yang masuk, dari nol hingga ratusan pekerja GPU dalam hitungan detik.
FAQ Tensorfuse
Tensorfuse adalah platform yang memungkinkan pengguna untuk menerapkan dan melakukan skala otomatis model AI generatif di infrastruktur cloud mereka sendiri. Ini menyediakan kemampuan komputasi GPU tanpa server di cloud pribadi seperti AWS, Azure, dan GCP.
Lihat Selengkapnya