FuriosaAI Introduction
FuriosaAI adalah perusahaan semikonduktor yang mengembangkan akselerator AI berkinerja tinggi dan efisien energi yang dirancang khusus untuk penyebaran LLM dan multimodal di pusat data.
Lihat Lebih BanyakApa itu FuriosaAI
FuriosaAI adalah perusahaan teknologi yang mengkhususkan diri dalam pengembangan chip akselerator AI, dengan produk unggulannya adalah akselerator pusat data Furiosa RNGD Gen 2. Perusahaan ini fokus pada penciptaan solusi inferensi AI yang kuat dan efisien untuk lingkungan perusahaan dan cloud. Teknologinya dibangun di atas proses manufaktur semikonduktor yang canggih menggunakan teknologi TSMC 5nm, menawarkan spesifikasi yang kompetitif dengan pemimpin industri seperti NVIDIA sambil mempertahankan konsumsi daya yang jauh lebih rendah.
Bagaimana cara kerja FuriosaAI?
Di inti teknologi FuriosaAI adalah arsitektur Tensor Contraction Processor (TCP), yang dirancang khusus untuk operasi kontraksi tensor yang efisien - suatu perhitungan dasar dalam pembelajaran mendalam modern. Tidak seperti akselerator tradisional yang menggunakan instruksi perkalian matriks berukuran tetap, pendekatan FuriosaAI memperlakukan operasi tensor sebagai warga kelas satu, memungkinkan pemrosesan yang lebih efisien. Sistem ini didukung oleh tumpukan perangkat lunak yang komprehensif yang mencakup kompresor model, kerangka penyajian, runtime, kompiler, profiler, dan debugger. Ekosistem perangkat lunak ini memfasilitasi penyebaran model bahasa besar yang mulus dan integrasi dengan kerangka kerja populer seperti PyTorch 2.x.
Manfaat dari FuriosaAI
Teknologi FuriosaAI menawarkan beberapa keuntungan utama: efisiensi energi yang superior dengan hanya 150W TDP dibandingkan dengan pesaing yang 350-700W, biaya kepemilikan total yang lebih rendah melalui pengurangan konsumsi energi dan kebutuhan pendinginan, serta kinerja tinggi untuk beban kerja inferensi AI. Sistem ini memberikan fleksibilitas dan perlindungan masa depan melalui arsitektur yang dapat diprogram, memungkinkan transisi yang mudah antara berbagai model dan beban kerja. Selain itu, pendekatannya yang berbasis cloud dengan kontainerisasi, SR-IOV, dan dukungan Kubernetes memastikan pemanfaatan yang lebih tinggi dan fleksibilitas penyebaran untuk operasi skala kecil dan besar.
Lihat Selengkapnya