Arch Howto
Arch adalah gerbang Layer 7 cerdas yang dibangun di atas Envoy Proxy yang menyediakan penanganan yang aman, observabilitas yang kuat, dan integrasi yang mulus dari prompt dengan API untuk membangun agen AI yang cepat, kuat, dan dipersonalisasi.
Lihat Lebih BanyakInformasi Lebih Lanjut
Cara Menggunakan Arch
Instal Prasyarat: Pastikan Anda telah menginstal Docker (v24), Docker compose (v2.29), Python (v3.10), dan Poetry (v1.8.3) di sistem Anda. Poetry diperlukan untuk pengembangan lokal.
Buat Lingkungan Virtual Python: Buat dan aktifkan lingkungan virtual Python baru menggunakan: python -m venv venv && source venv/bin/activate (atau venv\Scripts\activate di Windows)
Instal Arch CLI: Instal alat CLI gerbang Arch menggunakan pip: pip install archgw
Buat File Konfigurasi: Buat file konfigurasi (misalnya, arch_config.yaml) yang mendefinisikan penyedia LLM Anda, target prompt, endpoint, dan pengaturan lain seperti prompt sistem dan parameter
Konfigurasi Penyedia LLM: Dalam file konfigurasi, atur penyedia LLM Anda (misalnya, OpenAI) dengan kunci akses dan pengaturan model yang sesuai
Tentukan Target Prompt: Konfigurasi target prompt dalam file konfigurasi, menentukan endpoint, parameter, dan deskripsi untuk setiap fungsi target
Siapkan Endpoint: Tentukan endpoint aplikasi Anda dalam file konfigurasi, termasuk pengaturan koneksi dan batas waktu
Inisialisasi Klien: Buat instance klien OpenAI yang mengarah ke gerbang Arch (misalnya, base_url='http://127.0.0.1:12000/v1') dalam kode aplikasi Anda
Lakukan Panggilan API: Gunakan klien yang telah dikonfigurasi untuk melakukan panggilan API melalui Arch, yang akan menangani pengalihan, keamanan, dan observabilitas
Pantau Kinerja: Gunakan fitur observabilitas bawaan Arch untuk memantau metrik, jejak, dan log untuk interaksi LLM Anda
FAQ Arch
Arch adalah gateway Layer 7 yang cerdas dirancang untuk melindungi, mengamati, dan mempersonalisasi aplikasi LLM dengan API. Ini dibangun di atas Envoy Proxy dan dirancang dengan LLM yang dibangun khusus untuk penanganan yang aman, observabilitas yang kuat, dan integrasi yang mulus dari prompt dengan API.
Artikel Populer
12 Hari Pembaruan Konten OpenAI 2024
Dec 18, 2024
Midjourney Meluncurkan Moodboard Mirip Pinterest Setelah Rilis Patchwork
Dec 17, 2024
Google Memperkenalkan Generator Gambar AI Generasi Terbaru Imagen 3
Dec 17, 2024
Google Memperkenalkan Gemini Gems dan Imagen 3 untuk Meningkatkan Kreativitas
Dec 17, 2024
Lihat Selengkapnya