Arch Howto
Arch adalah gerbang Layer 7 cerdas yang dibangun di atas Envoy Proxy yang menyediakan penanganan yang aman, observabilitas yang kuat, dan integrasi yang mulus dari prompt dengan API untuk membangun agen AI yang cepat, kuat, dan dipersonalisasi.
Lihat Lebih BanyakCara Menggunakan Arch
Instal Prasyarat: Pastikan Anda telah menginstal Docker (v24), Docker compose (v2.29), Python (v3.10), dan Poetry (v1.8.3) di sistem Anda. Poetry diperlukan untuk pengembangan lokal.
Buat Lingkungan Virtual Python: Buat dan aktifkan lingkungan virtual Python baru menggunakan: python -m venv venv && source venv/bin/activate (atau venv\Scripts\activate di Windows)
Instal Arch CLI: Instal alat CLI gerbang Arch menggunakan pip: pip install archgw
Buat File Konfigurasi: Buat file konfigurasi (misalnya, arch_config.yaml) yang mendefinisikan penyedia LLM Anda, target prompt, endpoint, dan pengaturan lain seperti prompt sistem dan parameter
Konfigurasi Penyedia LLM: Dalam file konfigurasi, atur penyedia LLM Anda (misalnya, OpenAI) dengan kunci akses dan pengaturan model yang sesuai
Tentukan Target Prompt: Konfigurasi target prompt dalam file konfigurasi, menentukan endpoint, parameter, dan deskripsi untuk setiap fungsi target
Siapkan Endpoint: Tentukan endpoint aplikasi Anda dalam file konfigurasi, termasuk pengaturan koneksi dan batas waktu
Inisialisasi Klien: Buat instance klien OpenAI yang mengarah ke gerbang Arch (misalnya, base_url='http://127.0.0.1:12000/v1') dalam kode aplikasi Anda
Lakukan Panggilan API: Gunakan klien yang telah dikonfigurasi untuk melakukan panggilan API melalui Arch, yang akan menangani pengalihan, keamanan, dan observabilitas
Pantau Kinerja: Gunakan fitur observabilitas bawaan Arch untuk memantau metrik, jejak, dan log untuk interaksi LLM Anda
FAQ Arch
Arch adalah gateway Layer 7 yang cerdas dirancang untuk melindungi, mengamati, dan mempersonalisasi aplikasi LLM dengan API. Ini dibangun di atas Envoy Proxy dan dirancang dengan LLM yang dibangun khusus untuk penanganan yang aman, observabilitas yang kuat, dan integrasi yang mulus dari prompt dengan API.
Artikel Populer
Apple Meluncurkan Final Cut Pro 11: Pengeditan Video AI untuk Mac, iPad, dan iPhone
Nov 14, 2024
AI Perplexity Memperkenalkan Iklan untuk Merevolusi Platformnya
Nov 13, 2024
X Berencana Meluncurkan Versi Gratis Chatbot AI Grok untuk Bersaing dengan Raksasa Industri
Nov 12, 2024
Generator Gambar AI Terbaik: Apakah Flux 1.1 Pro Ultra yang Terbaik Dibandingkan dengan Midjourney, Recraft V3, dan Ideogram
Nov 12, 2024
Lihat Selengkapnya