Arch Come Usare
Arch è un gateway intelligente Layer 7 costruito su Envoy Proxy che fornisce una gestione sicura, un'osservabilità robusta e un'integrazione senza soluzione di continuità dei prompt con le API per costruire agenti AI veloci, robusti e personalizzati.
Visualizza AltroCome usare Arch
Installa i Prerequisiti: Assicurati di avere Docker (v24), Docker compose (v2.29), Python (v3.10) e Poetry (v1.8.3) installati sul tuo sistema. Poetry è necessario per lo sviluppo locale.
Crea un Ambiente Virtuale Python: Crea e attiva un nuovo ambiente virtuale Python usando: python -m venv venv && source venv/bin/activate (o venv\Scripts\activate su Windows)
Installa Arch CLI: Installa lo strumento CLI del gateway Arch usando pip: pip install archgw
Crea il File di Configurazione: Crea un file di configurazione (ad es., arch_config.yaml) definendo i tuoi fornitori LLM, obiettivi dei prompt, endpoint e altre impostazioni come prompt di sistema e parametri
Configura i Fornitori LLM: Nel file di configurazione, imposta i tuoi fornitori LLM (ad es., OpenAI) con le chiavi di accesso appropriate e le impostazioni del modello
Definisci gli Obiettivi dei Prompt: Configura gli obiettivi dei prompt nel file di configurazione, specificando endpoint, parametri e descrizioni per ciascuna funzione target
Imposta gli Endpoint: Definisci gli endpoint della tua applicazione nel file di configurazione, inclusi impostazioni di connessione e timeout
Inizializza il Client: Crea un'istanza del client OpenAI che punta al gateway Arch (ad es., base_url='http://127.0.0.1:12000/v1') nel tuo codice applicativo
Effettua Chiamate API: Usa il client configurato per effettuare chiamate API tramite Arch, che gestirà il routing, la sicurezza e l'osservabilità
Monitora le Prestazioni: Usa le funzionalità di osservabilità integrate di Arch per monitorare metriche, tracce e log per le tue interazioni LLM
FAQ di Arch
Arch è un gateway intelligente di livello 7 progettato per proteggere, osservare e personalizzare le applicazioni LLM con API. È costruito su Envoy Proxy ed è progettato con LLM specifici per una gestione sicura, una robusta osservabilità e un'integrazione senza soluzione di continuità dei prompt con le API.
Articoli Popolari
12 Giorni di Aggiornamenti OpenAI 2024
Dec 18, 2024
Google presenta il generatore di immagini AI di nuova generazione Imagen 3
Dec 17, 2024
Google presenta Gemini Gems e Imagen 3 per una creatività potenziata
Dec 17, 2024
Veo 2: Il Nuovo Modello di Generazione Video all'Avanguardia di Google Entra in Scena
Dec 17, 2024
Visualizza altro