Arch Come Usare
Arch è un gateway intelligente Layer 7 costruito su Envoy Proxy che fornisce una gestione sicura, un'osservabilità robusta e un'integrazione senza soluzione di continuità dei prompt con le API per costruire agenti AI veloci, robusti e personalizzati.
Visualizza AltroCome usare Arch
Installa i Prerequisiti: Assicurati di avere Docker (v24), Docker compose (v2.29), Python (v3.10) e Poetry (v1.8.3) installati sul tuo sistema. Poetry è necessario per lo sviluppo locale.
Crea un Ambiente Virtuale Python: Crea e attiva un nuovo ambiente virtuale Python usando: python -m venv venv && source venv/bin/activate (o venv\Scripts\activate su Windows)
Installa Arch CLI: Installa lo strumento CLI del gateway Arch usando pip: pip install archgw
Crea il File di Configurazione: Crea un file di configurazione (ad es., arch_config.yaml) definendo i tuoi fornitori LLM, obiettivi dei prompt, endpoint e altre impostazioni come prompt di sistema e parametri
Configura i Fornitori LLM: Nel file di configurazione, imposta i tuoi fornitori LLM (ad es., OpenAI) con le chiavi di accesso appropriate e le impostazioni del modello
Definisci gli Obiettivi dei Prompt: Configura gli obiettivi dei prompt nel file di configurazione, specificando endpoint, parametri e descrizioni per ciascuna funzione target
Imposta gli Endpoint: Definisci gli endpoint della tua applicazione nel file di configurazione, inclusi impostazioni di connessione e timeout
Inizializza il Client: Crea un'istanza del client OpenAI che punta al gateway Arch (ad es., base_url='http://127.0.0.1:12000/v1') nel tuo codice applicativo
Effettua Chiamate API: Usa il client configurato per effettuare chiamate API tramite Arch, che gestirà il routing, la sicurezza e l'osservabilità
Monitora le Prestazioni: Usa le funzionalità di osservabilità integrate di Arch per monitorare metriche, tracce e log per le tue interazioni LLM
FAQ su Arch
Arch è un gateway intelligente di livello 7 progettato per proteggere, osservare e personalizzare le applicazioni LLM con API. È costruito su Envoy Proxy ed è progettato con LLM specifici per una gestione sicura, una robusta osservabilità e un'integrazione senza soluzione di continuità dei prompt con le API.
Articoli Popolari
Apple Lancia Final Cut Pro 11: Editing Video con AI per Mac, iPad e iPhone
Nov 14, 2024
AI Perplexity Introduce la Pubblicità per Rivoluzionare la sua Piattaforma
Nov 13, 2024
X Pianifica il Lancio della Versione Gratuita del Chatbot AI Grok per Competere con i Giganti del Settore
Nov 12, 2024
I Migliori Generatori di Immagini AI: Flux 1.1 Pro Ultra è il Migliore Rispetto a Midjourney, Recraft V3 e Ideogram
Nov 12, 2024
Visualizza altro