Arch Anleitung
Arch ist ein intelligentes Layer-7-Gateway, das auf Envoy Proxy basiert und eine sichere Handhabung, robuste Beobachtbarkeit und nahtlose Integration von Eingabeaufforderungen mit APIs für den Aufbau schneller, robuster und personalisierter KI-Agenten bietet.
Mehr anzeigenWie verwendet man Arch
Installiere Voraussetzungen: Stelle sicher, dass Docker (v24), Docker Compose (v2.29), Python (v3.10) und Poetry (v1.8.3) auf deinem System installiert sind. Poetry wird für die lokale Entwicklung benötigt.
Erstelle virtuelle Python-Umgebung: Erstelle und aktiviere eine neue Python-virtuelle Umgebung mit: python -m venv venv && source venv/bin/activate (oder venv\Scripts\activate unter Windows)
Installiere Arch CLI: Installiere das Arch-Gateway-CLI-Tool mit pip: pip install archgw
Erstelle Konfigurationsdatei: Erstelle eine Konfigurationsdatei (z.B. arch_config.yaml), die deine LLM-Anbieter, Eingabeaufforderungsziele, Endpunkte und andere Einstellungen wie Systemaufforderungen und Parameter definiert.
Konfiguriere LLM-Anbieter: Richte in der Konfigurationsdatei deine LLM-Anbieter (z.B. OpenAI) mit den entsprechenden Zugriffsschlüsseln und Modelleinstellungen ein.
Definiere Eingabeaufforderungsziele: Konfiguriere Eingabeaufforderungsziele in der Konfigurationsdatei, indem du Endpunkte, Parameter und Beschreibungen für jede Ziel-Funktion angibst.
Richte Endpunkte ein: Definiere deine Anwendungsendpunkte in der Konfigurationsdatei, einschließlich Verbindungseinstellungen und Zeitüberschreitungen.
Initialisiere Client: Erstelle eine OpenAI-Clientinstanz, die auf das Arch-Gateway zeigt (z.B. base_url='http://127.0.0.1:12000/v1') in deinem Anwendungscode.
Führe API-Aufrufe durch: Verwende den konfigurierten Client, um API-Aufrufe über Arch durchzuführen, das Routing, Sicherheit und Beobachtbarkeit übernimmt.
Überwache die Leistung: Nutze die integrierten Beobachtungsfunktionen von Arch, um Metriken, Traces und Protokolle für deine LLM-Interaktionen zu überwachen.
Arch FAQs
Arch ist ein intelligentes Layer-7-Gateway, das entwickelt wurde, um LLM-Anwendungen mit APIs zu schützen, zu beobachten und zu personalisieren. Es basiert auf Envoy Proxy und ist mit speziell entwickelten LLMs für eine sichere Handhabung, robuste Beobachtbarkeit und nahtlose Integration von Eingabeaufforderungen mit APIs konzipiert.
Beliebte Artikel
Hailuo AI's S2V-01 Modell: Revolutioniert die Charakterkonsistenz in der Videoerstellung
Jan 13, 2025
Wie man mit Hypernatural AI schnell Videos erstellt | Neues Tutorial 2025
Jan 10, 2025
CrushOn AI NSFW Chatbot Neue Geschenk-Codes im Januar 2025 und wie man sie einlöst
Jan 9, 2025
Merlin AI Gutscheincodes Kostenlos im Januar 2025 und Wie man Sie Einlöst | AIPURE
Jan 9, 2025
Mehr anzeigen