Arch
Arch est une passerelle intelligente de couche 7 construite sur Envoy Proxy qui fournit un traitement sécurisé, une observabilité robuste et une intégration transparente des invites avec des API pour construire des agents d'IA rapides, robustes et personnalisés.
https://github.com/katanemo/arch?ref=aipure&utm_source=aipure
Informations sur le produit
Mis à jour:Dec 16, 2024
Qu'est-ce que Arch
Arch est une passerelle d'invite intelligente open-source conçue avec des LLM construits sur mesure pour gérer des tâches critiques liées au traitement des invites et à l'intégration des API. Construite par les contributeurs principaux du proxy Envoy, elle traite les invites comme des demandes utilisateur nuancées qui nécessitent les mêmes capacités que les demandes HTTP traditionnelles. La plateforme est conçue pour protéger, observer et personnaliser les applications LLM telles que les agents, les assistants et les copilotes tout en les intégrant avec des API backend.
Caractéristiques principales de Arch
Arch est une passerelle intelligente de couche 7 conçue pour gérer les applications IA/LLM, construite sur Envoy Proxy. Elle offre des capacités complètes de gestion des invites, y compris la détection de jailbreak, l'intégration API, le routage LLM et des fonctionnalités d'observabilité. La plateforme utilise des LLM spécialement conçus pour gérer des tâches critiques telles que l'appel de fonctions, l'extraction de paramètres et le traitement sécurisé des invites, tout en offrant des fonctionnalités de surveillance et de gestion du trafic basées sur des normes.
Appel de Fonction Intégré: Conçu avec des LLM spécialement construits pour gérer des appels API rapides et rentables et l'extraction de paramètres à partir d'invites pour la création d'applications agentiques et RAG
Sécurité des Invites: Centralise les garde-fous des invites et fournit une détection automatique des tentatives de jailbreak sans nécessiter d'implémentation de code personnalisé
Gestion Avancée du Trafic: Gère les appels LLM avec des tentatives intelligentes, un basculement automatique et des connexions en amont résilientes pour garantir une disponibilité continue
Observabilité de Niveau Entreprise: Implémente la norme W3C Trace Context pour un traçage complet des requêtes et fournit des métriques complètes pour surveiller la latence, l'utilisation des jetons et les taux d'erreur
Cas d'utilisation de Arch
Prévisions Météorologiques Alimentées par l'IA: Intégration avec des services météorologiques pour fournir des prévisions météorologiques intelligentes grâce au traitement du langage naturel
Automatisation des Agents d'Assurance: Création d'agents d'assurance automatisés capables de gérer les requêtes des clients et de traiter des tâches liées à l'assurance
Assistant de Gestion de Réseau: Création de copilotes de réseau qui aident les opérateurs à comprendre le flux de trafic et à gérer les opérations réseau grâce à des interactions en langage naturel
Intégration API d'Entreprise: Connexion transparente des capacités IA avec les API d'entreprise existantes tout en maintenant la sécurité et l'observabilité
Avantages
Construit sur une technologie Envoy Proxy éprouvée pour des performances fiables
Fonctionnalités de sécurité complètes avec détection de jailbreak intégrée
Observabilité basée sur des normes la rendant prête pour l'entreprise
Inconvénients
Problèmes potentiels de visibilité de recherche en raison de la confusion de nom avec Arch Linux
Nécessite Docker et des prérequis techniques spécifiques pour l'installation
Documentation et ressources communautaires limitées en tant que projet plus récent
Comment utiliser Arch
Installer les prérequis: Assurez-vous d'avoir Docker (v24), Docker compose (v2.29), Python (v3.10) et Poetry (v1.8.3) installés sur votre système. Poetry est nécessaire pour le développement local.
Créer un environnement virtuel Python: Créez et activez un nouvel environnement virtuel Python en utilisant : python -m venv venv && source venv/bin/activate (ou venv\Scripts\activate sur Windows)
Installer Arch CLI: Installez l'outil CLI de la passerelle Arch en utilisant pip : pip install archgw
Créer un fichier de configuration: Créez un fichier de configuration (par exemple, arch_config.yaml) définissant vos fournisseurs LLM, cibles d'invite, points de terminaison et autres paramètres comme les invites système et les paramètres
Configurer les fournisseurs LLM: Dans le fichier de configuration, configurez vos fournisseurs LLM (par exemple, OpenAI) avec les clés d'accès appropriées et les paramètres de modèle
Définir les cibles d'invite: Configurez les cibles d'invite dans le fichier de configuration, en spécifiant les points de terminaison, les paramètres et les descriptions pour chaque fonction cible
Configurer les points de terminaison: Définissez vos points de terminaison d'application dans le fichier de configuration, y compris les paramètres de connexion et les délais d'attente
Initialiser le client: Créez une instance de client OpenAI pointant vers la passerelle Arch (par exemple, base_url='http://127.0.0.1:12000/v1') dans votre code d'application
Effectuer des appels API: Utilisez le client configuré pour effectuer des appels API via Arch, qui gérera le routage, la sécurité et l'observabilité
Surveiller les performances: Utilisez les fonctionnalités d'observabilité intégrées d'Arch pour surveiller les métriques, les traces et les journaux de vos interactions LLM
FAQ de Arch
Arch est une passerelle intelligente de couche 7 conçue pour protéger, observer et personnaliser les applications LLM avec des API. Elle est construite sur Envoy Proxy et conçue avec des LLM spécialement conçus pour un traitement sécurisé, une observabilité robuste et une intégration transparente des invites avec des API.
Publications officielles
Chargement...Vidéo de Arch
Articles populaires
Midjourney lance des tableaux d'ambiance de type Pinterest après la sortie de Patchwork
Dec 17, 2024
Google lance Whisk : Un générateur d'images IA révolutionnaire qui fusionne trois images en une
Dec 17, 2024
Google dévoile Imagen 3, son générateur d'images IA de nouvelle génération
Dec 17, 2024
Google dévoile Gemini Gems et Imagen 3 pour une créativité améliorée
Dec 17, 2024
Derniers outils d'IA similaires à Arch
2000+ ChatGPT Mega-Prompts Bundle
Une collection complète de plus de 2 000 méga-invites faites à la main dans 8 catégories (Marketing, Affaires, Solopreneur, Écriture, Productivité, Éducation, SEO et Ventes) conçue pour débloquer le plein potentiel des chatbots IA comme ChatGPT, Claude et Gemini.
Folderr
Folderr est une plateforme IA complète qui permet aux utilisateurs de créer des assistants IA personnalisés en téléchargeant des fichiers illimités, en s'intégrant à plusieurs modèles linguistiques et en automatisant des flux de travail via une interface conviviale.
Peache.ai
Peache.ai est un terrain de jeu de chat avec des personnages IA qui permet aux utilisateurs de s'engager dans des conversations flirty, spirituelles et audacieuses avec des personnalités IA diverses à travers des interactions en temps réel.
TalkPersona
TalkPersona est un chatbot vidéo alimenté par IA qui fournit une conversation humaine en temps réel grâce à un visage parlant virtuel avec des capacités de voix naturelle et de synchronisation labiale.
Outils d'IA populaires comme Arch
ChatGPT
ChatGPT est un chatbot avancé alimenté par l'IA développé par OpenAI qui utilise le traitement du langage naturel pour engager des conversations semblables à celles des humains et aider dans un large éventail de tâches.
DuckDuckGo AI Chat
DuckDuckGo AI Chat est un moyen gratuit et anonyme d'accéder à des chatbots IA populaires comme GPT-3.5, Claude et d'autres tout en préservant la vie privée des utilisateurs.
Gemini - Google Vids AI
Gemini est la famille de modèles d'IA multimodaux la plus avancée et la plus capable de Google, capable de comprendre et de raisonner sans effort à travers le texte, les images, la vidéo, l'audio et le code pour alimenter diverses applications et services d'IA.
Character.ai
Character.ai est une plateforme de chatbot IA innovante qui permet aux utilisateurs de créer, personnaliser et interagir avec une grande variété de personnages IA à des fins de divertissement, d'apprentissage et de créativité.