Arch Introducción

Arch opera manejando tareas indiferenciadas en el procesamiento de prompts a través de varios mecanismos clave. Usa LLMs especializados para detectar y rechazar intentos de jailbreak, llamando inteligentemente a APIs de backend para cumplir con las solicitudes de los usuarios y gestionando el enrutamiento de prompts entre LLMs ascendentes. El sistema funciona junto a servidores de aplicaciones y aprovecha las capacidades de gestión HTTP de Envoy para manejar el tráfico de entrada y salida. Incluye LLMs construidos específicamente para llamadas de función/API y extracción de parámetros, mientras centraliza las barandillas de prompts a través de su función Prompt Guard. La plataforma implementa el estándar W3C Trace Context para un trazado de solicitudes integral y proporciona una gestión robusta del tráfico con características como reintentos inteligentes y conmutación automática.