Arch 紹介

Archは、プロンプト処理における差別化されていないタスクをいくつかの主要なメカニズムを通じて処理することで機能します。脱獄試行を検出および拒否するための専門的なLLMを使用し、ユーザーリクエストを満たすためにバックエンドAPIをインテリジェントに呼び出し、アップストリームLLM間のプロンプトルーティングを管理します。このシステムはアプリケーションサーバーと並行して実行され、IngressおよびEgressトラフィックを処理するためにEnvoyのHTTP管理機能を活用します。関数/API呼び出しおよびパラメータ抽出のための目的に特化したLLMを含み、Prompt Guard機能を通じてプロンプトガードレールを中央集権化します。このプラットフォームは、包括的なリクエストトレーシングのためにW3C Trace Context標準を実装し、スマートリトライや自動切り替えなどの機能を備えた堅牢なトラフィック管理を提供します。