Arch
Archは、Envoy Proxy上に構築されたインテリジェントなレイヤー7ゲートウェイであり、安全な処理、堅牢な可視性、およびAPIとのプロンプトのシームレスな統合を提供し、高速で堅牢かつパーソナライズされたAIエージェントの構築を可能にします。
https://github.com/katanemo/arch?ref=aipure&utm_source=aipure
製品情報
更新日:2024年12月16日
Archとは
Archは、プロンプト処理およびAPI統合に関連する重要なタスクを処理するために目的に特化したLLMを用いて設計されたオープンソースのインテリジェントプロンプトゲートウェイです。Envoyプロキシのコア貢献者によって構築され、プロンプトを従来のHTTPリクエストと同じ機能を必要とする微妙なユーザーリクエストとして扱います。このプラットフォームは、エージェント、アシスタント、コーパイロットなどのLLMアプリケーションを保護、観察、パーソナライズし、バックエンドAPIと統合するように設計されています。
Archの主な機能
Archは、AI/LLMアプリケーションを処理するために設計されたインテリジェントなLayer 7ゲートウェイで、Envoy Proxy上に構築されています。これは、脱獄検出、API統合、LLMルーティング、可観測性機能を含む包括的なプロンプト管理機能を提供します。このプラットフォームは、機能呼び出し、パラメータ抽出、安全なプロンプト処理などの重要なタスクを処理するために目的に特化したLLMを使用し、標準ベースの監視およびトラフィック管理機能を提供します。
組み込み機能呼び出し: エージェントおよびRAGアプリケーションを構築するためのプロンプトからの迅速でコスト効果の高いAPI呼び出しとパラメータ抽出を処理するために目的に特化したLLMで設計されています
プロンプトセキュリティ: プロンプトガードレールを中央集約し、カスタムコードの実装を必要とせずに自動脱獄試行検出を提供します
高度なトラフィック管理: LLM呼び出しをスマートリトライ、自動フェイルオーバー、そして継続的な可用性を確保するためのレジリエントなアップストリーム接続で管理します
エンタープライズグレードの可観測性: 完全なリクエストトレースのためにW3Cトレースコンテキスト標準を実装し、レイテンシ、トークン使用量、エラーレートの監視のための包括的なメトリクスを提供します
Archのユースケース
AI駆動の天気予報: 自然言語処理を通じてインテリジェントな天気予報を提供するための天気サービスとの統合
保険代理店の自動化: 顧客の問い合わせを処理し、保険関連のタスクを処理できる自動保険代理店の構築
ネットワーク管理アシスタント: オペレーターがトラフィックフローを理解し、自然言語の対話を通じてネットワーク操作を管理するのを助けるネットワーキングコーパイロットの作成
エンタープライズAPI統合: セキュリティと可観測性を維持しながら、既存のエンタープライズAPIとAI機能をシームレスに接続
メリット
信頼性のあるパフォーマンスのために実績のあるEnvoy Proxy技術に基づいて構築されています
組み込みの脱獄検出を備えた包括的なセキュリティ機能
エンタープライズ対応の標準ベースの可観測性
デメリット
Arch Linuxとの名前の混乱による潜在的な検索可視性の問題
セットアップにはDockerと特定の技術的前提条件が必要
新しいプロジェクトとして限られたドキュメントとコミュニティリソース
Archの使い方
前提条件のインストール: システムにDocker(v24)、Docker Compose(v2.29)、Python(v3.10)、およびPoetry(v1.8.3)がインストールされていることを確認してください。ローカル開発にはPoetryが必要です。
Python仮想環境の作成: 次のコマンドを使用して新しいPython仮想環境を作成し、アクティブ化します: python -m venv venv && source venv/bin/activate(またはWindowsではvenv\Scripts\activate)
Arch CLIのインストール: pipを使用してArchゲートウェイCLIツールをインストールします: pip install archgw
設定ファイルの作成: LLMプロバイダー、プロンプトターゲット、エンドポイント、およびシステムプロンプトやパラメータなどの他の設定を定義する設定ファイル(例: arch_config.yaml)を作成します。
LLMプロバイダーの設定: 設定ファイルで、適切なアクセスキーとモデル設定を使用してLLMプロバイダー(例: OpenAI)を設定します。
プロンプトターゲットの定義: 設定ファイルでプロンプトターゲットを設定し、各ターゲット関数のエンドポイント、パラメータ、および説明を指定します。
エンドポイントの設定: 設定ファイルでアプリケーションのエンドポイントを定義し、接続設定とタイムアウトを含めます。
クライアントの初期化: アプリケーションコード内でArchゲートウェイを指すOpenAIクライアントインスタンスを作成します(例: base_url='http://127.0.0.1:12000/v1')。
APIコールの実行: 設定されたクライアントを使用してArchを介してAPIコールを行い、ルーティング、セキュリティ、および可視性を処理します。
パフォーマンスの監視: Archの組み込みの可視性機能を使用して、LLMインタラクションのメトリクス、トレース、およびログを監視します。
Archのよくある質問
Archは、APIを使用してLLMアプリケーションを保護、観察、パーソナライズするために設計されたインテリジェントなLayer 7ゲートウェイです。Envoy Proxy上に構築され、安全な処理、堅牢な可観測性、およびAPIとのプロンプトのシームレスな統合のために特別に設計されたLLMでエンジニアリングされています。