Arch 使い方
Archは、Envoy Proxy上に構築されたインテリジェントなレイヤー7ゲートウェイであり、安全な処理、堅牢な可視性、およびAPIとのプロンプトのシームレスな統合を提供し、高速で堅牢かつパーソナライズされたAIエージェントの構築を可能にします。
もっと見るArchの使用方法
前提条件のインストール: システムにDocker(v24)、Docker Compose(v2.29)、Python(v3.10)、およびPoetry(v1.8.3)がインストールされていることを確認してください。ローカル開発にはPoetryが必要です。
Python仮想環境の作成: 次のコマンドを使用して新しいPython仮想環境を作成し、アクティブ化します: python -m venv venv && source venv/bin/activate(またはWindowsではvenv\Scripts\activate)
Arch CLIのインストール: pipを使用してArchゲートウェイCLIツールをインストールします: pip install archgw
設定ファイルの作成: LLMプロバイダー、プロンプトターゲット、エンドポイント、およびシステムプロンプトやパラメータなどの他の設定を定義する設定ファイル(例: arch_config.yaml)を作成します。
LLMプロバイダーの設定: 設定ファイルで、適切なアクセスキーとモデル設定を使用してLLMプロバイダー(例: OpenAI)を設定します。
プロンプトターゲットの定義: 設定ファイルでプロンプトターゲットを設定し、各ターゲット関数のエンドポイント、パラメータ、および説明を指定します。
エンドポイントの設定: 設定ファイルでアプリケーションのエンドポイントを定義し、接続設定とタイムアウトを含めます。
クライアントの初期化: アプリケーションコード内でArchゲートウェイを指すOpenAIクライアントインスタンスを作成します(例: base_url='http://127.0.0.1:12000/v1')。
APIコールの実行: 設定されたクライアントを使用してArchを介してAPIコールを行い、ルーティング、セキュリティ、および可視性を処理します。
パフォーマンスの監視: Archの組み込みの可視性機能を使用して、LLMインタラクションのメトリクス、トレース、およびログを監視します。
Archのよくある質問
Archは、APIを使用してLLMアプリケーションを保護、観察、パーソナライズするために設計されたインテリジェントなLayer 7ゲートウェイです。Envoy Proxy上に構築され、安全な処理、堅牢な可観測性、およびAPIとのプロンプトのシームレスな統合のために特別に設計されたLLMでエンジニアリングされています。
もっと見る