Relari: Testing and Simulation Stack for GenAI Systems 使い方

continuous-evalをインストールする: Relariのオープンソース評価フレームワーク'continuous-eval'をインストールするには、次のコマンドを実行します: git clone https://github.com/relari-ai/continuous-eval.git && cd continuous-eval poetry install --all-extras

合成データを生成する: Relari.aiで無料アカウントを作成し、彼らのクラウドプラットフォームを使用して、特定のユースケース（例：RAG、エージェント、コパイロット）に対するユーザーインタラクションをシミュレートするカスタム合成データセットを生成します

評価パイプラインを定義する: continuous-evalを使用して、GenAIアプリケーションの各コンポーネントを個別にテストする評価パイプラインを設定し、システムの特定の部分に問題を特定できるようにします

評価メトリクスを選択する: Relariの30以上のオープンソースメトリクスから選択するか、テキスト生成、コード生成、検索、分類、その他のLLMタスクを評価するためのカスタムメトリクスを作成します

評価を実行する: 合成データセット上で評価パイプラインを実行し、GenAIアプリケーションをストレステストして改善の余地を特定します

結果を分析する: コンポーネントレベルのメトリクスと全体のシステムパフォーマンスをレビューし、問題の発生源を理解し、改善の優先順位を付けます

プロンプトを最適化する: 評価結果に基づいて、Relariの自動プロンプト最適化ツールを使用してLLMプロンプトを体系的に改善します

反復して改善する: 評価の洞察に基づいてGenAIアプリケーションにターゲットを絞った改善を行い、進捗を測定するために再評価を実行します

本番環境で監視する: Relariのランタイム監視機能を活用して、本番環境でGenAIアプリケーションのパフォーマンスを継続的に評価および改善します