Confident AIの使い方
DeepEvalをインストールする: 'pip install -U deepeval'を実行してDeepEvalライブラリをインストールします
必要なモジュールをインポートする: deepevalからassert_test、metrics、LLMTestCaseをインポートします
テストケースを作成する: 入力とactual_outputを持つLLMTestCaseオブジェクトを作成します
評価メトリクスを定義する: 希望するパラメータを持つメトリクスオブジェクト(例:HallucinationMetric)を作成します
アサーションを実行する: assert_test()を使用して、メトリクスに対してテストケースを評価します
テストを実行する: 'deepeval test run test_file.py'を実行してテストを実行します
結果を確認する: コンソール出力でテスト結果を確認します
Confident AIプラットフォームにログを記録する: @deepeval.log_hyperparametersデコレーターを使用して、結果をConfident AIにログします
結果を分析する: Confident AIプラットフォームにログインして、詳細な分析と洞察を確認します
Confident AIのよくある質問
Confident AIは、大規模言語モデル(LLM)のためのオープンソース評価インフラを提供する会社です。彼らは、開発者が10行未満のコードでLLMをユニットテストできるツールDeepEvalを提供しています。
Confident AI の月間トラフィック傾向
Confident AIは、トラフィックが34.1%増加し、14万回のアクセスを達成しました。この緩やかな成長は、AI評価への注目度の高まりと、14の指標によるLLM実験や人間のフィードバック統合を含む製品の充実した機能セットによるものと考えられます。さらに、DeepSeekの市場参入や、米国と中国のAIモデル間の性能差の縮小が、包括的な評価ツールへの関心を高めている可能性があります。
過去のトラフィックを表示
もっと見る