LiteLLM 使い方
LiteLLMは、OpenAIフォーマットを使用してさまざまなプロバイダーから100以上の大規模言語モデルと対話するための統一APIを提供するオープンソースライブラリおよびプロキシサーバーです
もっと見るLiteLLMの使用方法
LiteLLMをインストールする: pipを使用してLiteLLMライブラリをインストールします: pip install litellm
インポートして環境変数を設定する: litellmをインポートし、APIキーのための環境変数を設定します: import litellm, os; os.environ['OPENAI_API_KEY'] = 'your-api-key'
APIコールを行う: completion()関数を使用してAPIコールを行います: response = litellm.completion(model='gpt-3.5-turbo', messages=[{'role': 'user', 'content': 'Hello'}])
ストリーミングレスポンスを処理する: ストリーミングレスポンスの場合、stream=Trueを設定します: response = litellm.completion(model='gpt-3.5-turbo', messages=[{'role': 'user', 'content': 'Hello'}], stream=True)
エラーハンドリングを設定する: try-exceptブロックを使用してOpenAIErrorを処理します: try: litellm.completion(...) except OpenAIError as e: print(e)
コールバックを設定する: ロギングのためのコールバックを設定します: litellm.success_callback = ['helicone', 'langfuse']
LiteLLMプロキシをデプロイする: LiteLLMプロキシサーバーをデプロイするには、Dockerを使用します: docker run -e LITELLM_MASTER_KEY='sk-1234' ghcr.io/berriai/litellm:main
モデルルーティングを設定する: config.yamlファイルを作成して、異なるプロバイダーのためのモデルルーティングとAPIキーを設定します
プロキシサーバーを使用する: OpenAI SDKまたはcurlコマンドを使用して、デプロイされたLiteLLMプロキシにAPIコールを行います
LiteLLMのよくある質問
LiteLLMは、開発者が標準化されたOpenAI互換フォーマットを使用して、100以上の異なるLLMプロバイダー(OpenAI、Azure、Anthropicなど)と対話できる統一APIおよびプロキシサーバーです。ロードバランシング、支出追跡、プロバイダー間の一貫したエラーハンドリングなどの機能を提供することで、LLM統合を簡素化します。
もっと見る