LiteLLM 使用方法

安裝 LiteLLM: 使用 pip 安裝 LiteLLM 庫：pip install litellm

導入並設置環境變量: 導入 litellm 並設置 API 密鑰的環境變量：import litellm, os; os.environ['OPENAI_API_KEY'] = 'your-api-key'

進行 API 調用: 使用 completion() 函數進行 API 調用：response = litellm.completion(model='gpt-3.5-turbo', messages=[{'role': 'user', 'content': 'Hello'}])

處理流式響應: 對於流式響應，設置 stream=True：response = litellm.completion(model='gpt-3.5-turbo', messages=[{'role': 'user', 'content': 'Hello'}], stream=True)

設置錯誤處理: 使用 try-except 塊和 OpenAIError 處理異常：try: litellm.completion(...) except OpenAIError as e: print(e)

配置回調: 設置用於日誌記錄的回調：litellm.success_callback = ['helicone', 'langfuse']

部署 LiteLLM 代理: 使用 Docker 部署 LiteLLM 代理服務器：docker run -e LITELLM_MASTER_KEY='sk-1234' ghcr.io/berriai/litellm:main

配置模型路由: 創建 config.yaml 文件以設置不同提供商的模型路由和 API 密鑰

使用代理服務器: 使用 OpenAI SDK 或 curl 命令對已部署的 LiteLLM 代理進行 API 調用