如何使用 LiteLLM
安裝 LiteLLM: 使用 pip 安裝 LiteLLM 庫:pip install litellm
導入並設置環境變量: 導入 litellm 並設置 API 密鑰的環境變量:import litellm, os; os.environ['OPENAI_API_KEY'] = 'your-api-key'
進行 API 調用: 使用 completion() 函數進行 API 調用:response = litellm.completion(model='gpt-3.5-turbo', messages=[{'role': 'user', 'content': 'Hello'}])
處理流式響應: 對於流式響應,設置 stream=True:response = litellm.completion(model='gpt-3.5-turbo', messages=[{'role': 'user', 'content': 'Hello'}], stream=True)
設置錯誤處理: 使用 try-except 塊和 OpenAIError 處理異常:try: litellm.completion(...) except OpenAIError as e: print(e)
配置回調: 設置用於日誌記錄的回調:litellm.success_callback = ['helicone', 'langfuse']
部署 LiteLLM 代理: 使用 Docker 部署 LiteLLM 代理服務器:docker run -e LITELLM_MASTER_KEY='sk-1234' ghcr.io/berriai/litellm:main
配置模型路由: 創建 config.yaml 文件以設置不同提供商的模型路由和 API 密鑰
使用代理服務器: 使用 OpenAI SDK 或 curl 命令對已部署的 LiteLLM 代理進行 API 調用
LiteLLM 常見問題
LiteLLM 是一個統一的 API 和代理伺服器,允許開發人員使用標準化的 OpenAI 兼容格式與超過 100 個不同的 LLM 提供商(如 OpenAI、Azure、Anthropic 等)進行交互。它通過提供負載平衡、支出追蹤和跨提供商的一致錯誤處理等功能,簡化了 LLM 整合。
查看更多