如何使用 LiteLLM
安裝 LiteLLM: 使用 pip 安裝 LiteLLM 庫：pip install litellm
導入並設置環境變量: 導入 litellm 並設置 API 密鑰的環境變量：import litellm, os; os.environ['OPENAI_API_KEY'] = 'your-api-key'
進行 API 調用: 使用 completion() 函數進行 API 調用：response = litellm.completion(model='gpt-3.5-turbo', messages=[{'role': 'user', 'content': 'Hello'}])
處理流式響應: 對於流式響應，設置 stream=True：response = litellm.completion(model='gpt-3.5-turbo', messages=[{'role': 'user', 'content': 'Hello'}], stream=True)
設置錯誤處理: 使用 try-except 塊和 OpenAIError 處理異常：try: litellm.completion(...) except OpenAIError as e: print(e)
配置回調: 設置用於日誌記錄的回調：litellm.success_callback = ['helicone', 'langfuse']
部署 LiteLLM 代理: 使用 Docker 部署 LiteLLM 代理服務器：docker run -e LITELLM_MASTER_KEY='sk-1234' ghcr.io/berriai/litellm:main
配置模型路由: 創建 config.yaml 文件以設置不同提供商的模型路由和 API 密鑰
使用代理服務器: 使用 OpenAI SDK 或 curl 命令對已部署的 LiteLLM 代理進行 API 調用
LiteLLM 常見問題
LiteLLM 是一個統一的 API 和代理伺服器，允許開發人員使用標準化的 OpenAI 兼容格式與超過 100 個不同的 LLM 提供商（如 OpenAI、Azure、Anthropic 等）進行交互。它通過提供負載平衡、支出追蹤和跨提供商的一致錯誤處理等功能，簡化了 LLM 整合。
LiteLLM 每月流量趨勢
LiteLLM 的訪問量增長了 5.2%，在二月份達到 269K。在沒有特定產品更新或顯著市場活動的情況下，這種輕微增長與 2025 年人工智能工具日益普及的整體市場趨勢相符。
查看歷史流量
与 LiteLLM 类似的最新 AI 工具
Athena AI
Athena AI 是一個多功能的 AI 驅動平台，通過文檔分析、測驗生成、閃卡和互動聊天功能，提供個性化的學習協助、商業解決方案和生活輔導。
Aguru AI
Aguru AI 是一個本地部署的軟件解決方案，為基於 LLM 的應用提供全面的監控、安全和優化工具，包括行為跟蹤、異常檢測和性能優化等功能。
GOAT AI
GOAT AI 是一個 AI 驅動的平台，提供一鍵摘要功能，適用於新聞文章、研究論文和視頻等多種內容類型，同時還提供先進的 AI 代理編排，用於特定領域的任務。
GiGOS
GiGOS 是一個 AI 平台，提供多個先進的語言模型，如 Gemini、GPT-4、Claude 和 Grok，並通過直觀的界面讓用戶與不同的 AI 模型互動和比較。
类似 LiteLLM 的热门 AI 工具
ChatGPT
ChatGPT 是由 OpenAI 開發的先進 AI 驅動的聊天機器人，使用自然語言處理進行類似人類的對話並協助廣泛的任務。
SearchGPT
SearchGPT 是 OpenAI 開發的 AI 驅動搜索原型，利用 GPT 模型提供快速、對話式答案並附有清晰來源。
DeepSeek-R1
DeepSeek-R1 是一個先進的開源 AI 推理模型，在數學、編碼和推理任務中表現與 OpenAI 的 o1 相當，採用了創新的強化學習技術，並有多種精簡版本以提高可訪問性。
查看更多