如何使用 LiteLLM
安裝 LiteLLM: 使用 pip 安裝 LiteLLM 庫：pip install litellm
導入並設置環境變量: 導入 litellm 並設置 API 密鑰的環境變量：import litellm, os; os.environ['OPENAI_API_KEY'] = 'your-api-key'
進行 API 調用: 使用 completion() 函數進行 API 調用：response = litellm.completion(model='gpt-3.5-turbo', messages=[{'role': 'user', 'content': 'Hello'}])
處理流式響應: 對於流式響應，設置 stream=True：response = litellm.completion(model='gpt-3.5-turbo', messages=[{'role': 'user', 'content': 'Hello'}], stream=True)
設置錯誤處理: 使用 try-except 塊和 OpenAIError 處理異常：try: litellm.completion(...) except OpenAIError as e: print(e)
配置回調: 設置用於日誌記錄的回調：litellm.success_callback = ['helicone', 'langfuse']
部署 LiteLLM 代理: 使用 Docker 部署 LiteLLM 代理服務器：docker run -e LITELLM_MASTER_KEY='sk-1234' ghcr.io/berriai/litellm:main
配置模型路由: 創建 config.yaml 文件以設置不同提供商的模型路由和 API 密鑰
使用代理服務器: 使用 OpenAI SDK 或 curl 命令對已部署的 LiteLLM 代理進行 API 調用
LiteLLM 常見問題
LiteLLM 是一個統一的 API 和代理伺服器，允許開發人員使用標準化的 OpenAI 兼容格式與超過 100 個不同的 LLM 提供商（如 OpenAI、Azure、Anthropic 等）進行交互。它通過提供負載平衡、支出追蹤和跨提供商的一致錯誤處理等功能，簡化了 LLM 整合。
LiteLLM 每月流量趨勢
LiteLLM 在十一月份達到了 172,140 次訪問，顯示出 4.8% 的增長。在 2024 年 11 月期間，雖然沒有特定的更新或市場活動，這種輕微的增長很可能是由於平台持續提供的功能，如 負載平衡、故障轉移機制和 預算管理。
查看歷史流量
与 LiteLLM 类似的最新 AI 工具
Athena AI
Athena AI 是一個多功能的 AI 驅動平台，通過文檔分析、測驗生成、閃卡和互動聊天功能，提供個性化的學習協助、商業解決方案和生活輔導。
Aguru AI
Aguru AI 是一個本地部署的軟件解決方案，為基於 LLM 的應用提供全面的監控、安全和優化工具，包括行為跟蹤、異常檢測和性能優化等功能。
GOAT AI
GOAT AI 是一個 AI 驅動的平台，提供一鍵摘要功能，適用於新聞文章、研究論文和視頻等多種內容類型，同時還提供先進的 AI 代理編排，用於特定領域的任務。
GiGOS
GiGOS is an AI platform that provides access to multiple advanced language models like Gemini, GPT-4, Claude, and Grok with an intuitive interface for users to interact with and compare different AI models.
类似 LiteLLM 的热门 AI 工具
ChatGPT
ChatGPT 是由 OpenAI 開發的先進 AI 驅動的聊天機器人，使用自然語言處理進行類似人類的對話並協助廣泛的任務。
SearchGPT
SearchGPT 是 OpenAI 開發的 AI 驅動搜索原型，利用 GPT 模型提供快速、對話式答案並附有清晰來源。
OpenAI - 12 Days of OpenAI
Free TrialLarge Language Models (LLMs)
OpenAI 是一家領先的人工智能研究公司，開發先進的 AI 模型和技術，以造福人類。
Gemini - Google Vids AI
Gemini是Google最先進和最強大的多模態AI模型家族，能夠無縫理解和推理文本、圖像、視頻、音頻和代碼，以驅動各種AI應用程序和服務。
查看更多