如何使用 LiteLLM
安装LiteLLM: 使用pip安装LiteLLM库：pip install litellm
导入并设置环境变量: 导入litellm并设置API密钥的环境变量：import litellm, os; os.environ['OPENAI_API_KEY'] = 'your-api-key'
进行API调用: 使用completion()函数进行API调用：response = litellm.completion(model='gpt-3.5-turbo', messages=[{'role': 'user', 'content': 'Hello'}])
处理流式响应: 对于流式响应，设置stream=True：response = litellm.completion(model='gpt-3.5-turbo', messages=[{'role': 'user', 'content': 'Hello'}], stream=True)
设置错误处理: 使用try-except块和OpenAIError处理异常：try: litellm.completion(...) except OpenAIError as e: print(e)
配置回调: 设置用于日志记录的回调：litellm.success_callback = ['helicone', 'langfuse']
部署LiteLLM代理: 使用Docker部署LiteLLM代理服务器：docker run -e LITELLM_MASTER_KEY='sk-1234' ghcr.io/berriai/litellm:main
配置模型路由: 创建config.yaml文件以设置不同提供商的模型路由和API密钥
使用代理服务器: 使用OpenAI SDK或curl命令对部署的LiteLLM代理进行API调用
LiteLLM 常见问题
LiteLLM 是一个统一的 API 和代理服务器，允许开发者使用标准化的 OpenAI 兼容格式与超过 100 个不同的 LLM 提供商（如 OpenAI、Azure、Anthropic 等）进行交互。它通过提供负载均衡、花费跟踪和跨提供商的一致错误处理等功能，简化了 LLM 集成。
LiteLLM 月度流量趋势
LiteLLM的访问量增长了5.2%，在2月份达到26.9万次。在没有特定产品更新或显著市场活动的情况下，这种小幅增长与2025年人工智能工具日益普及的整体市场趋势相符。
查看历史流量
与 LiteLLM 类似的最新 AI 工具
Athena AI
Athena AI 是一个多功能的 AI 驱动平台，通过文档分析、测验生成、闪卡和互动聊天功能提供个性化学习辅助、商业解决方案和生活指导。
Aguru AI
Aguru AI 是一个本地软件解决方案，为基于 LLM 的应用程序提供全面的监控、安全和优化工具，包括行为跟踪、异常检测和性能优化等功能。
GOAT AI
GOAT AI 是一个 AI 驱动的平台，提供一键摘要功能，适用于新闻文章、研究论文和视频等各种内容类型，同时提供针对特定领域任务的高级 AI 代理编排。
GiGOS
GiGOS是一个AI平台，提供访问多个高级语言模型（如Gemini、GPT-4、Claude和Grok）的权限，并通过直观的界面让用户与不同的AI模型互动和比较。
类似 LiteLLM 的热门 AI 工具
ChatGPT
ChatGPT是由OpenAI开发的高级AI驱动的聊天机器人，使用自然语言处理进行类似人类的对话，并协助各种任务。
SearchGPT
SearchGPT 是 OpenAI 使用 GPT 模型提供的 AI 驱动搜索原型，提供快速、对话式答案并带有清晰来源。
DeepSeek-R1
DeepSeek-R1 是一个先进的开源 AI 推理模型，在数学、代码和推理任务中实现了与 OpenAI 的 o1 相当的性能，采用了创新的强化学习技术，并提供了多种精简版本以提高可访问性。
查看更多