如何使用LiteLLM
安装LiteLLM: 使用pip安装LiteLLM库：pip install litellm
导入并设置环境变量: 导入litellm并设置API密钥的环境变量：import litellm, os; os.environ['OPENAI_API_KEY'] = 'your-api-key'
进行API调用: 使用completion()函数进行API调用：response = litellm.completion(model='gpt-3.5-turbo', messages=[{'role': 'user', 'content': 'Hello'}])
处理流式响应: 对于流式响应，设置stream=True：response = litellm.completion(model='gpt-3.5-turbo', messages=[{'role': 'user', 'content': 'Hello'}], stream=True)
设置错误处理: 使用try-except块和OpenAIError处理异常：try: litellm.completion(...) except OpenAIError as e: print(e)
配置回调: 设置用于日志记录的回调：litellm.success_callback = ['helicone', 'langfuse']
部署LiteLLM代理: 使用Docker部署LiteLLM代理服务器：docker run -e LITELLM_MASTER_KEY='sk-1234' ghcr.io/berriai/litellm:main
配置模型路由: 创建config.yaml文件以设置不同提供商的模型路由和API密钥
使用代理服务器: 使用OpenAI SDK或curl命令对部署的LiteLLM代理进行API调用
LiteLLM 常见问题解答
LiteLLM 是一个统一的 API 和代理服务器，允许开发者使用标准化的 OpenAI 兼容格式与超过 100 个不同的 LLM 提供商（如 OpenAI、Azure、Anthropic 等）进行交互。它通过提供负载均衡、花费跟踪和跨提供商的一致错误处理等功能，简化了 LLM 集成。
与 LiteLLM 类似的最新 AI 工具
ModelFusion
ModelFusion是一个开源的TypeScript库和AI平台，提供统一的API，用于将多种AI模型集成到应用程序中，支持文本生成、图像处理等。
Epsilla
Epsilla是一个一站式RAG即服务平台，用于构建连接专有数据的生产就绪LLM应用，具备高性能向量数据库和先进检索技术。
KaneAI
KaneAI是全球首个端到端人工智能驱动的软件测试代理，使用户能够使用自然语言创建、调试和演进测试。
Jynnt
Jynnt是一个多功能的AI平台，提供超过100种AI模型的访问权限，具有高效、轻量级的界面和无限制的使用。
类似 LiteLLM 的热门 AI 工具
查看更多