LiteLLM 使用方法

安装LiteLLM: 使用pip安装LiteLLM库：pip install litellm

导入并设置环境变量: 导入litellm并设置API密钥的环境变量：import litellm, os; os.environ['OPENAI_API_KEY'] = 'your-api-key'

进行API调用: 使用completion()函数进行API调用：response = litellm.completion(model='gpt-3.5-turbo', messages=[{'role': 'user', 'content': 'Hello'}])

处理流式响应: 对于流式响应，设置stream=True：response = litellm.completion(model='gpt-3.5-turbo', messages=[{'role': 'user', 'content': 'Hello'}], stream=True)

设置错误处理: 使用try-except块和OpenAIError处理异常：try: litellm.completion(...) except OpenAIError as e: print(e)

配置回调: 设置用于日志记录的回调：litellm.success_callback = ['helicone', 'langfuse']

部署LiteLLM代理: 使用Docker部署LiteLLM代理服务器：docker run -e LITELLM_MASTER_KEY='sk-1234' ghcr.io/berriai/litellm:main

配置模型路由: 创建config.yaml文件以设置不同提供商的模型路由和API密钥

使用代理服务器: 使用OpenAI SDK或curl命令对部署的LiteLLM代理进行API调用