LiteLLM Howto
LiteLLM adalah pustaka sumber terbuka dan server proxy yang menyediakan API terpadu untuk berinteraksi dengan lebih dari 100 model bahasa besar dari berbagai penyedia menggunakan format OpenAI.
Lihat Lebih BanyakCara Menggunakan LiteLLM
Instal LiteLLM: Instal pustaka LiteLLM menggunakan pip: pip install litellm
Impor dan atur variabel lingkungan: Impor litellm dan atur variabel lingkungan untuk kunci API: import litellm, os; os.environ['OPENAI_API_KEY'] = 'your-api-key'
Lakukan panggilan API: Gunakan fungsi completion() untuk melakukan panggilan API: response = litellm.completion(model='gpt-3.5-turbo', messages=[{'role': 'user', 'content': 'Hello'}])
Tangani respons streaming: Untuk respons streaming, atur stream=True: response = litellm.completion(model='gpt-3.5-turbo', messages=[{'role': 'user', 'content': 'Hello'}], stream=True)
Atur penanganan kesalahan: Gunakan blok try-except dengan OpenAIError untuk menangani pengecualian: try: litellm.completion(...) except OpenAIError as e: print(e)
Konfigurasi callback: Atur callback untuk pencatatan: litellm.success_callback = ['helicone', 'langfuse']
Terapkan LiteLLM Proxy: Untuk menerapkan server proxy LiteLLM, gunakan Docker: docker run -e LITELLM_MASTER_KEY='sk-1234' ghcr.io/berriai/litellm:main
Konfigurasi routing model: Buat file config.yaml untuk mengatur routing model dan kunci API untuk penyedia yang berbeda
Gunakan server proxy: Lakukan panggilan API ke proxy LiteLLM yang telah Anda terapkan menggunakan SDK OpenAI atau perintah curl
FAQ LiteLLM
LiteLLM adalah API terpadu dan server proxy yang memungkinkan pengembang untuk berinteraksi dengan lebih dari 100 penyedia LLM yang berbeda (seperti OpenAI, Azure, Anthropic, dll.) menggunakan format yang kompatibel dengan OpenAI yang distandarisasi. Ini menyederhanakan integrasi LLM dengan menyediakan fitur seperti penyeimbangan beban, pelacakan pengeluaran, dan penanganan kesalahan yang konsisten di seluruh penyedia.
Artikel Populer
![MiniMax Video-01(Hailuo AI) vs Kling AI vs Luma AI Dream Machine 1.6: Pertarungan Video AI](/_next/image?url=https%3A%2F%2Fstatic-sg.winudf.com%2Fwupload%2Fxy%2Faprojectadmin%2FYGT6PB7j.jpg&w=256&q=75)
MiniMax Video-01(Hailuo AI) vs Kling AI vs Luma AI Dream Machine 1.6: Pertarungan Video AI
Sep 10, 2024
![MiniMax Video-01(Hailuo AI): Lompatan Revolusioner AI dalam Generasi Teks-ke-Video](/_next/image?url=https%3A%2F%2Fstatic-sg.winudf.com%2Fwupload%2Fxy%2Faprojectadmin%2F3r7d37T1.jpg&w=256&q=75)
MiniMax Video-01(Hailuo AI): Lompatan Revolusioner AI dalam Generasi Teks-ke-Video
Sep 10, 2024
![Venice AI vs ChatGPT vs Perplexity vs Google Gemini: Pertarungan AI Teroptimasi SEO Teratas pada September 2024!](/_next/image?url=https%3A%2F%2Fstatic-sg.winudf.com%2Fwupload%2Fxy%2Faprojectadmin%2FMwU65GHm.jpg&w=256&q=75)
Venice AI vs ChatGPT vs Perplexity vs Google Gemini: Pertarungan AI Teroptimasi SEO Teratas pada September 2024!
Sep 6, 2024
![GPT-Next OpenAI Menjanjikan Kekuatan Tak Terbandingkan Sebelum 2025](/_next/image?url=https%3A%2F%2Fstatic-sg.winudf.com%2Fwupload%2Fxy%2Faprojectadmin%2Fo2YatFQc.jpg&w=256&q=75)
GPT-Next OpenAI Menjanjikan Kekuatan Tak Terbandingkan Sebelum 2025
Sep 5, 2024
Lihat Selengkapnya