LiteLLM Howto

WebsiteLarge Language Models (LLMs)AI Tools DirectoryAI Code Assistant
LiteLLM adalah pustaka sumber terbuka dan server proxy yang menyediakan API terpadu untuk berinteraksi dengan lebih dari 100 model bahasa besar dari berbagai penyedia menggunakan format OpenAI.
Lihat Lebih Banyak

Informasi Lebih Lanjut

Profil LiteLLM
Ikhtisar
Analitik
Postingan Resmi
Apa itu LiteLLM
Fitur-fitur LiteLLM & Kasus Penggunaan

Cara Menggunakan LiteLLM

Instal LiteLLM: Instal pustaka LiteLLM menggunakan pip: pip install litellm
Impor dan atur variabel lingkungan: Impor litellm dan atur variabel lingkungan untuk kunci API: import litellm, os; os.environ['OPENAI_API_KEY'] = 'your-api-key'
Lakukan panggilan API: Gunakan fungsi completion() untuk melakukan panggilan API: response = litellm.completion(model='gpt-3.5-turbo', messages=[{'role': 'user', 'content': 'Hello'}])
Tangani respons streaming: Untuk respons streaming, atur stream=True: response = litellm.completion(model='gpt-3.5-turbo', messages=[{'role': 'user', 'content': 'Hello'}], stream=True)
Atur penanganan kesalahan: Gunakan blok try-except dengan OpenAIError untuk menangani pengecualian: try: litellm.completion(...) except OpenAIError as e: print(e)
Konfigurasi callback: Atur callback untuk pencatatan: litellm.success_callback = ['helicone', 'langfuse']
Terapkan LiteLLM Proxy: Untuk menerapkan server proxy LiteLLM, gunakan Docker: docker run -e LITELLM_MASTER_KEY='sk-1234' ghcr.io/berriai/litellm:main
Konfigurasi routing model: Buat file config.yaml untuk mengatur routing model dan kunci API untuk penyedia yang berbeda
Gunakan server proxy: Lakukan panggilan API ke proxy LiteLLM yang telah Anda terapkan menggunakan SDK OpenAI atau perintah curl

FAQ LiteLLM

LiteLLM adalah API terpadu dan server proxy yang memungkinkan pengembang untuk berinteraksi dengan lebih dari 100 penyedia LLM yang berbeda (seperti OpenAI, Azure, Anthropic, dll.) menggunakan format yang kompatibel dengan OpenAI yang distandarisasi. Ini menyederhanakan integrasi LLM dengan menyediakan fitur seperti penyeimbangan beban, pelacakan pengeluaran, dan penanganan kesalahan yang konsisten di seluruh penyedia.

Alat AI Terbaru Serupa dengan LiteLLM

ModelFusion
ModelFusion
Free TrialLarge Language Models (LLMs)AI Developer ToolsAI Tools Directory
ModelFusion adalah perpustakaan TypeScript sumber terbuka dan platform AI yang menyediakan API terpadu untuk mengintegrasikan berbagai model AI ke dalam aplikasi, mendukung generasi teks, pemrosesan gambar, dan lainnya.
Epsilla
Epsilla
No-Code & Low-CodeLarge Language Models (LLMs)AI App Builder
Epsilla adalah platform RAG-as-a-Service satu atap untuk membangun aplikasi LLM yang siap produksi yang terhubung dengan data kepemilikan, dengan database vektor berkinerja tinggi dan teknik pengambilan canggih.
KaneAI
KaneAI
Free TrialAI Testing & QAAI Developer ToolsLarge Language Models (LLMs)
KaneAI adalah agen pengujian perangkat lunak bertenaga AI end-to-end pertama di dunia yang memungkinkan pengguna untuk membuat, mendebug, dan mengembangkan tes menggunakan bahasa alami.
Jynnt
Jynnt
FreemiumAI Tools DirectoryLarge Language Models (LLMs)
Jynnt adalah platform AI serbaguna yang menawarkan akses ke lebih dari 100 model AI dengan antarmuka yang efisien dan ringan serta penggunaan tanpa batas.

Alat AI Populer Seperti LiteLLM

Sora
Sora
FreeText to VideoLarge Language Models (LLMs)
Sora adalah model AI teks-ke-video yang inovatif dari OpenAI yang dapat menghasilkan video berdurasi satu menit yang sangat realistis dan imajinatif dari permintaan teks.
OpenAI
OpenAI
FreemiumLarge Language Models (LLMs)Research Tools
OpenAI adalah perusahaan penelitian kecerdasan buatan terkemuka yang mengembangkan model dan teknologi AI canggih untuk memberikan manfaat bagi umat manusia.
Claude AI
Claude AI
AI ChatbotAI Tools DirectoryLarge Language Models (LLMs)
Claude AI adalah asisten AI generasi berikutnya yang dibangun untuk bekerja dan dilatih agar aman, akurat, dan aman.
Kimi Chat
Kimi Chat
FreeLarge Language Models (LLMs)AI Chatbot
Kimi Chat adalah asisten AI yang dikembangkan oleh Moonshot AI yang mendukung pemrosesan konteks ultra-panjang hingga 2 juta karakter Mandarin, kemampuan penelusuran web, dan sinkronisasi multi-platform.