Soup CLI
Soup CLI adalah tumpukan post-training sumber terbuka, CLI-first yang secara otomatis memeriksa data Anda, memilih metode pelatihan, menghasilkan konfigurasi, menurunkan evaluasi, mengamankan setiap checkpoint, dan dapat melakukan streaming+NF4-kuantisasi lapisan dasar beku sehingga bahkan fine-tuning 8B dapat berjalan pada GPU ~4 GB.
https://trysoup.dev/?ref=producthunt&utm_source=aipure
Informasi Produk
Diperbarui:Aug 11, 2026
Apa itu Soup CLI
Soup CLI adalah alat baris perintah gratis berlisensi Apache-2.0 yang mengubah post-training LLM (SFT dan penyelarasan preferensi) menjadi alur kerja tunggal yang dapat direproduksi: putuskan jalankan, latih, evaluasi, dan kirim. Alih-alih membuat Anda menyetel knob YAML tanpa henti secara manual, Soup berfokus pada “aturan, bukan pencarian,” secara otomatis memilih default yang masuk akal (misalnya, pengaturan tugas, kuantisasi, tingkat pembelajaran, epoch, ukuran batch, pengoptimal/penjadwal) dan memvalidasi data Anda sebelum pelatihan. Ini terintegrasi dengan alat ekosistem umum (Hugging Face, Unsloth, DeepSpeed, MLX, W&B, jalur ekspor vLLM/Ollama/llama.cpp) sambil tetap mampu offline dan menghindari penguncian vendor.
Fitur Utama Soup CLI
Soup CLI adalah toolkit pasca-pelatihan sumber terbuka dan CLI-first yang mengubah penyempurnaan dan penyelarasan LLM menjadi alur kerja satu perintah: ia melakukan pra-penerbangan dan "memperbaiki" dataset Anda, memilih metode pelatihan yang sesuai, secara otomatis menulis konfigurasi menggunakan aturan (bukan pencarian hyperparameter), mendapatkan evaluasi dari data Anda sendiri, dan mengunci checkpoint dengan keputusan ship/don't-ship. Kemampuan utamanya adalah streaming lapisan yang tepat: ia dapat menyimpan model dasar yang beku di RAM CPU atau NVMe dan mengalirkannya ke VRAM satu lapisan pada satu waktu sambil mengkuantisasi ke 4-bit (misalnya, NF4), memungkinkan LoRA SFT dan metode preferensi (DPO/ORPO/SimPO/KTO) pada GPU yang sangat kecil (dilaporkan: Llama-3.1-8B pada GPU laptop 4 GB). Ini juga terintegrasi dengan alat ekosistem ML umum untuk menyerap jejak produksi, evaluasi, ekspor, dan penyajian.
Alur kerja pasca-pelatihan satu perintah: Menjalankan loop end-to-end (pemeriksaan data → pemilihan metode → pembuatan konfigurasi → pelatihan → evaluasi → penyimpanan terkunci) dari satu CLI, mengurangi pengkabelan manual antar alat.
Konfigurasi otomatis berbasis aturan (mengurangi kerumitan konfigurasi): Secara otomatis menulis konfigurasi pelatihan dan memilih default kunci (tugas, kuantisasi, laju pembelajaran, epoch, ukuran batch/pengoptimal/penjadwal/modul target) menggunakan aturan bawaan daripada memerlukan pencarian parameter.
Streaming lapisan yang tepat + kuantisasi 4-bit: Mengalirkan model dasar yang beku dari RAM CPU/NVMe ke VRAM lapis demi lapis pada aliran CUDA khusus dan mengkuantisasi ke 4-bit (misalnya, NF4), membatasi VRAM puncak dengan satu lapisan dan memungkinkan pelatihan model yang lebih besar pada GPU kecil.
Mendukung beberapa metode pasca-pelatihan: Menyediakan penyempurnaan yang diawasi (SFT) dan metode preferensi/penyelarasan termasuk DPO, ORPO, SimPO, dan KTO (dengan dukungan streaming untuk metode ini juga).
Evaluasi dan penguncian penyimpanan terkait dengan data Anda: Mendapatkan evaluasi dari dataset Anda sendiri dan mengunci setiap penyimpanan dengan satu keputusan "SHIP or DON'T-SHIP", bertujuan untuk mencegah penyimpanan/rilis checkpoint yang terdegradasi secara membabi buta.
Migrasi + integrasi ekosistem: Termasuk `soup migrate` untuk mengkonversi konfigurasi yang ada dari tumpukan penyempurnaan lainnya (misalnya, LLaMA-Factory, Axolotl, Unsloth) dan terintegrasi dengan alat umum untuk akselerasi pelatihan, pelacakan, ekspor, dan penyajian (misalnya, Unsloth, DeepSpeed, W&B, vLLM, Ollama, llama.cpp, ONNX, TensorRT).
Kasus Penggunaan Soup CLI
Penyempurnaan pada perangkat untuk aplikasi edge: Tim yang membangun asisten yang harus berjalan secara lokal (privasi/offline) dapat menyempurnakan model kelas 8B pada perangkat keras terbatas menggunakan streaming + kuantisasi 4-bit, lalu mengekspor/menyajikan melalui runtime lokal.
Asisten dukungan pelanggan dan pengetahuan perusahaan: Sempurnakan dan selaraskan model dasar pada Q&A internal dan transkrip obrolan, menggunakan pemeriksaan pra-penerbangan data dan penyimpanan yang terkunci untuk mengurangi regresi sebelum penerapan ke helpdesk atau alat obrolan internal.
Iterasi produk dari jejak produksi: Serap log/jejak dari platform observabilitas dan LLM (misalnya, ekspor Langfuse/LangSmith/Helicone/OpenTelemetry) untuk membuat data pelatihan, menjalankan SFT atau optimasi preferensi, dan mengevaluasi peningkatan dalam pipeline CLI yang dapat diulang.
Laboratorium akademik dan tim kecil dengan anggaran GPU terbatas: Peneliti dapat menjalankan eksperimen penyempurnaan/penyelarasan yang dapat direproduksi pada GPU sederhana tanpa memerlukan infrastruktur multi-GPU, sambil tetap menggunakan alur evaluasi dan ekspor standar.
Industri yang diatur membutuhkan alur kerja offline: Tim perawatan kesehatan/keuangan/sektor publik dapat menyimpan data secara lokal, menjalankan pelatihan dan evaluasi secara offline, dan menggunakan penguncian ship/don't-ship eksplisit untuk mendukung proses rilis internal.
Pengemasan penerapan model untuk berbagai runtime: Setelah pelatihan, tim dapat menargetkan tumpukan penyajian yang berbeda (pengembangan lokal dengan Ollama, throughput tinggi dengan vLLM/SGLang, edge dengan llama.cpp/GGUF, atau tumpukan inferensi melalui ONNX/TensorRT) dari alur kerja proyek yang sama.
Kelebihan
Memungkinkan penyempurnaan LLM yang lebih besar pada GPU yang sangat kecil melalui streaming lapisan yang tepat dan kuantisasi 4-bit (misalnya, 8B pada 4 GB dilaporkan).
Otomatisasi berbasis aturan CLI-first mengurangi beban konfigurasi dan mempercepat iterasi (konfigurasi otomatis + pemilihan metode + pra-penerbangan).
Alur kerja end-to-end mencakup evaluasi dan penyimpanan checkpoint yang terkunci, mendorong rilis yang lebih aman.
Integrasi ekosistem yang luas dan migrasi konfigurasi menurunkan biaya peralihan dari alat lain.
Kekurangan
Streaming lapisan secara eksplisit diberi label BETA dengan batasan yang disebutkan (misalnya, fokus transformers/text/plain LoRA), sehingga kasus-kasus ekstrem mungkin memerlukan kehati-hatian.
Streaming membatasi bobot tetapi tidak semua driver memori (misalnya, logit/vocab dapat mendominasi VRAM), sehingga beberapa beban kerja mungkin masih tidak muat pada GPU kecil.
Masalah kebenaran historis diungkapkan (misalnya, adaptor yang dialirkan sebelumnya tidak beroperasi di luar jalur streaming; cacat gradien NF4 di atas 32B pra-perbaikan), menunjukkan bahwa pengguna harus mengunci versi dan memvalidasi hasilnya.
Klaim kinerja untuk beberapa kerugian preferensi tidak sepenuhnya diuji dalam sumber yang disediakan, sehingga ekspektasi throughput mungkin memerlukan pengukuran lokal.
Cara Menggunakan Soup CLI
1) Instal Soup CLI (inti ringan): Instal CLI inti + konfigurasi + alat data (tanpa tumpukan PyTorch):
pip install soup-cli
Gunakan ini jika Anda hanya ingin menginisialisasi proyek, mengelola konfigurasi, atau menjalankan alat data tanpa dependensi pelatihan.
2) Instal Soup dengan dukungan pelatihan (direkomendasikan untuk fine-tuning): Instal Soup ditambah tumpukan pelatihan (torch, transformers, peft, trl, datasets, dll.):
pip install "soup-cli[train]"
Ini adalah instalasi tipikal untuk alur kerja pelatihan SFT dan preferensi.
3) (Opsional) Instal bundel fitur lengkap: Jika Anda ingin melatih + melayani + UI + alat data dalam satu instalasi:
pip install "soup-cli[all]"
4) (Opsional) Instal versi pengembangan terbaru dari GitHub: Jika Anda menginginkan perubahan terbaru (mungkin kurang stabil):
pip install git+https://github.com/MakazhanAlpamys/Soup.git
5) Inisialisasi proyek baru dari template: Buat proyek/konfigurasi awal menggunakan template bawaan (contoh: chat):
soup init --template chat
Ini menyiapkan struktur yang dapat dijalankan sehingga Anda dapat berlatih dengan konfigurasi manual minimal.
6) Siapkan data pelatihan Anda (arahkan Soup ke dataset Anda): Tempatkan dataset Anda secara lokal (umumnya JSONL). Dalam konfigurasi Soup, Anda akan mereferensikan jalur seperti:
train: ./data/train.jsonl
Soup mendukung format dataset seperti data gaya Alpaca (seperti yang ditunjukkan dalam sumber).
7) Konfigurasi jalankan (contoh konfigurasi manual): Anda dapat memberikan konfigurasi yang menentukan model dasar, tugas/tahap, pengaturan LoRA, kuantisasi, dan direktori keluaran. Contoh bidang yang ditunjukkan dalam sumber meliputi:
- base/model_name_or_path: meta-llama/Llama-3.1-8B (atau -Instruct)
- task/stage: sft
- finetuning_type: lora
- lora_rank (r), lora_alpha, lora_dropout, lora_target
- cutoff_len
- learning_rate, epochs
- quantization_bit: 4
- output_dir
Soup juga dapat secara otomatis mendeteksi/memilih banyak pengaturan (pengoptimal, penjadwal, modul target, ukuran batch) tergantung pada alur kerja.
8) Latih dalam satu perintah: Jalankan pelatihan dari proyek/konfigurasi yang Anda inisialisasi:
soup train
Menurut sumber, Soup melakukan pemeriksaan pra-penerbangan pada data, memilih/menurunkan pengaturan pelatihan melalui aturan (bukan pencarian hyperparameter manual), menurunkan evaluasi dari data Anda sendiri, dan mengamankan penyimpanan.
9) Gunakan kuantisasi 4-bit untuk fine-tuning VRAM rendah (contoh): Untuk mengurangi penggunaan VRAM, konfigurasikan kuantisasi 4-bit (misalnya, quantization_bit: 4). Sumber menjelaskan streaming model dasar beku lapis demi lapis dari CPU RAM atau NVMe dan mengkuantisasi ke NF4 sehingga model 8B dapat fine-tuning pada GPU 4 GB.
10) Jalankan metode preferensi/penyelarasan (DPO/ORPO/SimPO/KTO) saat dibutuhkan: Soup mendukung metode penyelarasan termasuk DPO, ORPO, SimPO, dan KTO, dan sumber menyatakan ini juga dapat berjalan dengan pendekatan layer-streaming yang sama ketika model lebih besar dari GPU VRAM.
11) Migrasi dari alat fine-tuning lain (konversi konfigurasi): Jika Anda sudah memiliki konfigurasi dari alat lain, gunakan:
soup migrate
Sumber menyatakan ini mengonversi konfigurasi yang ada (misalnya, dari LLaMA-Factory, Axolotl, Unsloth) tanpa menulis ulang, kemudian Anda dapat berlatih secara normal.
12) Masukkan jejak/log produksi untuk data pelatihan offline (opsional): Untuk membangun dataset dari log/ekspor yang ada, gunakan pola perintah ingest yang ditunjukkan dalam sumber:
soup ingest --source <vendor> --logs <export.jsonl>
Sumber yang didukung yang disebutkan termasuk Langfuse, LangSmith, Helicone, OpenPipe, OpenTelemetry, dan OpenAI Stored Completions.
FAQ Soup CLI
Soup CLI adalah toolchain pasca-pelatihan CLI-first gratis dan open-source (Apache-2.0) yang mencakup seluruh siklus: memvalidasi dan "memperbaiki" data Anda sebelum penerbangan, memilih metode pelatihan, menulis konfigurasi pelatihan secara otomatis (termasuk tugas, kuantisasi, tingkat pembelajaran, dan epoch dari aturan daripada pencarian hyperparameter), mendapatkan evaluasi dari data Anda sendiri, menjaga setiap penyimpanan, dan dapat mengoreksi diri sendiri dari peretasan hadiah di tengah jalan daripada hanya berhenti. Ini juga terintegrasi dengan alat ML umum (Hugging Face, Ollama, vLLM, DeepSpeed, Unsloth, ONNX/TensorRT, W&B, dll.).
Video Soup CLI
Artikel Populer
Atoms: Platform AI Multi-Agen yang Mengubah Ide menjadi Produk Siap Diluncurkan
May 22, 2026
Nano Banana SBTI: Apa Itu, Bagaimana Cara Kerjanya, dan Cara Menggunakannya di Tahun 2026
Apr 15, 2026
Ulasan Atoms — Pembuat Produk AI yang Mendefinisikan Ulang Kreasi Digital di Tahun 2026
Apr 10, 2026
Kilo Claw: Cara Menerapkan dan Menggunakan Agen AI "Lakukan-Untuk-Anda" Sejati (Pembaruan 2026)
Apr 3, 2026
Alat AI Terbaru Serupa dengan Soup CLI
Gait
Gait adalah alat kolaborasi yang mengintegrasikan generasi kode yang dibantu AI dengan kontrol versi, memungkinkan tim untuk melacak, memahami, dan membagikan konteks kode yang dihasilkan AI dengan efisien.
invoices.dev
invoices.dev adalah platform penagihan otomatis yang menghasilkan faktur langsung dari komit Git pengembang, dengan kemampuan integrasi untuk layanan GitHub, Slack, Linear, dan Google.
EasyRFP
EasyRFP adalah toolkit komputasi tepi yang didukung AI yang memperlancar respons RFP (Permintaan Proposal) dan memungkinkan fenotip lapangan waktu nyata melalui teknologi pembelajaran mendalam.
Cart.ai
Cart.ai adalah platform layanan bertenaga AI yang menyediakan solusi otomatisasi bisnis yang komprehensif termasuk pengkodean, manajemen hubungan pelanggan, pengeditan video, pengaturan e-commerce, dan pengembangan AI kustom dengan dukungan 24/7.
Alat AI Populer Seperti Soup CLI
GitHub Copilot Chat
GitHub Copilot Chat adalah asisten pengkodean bertenaga AI yang menyediakan interaksi bahasa alami, saran kode waktu nyata, dan dukungan kontekstual langsung di dalam IDE yang didukung dan GitHub.com.
CopilotForXcode
CopilotForXcode adalah Ekstensi Editor Sumber Xcode yang mengintegrasikan GitHub Copilot, Codeium, dan ChatGPT untuk memberikan saran kode yang didukung AI, bantuan obrolan, dan fungsionalitas prompt-to-code di dalam Xcode.
BrowserAI
BrowserAI adalah pustaka sumber terbuka yang memungkinkan menjalankan Model Bahasa Besar (LLM) lokal langsung di browser web dengan akselerasi WebGPU, menawarkan kemampuan AI yang berfokus pada privasi tanpa memerlukan infrastruktur server.
OpenAI Codex CLI
OpenAI Codex CLI adalah agen pengkodean sumber terbuka ringan yang berjalan di terminal Anda, memungkinkan pengembang untuk menerjemahkan bahasa alami ke dalam eksekusi kode sambil memberikan penalaran tingkat ChatGPT dengan kemampuan untuk menjalankan kode, memanipulasi file, dan melakukan iterasi di bawah kontrol versi.