Soup CLI
Soup CLI ist ein quelloffener, CLI-first Post-Training-Stack, der Ihre Daten automatisch überprüft, eine Trainingsmethode auswählt, Konfigurationen generiert, Evaluierungen ableitet, jeden Checkpoint sperrt und eingefrorene Basisschichten streamen+NF4-quantisieren kann, sodass selbst 8B Fine-Tunes auf ~4 GB GPUs ausgeführt werden können.
https://trysoup.dev/?ref=producthunt&utm_source=aipure
Produktinformationen
Aktualisiert:Aug 11, 2026
Was ist Soup CLI
Soup CLI ist ein kostenloses, unter Apache-2.0 lizenziertes Befehlszeilentool, das das LLM-Post-Training (SFT und Präferenz-Alignment) in einen einzigen, reproduzierbaren Workflow verwandelt: den Lauf entscheiden, trainieren, evaluieren und versenden. Anstatt Sie dazu zu bringen, endlose YAML-Parameter manuell anzupassen, konzentriert sich Soup auf „Regeln, nicht auf Suche“, wählt automatisch sinnvolle Standardwerte (z. B. Aufgaben-Setup, Quantisierung, Lernrate, Epochen, Batch-Größe, Optimierer/Scheduler) aus und validiert Ihre Daten vor dem Training. Es integriert sich mit gängigen Ökosystem-Tools (Hugging Face, Unsloth, DeepSpeed, MLX, W&B, vLLM/Ollama/llama.cpp Exportpfade), bleibt dabei offline-fähig und vermeidet Anbieterbindung.
Hauptfunktionen von Soup CLI
Soup CLI ist ein quelloffenes, CLI-first Post-Training-Toolkit, das das Fine-Tuning und die Ausrichtung von LLMs in einen Ein-Befehl-Workflow verwandelt: Es "pre-flights" und "doktert" Ihren Datensatz, wählt eine geeignete Trainingsmethode aus, schreibt automatisch eine Konfiguration mithilfe von Regeln (nicht Hyperparametersuche), leitet Bewertungen aus Ihren eigenen Daten ab und sichert Checkpoints mit einem "ship/don't-ship"-Urteil. Seine herausragende Fähigkeit ist das exakte Layer-Streaming: Es kann das eingefrorene Basismodell im CPU-RAM oder NVMe halten und Schicht für Schicht in den VRAM streamen, während es auf 4-Bit (z.B. NF4) quantisiert wird, wodurch LoRA SFT und Präferenzmethoden (DPO/ORPO/SimPO/KTO) auf sehr kleinen GPUs (berichtet: Llama-3.1-8B auf einer 4 GB Laptop-GPU) ermöglicht werden. Es integriert sich auch mit gängigen ML-Ökosystem-Tools für die Aufnahme von Produktions-Traces, Bewertung, Export und Bereitstellung.
Ein-Befehl-Post-Training-Workflow: Führt den End-to-End-Loop (Datenprüfungen → Methodenauswahl → Konfigurationsgenerierung → Training → Evaluierung → gesicherte Speichervorgänge) von einer einzigen CLI aus, wodurch die manuelle Verdrahtung zwischen Tools reduziert wird.
Regelbasierte Auto-Konfiguration (weniger Konfigurationshölle): Schreibt automatisch Trainingskonfigurationen und wählt wichtige Standardwerte (Aufgabe, Quantisierung, Lernrate, Epochen, Batch-Größe/Optimierer/Scheduler/Zielmodule) mithilfe integrierter Regeln, anstatt Parametersuchen zu erfordern.
Exaktes Layer-Streaming + 4-Bit-Quantisierung: Streamt das eingefrorene Basismodell Schicht für Schicht von CPU-RAM/NVMe in den VRAM auf einem dedizierten CUDA-Stream und quantisiert auf 4-Bit (z.B. NF4), wodurch der Spitzen-VRAM durch eine einzelne Schicht begrenzt und das Training größerer Modelle auf kleinen GPUs ermöglicht wird.
Unterstützt mehrere Post-Training-Methoden: Bietet überwachtes Fine-Tuning (SFT) und Präferenz-/Alignment-Methoden einschließlich DPO, ORPO, SimPO und KTO (mit Streaming-Unterstützung auch für diese Methoden).
Bewertung und Speichersicherung, die an Ihre Daten gebunden sind: Leitet Bewertungen aus Ihrem eigenen Datensatz ab und sichert jeden Speichervorgang mit einem einzigen "SHIP oder DON'T-SHIP"-Urteil, um das blinde Speichern/Freigeben von verschlechterten Checkpoints zu verhindern.
Migration + Ökosystem-Integrationen: Enthält `soup migrate` zum Konvertieren bestehender Konfigurationen von anderen Fine-Tuning-Stacks (z.B. LLaMA-Factory, Axolotl, Unsloth) und integriert sich mit gängigen Tools für Trainingsbeschleunigung, Tracking, Export und Bereitstellung (z.B. Unsloth, DeepSpeed, W&B, vLLM, Ollama, llama.cpp, ONNX, TensorRT).
Anwendungsfälle von Soup CLI
On-Device Fine-Tuning für Edge-Anwendungen: Teams, die Assistenten entwickeln, die lokal ausgeführt werden müssen (Datenschutz/Offline), können ein Modell der 8B-Klasse auf eingeschränkter Hardware mithilfe von Streaming + 4-Bit-Quantisierung feinabstimmen und dann über lokale Laufzeiten exportieren/bereitstellen.
Kundensupport- und Unternehmenswissensassistenten: Feinabstimmung und Ausrichtung eines Basismodells auf interne Q&A- und Chat-Transkripte, unter Verwendung von Daten-Pre-Flight-Checks und gesicherten Speichervorgängen, um Regressionen vor der Bereitstellung für Helpdesk- oder interne Chat-Tools zu reduzieren.
Produktiteration aus Produktions-Traces: Protokolle/Traces von Observability- und LLM-Plattformen (z.B. Langfuse/LangSmith/Helicone/OpenTelemetry-Exporte) aufnehmen, um Trainingsdaten zu erstellen, SFT oder Präferenzoptimierung durchzuführen und Verbesserungen in einer wiederholbaren CLI-Pipeline zu bewerten.
Akademische Labore und kleine Teams mit begrenztem GPU-Budget: Forscher können reproduzierbare Fine-Tuning-/Alignment-Experimente auf bescheidenen GPUs durchführen, ohne eine Multi-GPU-Infrastruktur zu benötigen, während sie weiterhin Standard-Evaluierungsabläufe und -Exporte verwenden.
Regulierte Branchen, die Offline-Workflows benötigen: Teams im Gesundheitswesen/Finanzwesen/öffentlichen Sektor können Daten lokal halten, Training und Bewertung offline durchführen und explizite "ship/don't-ship"-Gating verwenden, um interne Release-Prozesse zu unterstützen.
Modellbereitstellungspaketierung für verschiedene Laufzeiten: Nach dem Training können Teams verschiedene Serving-Stacks (lokale Entwicklung mit Ollama, hoher Durchsatz mit vLLM/SGLang, Edge mit llama.cpp/GGUF oder Inferenz-Stacks über ONNX/TensorRT) aus demselben Projekt-Workflow ansprechen.
Vorteile
Ermöglicht das Fine-Tuning größerer LLMs auf sehr kleinen GPUs durch exaktes Layer-Streaming und 4-Bit-Quantisierung (z.B. 8B auf 4 GB berichtet).
CLI-first, regelbasierte Automatisierung reduziert den Konfigurationsaufwand und beschleunigt die Iteration (Auto-Konfiguration + Methodenauswahl + Pre-Flight).
Der End-to-End-Workflow umfasst Bewertung und gesichertes Speichern von Checkpoints, was sicherere Releases fördert.
Breite Ökosystemintegration und Konfigurationsmigration senken die Wechselkosten von anderen Tools.
Nachteile
Layer-Streaming ist explizit als BETA gekennzeichnet mit angegebenen Einschränkungen (z.B. Fokus auf Transformer/Text/Plain LoRA), daher ist bei Randfällen Vorsicht geboten.
Streaming begrenzt Gewichte, aber nicht alle Speicher-Treiber (z.B. Logits/Vokabular können den VRAM dominieren), sodass einige Workloads möglicherweise immer noch nicht auf kleine GPUs passen.
Historische Korrektheitsprobleme wurden offengelegt (z.B. zuvor gestreamter Adapter ohne Funktion außerhalb des Streaming-Pfads; NF4-Gradientenfehler über 32B vor dem Fix), was darauf hindeutet, dass Benutzer Versionen festlegen und Ergebnisse validieren sollten.
Leistungsansprüche für einige Präferenzverluste wurden in den bereitgestellten Quellen nicht vollständig bewertet, sodass Durchsatz-Erwartungen möglicherweise lokal gemessen werden müssen.
Wie verwendet man Soup CLI
1) Soup CLI installieren (leichter Kern): Installieren Sie die Kern-CLI + Konfigurations- + Daten-Tools (kein PyTorch-Stack):
pip install soup-cli
Verwenden Sie dies, wenn Sie nur Projekte initialisieren, Konfigurationen verwalten oder Daten-Tools ohne Trainingsabhängigkeiten ausführen möchten.
2) Soup mit Trainingsunterstützung installieren (empfohlen für Fine-Tuning): Installieren Sie Soup plus den Trainings-Stack (torch, transformers, peft, trl, datasets usw.):
pip install "soup-cli[train]"
Dies ist die typische Installation für SFT- und Präferenz-Trainings-Workflows.
3) (Optional) Das vollständige Feature-Bundle installieren: Wenn Sie Training + Serve + UI + Daten-Tools in einer Installation wünschen:
pip install "soup-cli[all]"
4) (Optional) Die neueste Entwicklungsversion von GitHub installieren: Wenn Sie die neuesten Änderungen wünschen (kann weniger stabil sein):
pip install git+https://github.com/MakazhanAlpamys/Soup.git
5) Ein neues Projekt aus einer Vorlage initialisieren: Erstellen Sie ein Starterprojekt/eine Konfiguration mit einer integrierten Vorlage (Beispiel: Chat):
soup init --template chat
Dies richtet eine ausführbare Struktur ein, sodass Sie mit minimaler manueller Konfiguration trainieren können.
6) Ihre Trainingsdaten vorbereiten (Soup auf Ihr Dataset verweisen): Legen Sie Ihr Dataset lokal ab (üblicherweise JSONL). In einer Soup-Konfiguration verweisen Sie auf Pfade wie:
train: ./data/train.jsonl
Soup unterstützt Dataset-Formate wie Alpaca-ähnliche Daten (wie in den Quellen gezeigt).
7) Den Lauf konfigurieren (Beispiel für manuelle Konfiguration): Sie können eine Konfiguration bereitstellen, die das Basismodell, die Aufgabe/Phase, LoRA-Einstellungen, Quantisierung und das Ausgabeverzeichnis angibt. In den Quellen gezeigte Beispielfelder umfassen:
- base/model_name_or_path: meta-llama/Llama-3.1-8B (oder -Instruct)
- task/stage: sft
- finetuning_type: lora
- lora_rank (r), lora_alpha, lora_dropout, lora_target
- cutoff_len
- learning_rate, epochs
- quantization_bit: 4
- output_dir
Soup kann auch viele Einstellungen (Optimierer, Scheduler, Zielmodule, Batch-Größe) je nach Workflow automatisch erkennen/auswählen.
8) Training in einem Befehl ausführen: Führen Sie das Training aus Ihrem initialisierten Projekt/Ihrer Konfiguration aus:
soup train
Laut den Quellen führt Soup Vorabprüfungen der Daten durch, wählt/leitet Trainingseinstellungen über Regeln ab (nicht manuelle Hyperparametersuche), leitet Evaluierungen aus Ihren eigenen Daten ab und sperrt Speicherungen.
9) 4-Bit-Quantisierung für Fine-Tuning mit geringem VRAM verwenden (Beispiel): Um den VRAM-Verbrauch zu reduzieren, konfigurieren Sie die 4-Bit-Quantisierung (z. B. quantization_bit: 4). Die Quellen beschreiben das Schicht-für-Schicht-Streaming des eingefrorenen Basismodells aus dem CPU-RAM oder NVMe und die Quantisierung auf NF4, sodass ein 8B-Modell auf einer 4 GB GPU feinabgestimmt werden kann.
10) Präferenz-/Alignment-Methoden (DPO/ORPO/SimPO/KTO) bei Bedarf ausführen: Soup unterstützt Alignment-Methoden wie DPO, ORPO, SimPO und KTO, und die Quellen besagen, dass diese auch mit dem gleichen Layer-Streaming-Ansatz ausgeführt werden können, wenn das Modell größer als der GPU-VRAM ist.
11) Von einem anderen Fine-Tuning-Tool migrieren (Konvertierung der Konfiguration): Wenn Sie bereits Konfigurationen von anderen Tools haben, verwenden Sie:
soup migrate
Die Quellen besagen, dass dies bestehende Konfigurationen (z. B. von LLaMA-Factory, Axolotl, Unsloth) ohne Umschreiben konvertiert, und Sie dann normal trainieren können.
12) Produktions-Traces/Logs für Offline-Trainingsdaten aufnehmen (optional): Um Datasets aus bestehenden Logs/Exporten zu erstellen, verwenden Sie das in den Quellen gezeigte Ingest-Befehlsmuster:
soup ingest --source <vendor> --logs <export.jsonl>
Erwähnte unterstützte Quellen sind Langfuse, LangSmith, Helicone, OpenPipe, OpenTelemetry und OpenAI Stored Completions.
Soup CLI FAQs
Soup CLI ist eine kostenlose, quelloffene (Apache-2.0) CLI-first Post-Training-Toolchain, die den gesamten Kreislauf abdeckt: Sie validiert und "doktert" Ihre Daten vor dem Start, wählt eine Trainingsmethode, schreibt die Trainingskonfiguration automatisch (einschließlich Aufgabe, Quantisierung, Lernrate und Epochen basierend auf Regeln statt Hyperparametersuche), leitet Evaluierungen aus Ihren eigenen Daten ab, sichert jede Speicherung und kann Belohnungs-Hacking während des Laufs selbst korrigieren, anstatt nur anzuhalten. Es integriert sich auch in gängige ML-Tools (Hugging Face, Ollama, vLLM, DeepSpeed, Unsloth, ONNX/TensorRT, W&B, etc.).
Soup CLI Video
Beliebte Artikel
Atoms: Eine Multi-Agenten-KI-Plattform, die Ideen in startbereite Produkte verwandelt
May 22, 2026
Nano Banana SBTI: Was es ist, wie es funktioniert und wie man es im Jahr 2026 einsetzt
Apr 15, 2026
Atoms Review – Der KI-Produkt-Builder, der die digitale Erstellung im Jahr 2026 neu definiert
Apr 10, 2026
Kilo Claw: Wie man einen echten "Do-It-For-You" KI-Agenten bereitstellt und verwendet (2026 Update)
Apr 3, 2026
Neueste KI-Tools ähnlich wie Soup CLI
Gait
Gait ist ein Collaboration-Tool, das KI-unterstützte Codegenerierung mit Versionskontrolle integriert und es Teams ermöglicht, KI-generierten Codekontext effizient zu verfolgen, zu verstehen und zu teilen.
invoices.dev
invoices.dev ist eine automatisierte Rechnungsplattform, die Rechnungen direkt aus den Git-Commits der Entwickler generiert und Integrationsmöglichkeiten für GitHub, Slack, Linear und Google-Dienste bietet.
EasyRFP
EasyRFP ist ein KI-gestütztes Edge-Computing-Toolkit, das RFP (Request for Proposal)-Antworten optimiert und eine Echtzeit-Feldphänotypisierung durch Deep-Learning-Technologie ermöglicht.
Cart.ai
Cart.ai ist eine KI-gestützte Dienstleistungsplattform, die umfassende Lösungen zur Automatisierung von Geschäftsprozessen bietet, einschließlich Programmierung, Kundenbeziehungsmanagement, Videobearbeitung, E-Commerce-Setup und benutzerdefinierter KI-Entwicklung mit 24/7 Unterstützung.
Beliebte KI-Tools wie Soup CLI
GitHub Copilot Chat
GitHub Copilot Chat ist ein KI-gestützter Codierungsassistent, der Interaktionen in natürlicher Sprache, Echtzeit-Codevorschläge und kontextuelle Unterstützung direkt innerhalb unterstützter IDEs und GitHub.com bietet.
CopilotForXcode
CopilotForXcode ist eine Xcode-Quell-Editor-Erweiterung, die GitHub Copilot, Codeium und ChatGPT integriert, um KI-gestützte Codevorschläge, Chat-Unterstützung und Prompt-to-Code-Funktionalität innerhalb von Xcode bereitzustellen.
BrowserAI
BrowserAI ist eine Open-Source-Bibliothek, die die Ausführung lokaler Large Language Models (LLMs) direkt in Webbrowsern mit WebGPU-Beschleunigung ermöglicht und datenschutzorientierte KI-Funktionen bietet, ohne dass eine Serverinfrastruktur erforderlich ist.
OpenAI Codex CLI
OpenAI Codex CLI ist ein schlanker Open-Source-Coding-Agent, der in Ihrem Terminal ausgeführt wird und es Entwicklern ermöglicht, natürliche Sprache in Codeausführung zu übersetzen und gleichzeitig ChatGPT-ähnliche Argumentation mit der Möglichkeit, Code auszuführen, Dateien zu bearbeiten und unter Versionskontrolle zu iterieren, bereitzustellen.