Soup CLI
Soup CLI — это открытый, CLI-ориентированный стек для пост-обучения, который автоматически проверяет ваши данные, выбирает метод обучения, генерирует конфигурации, выводит оценки, контролирует каждую контрольную точку и может потоково передавать + квантовать замороженные базовые слои в NF4, так что даже тонкая настройка 8B может работать на GPU с ~4 ГБ.
https://trysoup.dev/?ref=producthunt&utm_source=aipure
Информация о продукте
Обновлено:11/08/2026
Что такое Soup CLI
Soup CLI — это бесплатный инструмент командной строки с лицензией Apache-2.0, который превращает пост-обучение LLM (SFT и выравнивание предпочтений) в единый, воспроизводимый рабочий процесс: выбор запуска, обучение, оценка и выпуск. Вместо того чтобы заставлять вас вручную настраивать бесконечные параметры YAML, Soup фокусируется на «правилах, а не поиске», автоматически выбирая разумные значения по умолчанию (например, настройка задачи, квантование, скорость обучения, эпохи, размер пакета, оптимизатор/планировщик) и проверяя ваши данные перед обучением. Он интегрируется с распространенными инструментами экосистемы (Hugging Face, Unsloth, DeepSpeed, MLX, W&B, пути экспорта vLLM/Ollama/llama.cpp), оставаясь при этом автономным и избегая привязки к поставщику.
Ключевые особенности Soup CLI
Soup CLI — это открытый, ориентированный на командную строку инструментарий для пост-обучения, который превращает тонкую настройку и выравнивание LLM в рабочий процесс из одной команды: он предварительно проверяет и "доводит до ума" ваш набор данных, выбирает подходящий метод обучения, автоматически пишет конфигурацию, используя правила (а не поиск гиперпараметров), выводит оценки из ваших собственных данных и контролирует контрольные точки с вердиктом "отправлять/не отправлять". Его флагманская возможность — точная потоковая передача слоев: он может держать замороженную базовую модель в ОЗУ ЦП или NVMe и передавать ее в VRAM по одному слою за раз, квантуя до 4 бит (например, NF4), что позволяет использовать методы LoRA SFT и предпочтения (DPO/ORPO/SimPO/KTO) на очень маленьких графических процессорах (сообщается: Llama-3.1-8B на 4 ГБ графическом процессоре ноутбука). Он также интегрируется с общими инструментами экосистемы ML для приема производственных трассировок, оценки, экспорта и обслуживания.
Рабочий процесс пост-обучения одной командой: Выполняет сквозной цикл (проверки данных → выбор метода → генерация конфигурации → обучение → оценка → контролируемые сохранения) из одного CLI, уменьшая ручную настройку между инструментами.
Автоматическая конфигурация на основе правил (меньше проблем с конфигурацией): Автоматически записывает конфигурации обучения и выбирает ключевые значения по умолчанию (задача, квантизация, скорость обучения, эпохи, размер пакета/оптимизатор/планировщик/целевые модули), используя встроенные правила, а не требуя поиска параметров.
Точная потоковая передача слоев + 4-битная квантизация: Передает замороженную базовую модель из ОЗУ ЦП/NVMe в VRAM слой за слоем по выделенному потоку CUDA и квантует до 4 бит (например, NF4), ограничивая пиковую VRAM одним слоем и позволяя обучать более крупные модели на небольших графических процессорах.
Поддерживает несколько методов пост-обучения: Предоставляет методы контролируемой тонкой настройки (SFT) и предпочтения/выравнивания, включая DPO, ORPO, SimPO и KTO (с поддержкой потоковой передачи для этих методов).
Оценка и контроль сохранения, привязанные к вашим данным: Выводит оценки из вашего собственного набора данных и контролирует каждое сохранение с помощью единого вердикта "ОТПРАВИТЬ или НЕ ОТПРАВЛЯТЬ", стремясь предотвратить слепое сохранение/выпуск деградировавших контрольных точек.
Миграция + интеграция с экосистемой: Включает `soup migrate` для преобразования существующих конфигураций из других стеков тонкой настройки (например, LLaMA-Factory, Axolotl, Unsloth) и интегрируется с общими инструментами для ускорения обучения, отслеживания, экспорта и обслуживания (например, Unsloth, DeepSpeed, W&B, vLLM, Ollama, llama.cpp, ONNX, TensorRT).
Варианты использования Soup CLI
Тонкая настройка на устройстве для граничных приложений: Команды, создающие помощников, которые должны работать локально (конфиденциальность/автономный режим), могут тонко настраивать модель класса 8B на ограниченном оборудовании, используя потоковую передачу + 4-битную квантизацию, а затем экспортировать/обслуживать через локальные среды выполнения.
Помощники по поддержке клиентов и корпоративным знаниям: Тонкая настройка и выравнивание базовой модели на внутренних вопросах и ответах и стенограммах чатов, с использованием предварительных проверок данных и контролируемых сохранений для уменьшения регрессий перед развертыванием в службу поддержки или внутренние инструменты чата.
Итерация продукта на основе производственных трассировок: Прием журналов/трассировок из платформ наблюдаемости и LLM (например, экспорты Langfuse/LangSmith/Helicone/OpenTelemetry) для создания обучающих данных, запуска SFT или оптимизации предпочтений и оценки улучшений в повторяемом конвейере CLI.
Академические лаборатории и небольшие команды с ограниченным бюджетом на графические процессоры: Исследователи могут проводить воспроизводимые эксперименты по тонкой настройке/выравниванию на скромных графических процессорах без необходимости в инфраструктуре с несколькими графическими процессорами, при этом используя стандартные потоки оценки и экспорта.
Регулируемые отрасли, нуждающиеся в автономных рабочих процессах: Команды здравоохранения/финансов/государственного сектора могут хранить данные локально, выполнять обучение и оценку в автономном режиме и использовать явную проверку "отправлять/не отправлять" для поддержки внутренних процессов выпуска.
Упаковка развертывания модели для различных сред выполнения: После обучения команды могут ориентироваться на различные стеки обслуживания (локальная разработка с Ollama, высокая пропускная способность с vLLM/SGLang, периферия с llama.cpp/GGUF или стеки вывода через ONNX/TensorRT) из одного и того же рабочего процесса проекта.
Преимущества
Позволяет тонко настраивать более крупные LLM на очень маленьких графических процессорах с помощью точной потоковой передачи слоев и 4-битной квантизации (например, сообщается о 8B на 4 ГБ).
Автоматизация на основе правил, ориентированная на CLI, снижает нагрузку на конфигурацию и ускоряет итерацию (автоматическая конфигурация + выбор метода + предварительная проверка).
Сквозной рабочий процесс включает оценку и контролируемое сохранение контрольных точек, что способствует более безопасным выпускам.
Широкая интеграция с экосистемой и миграция конфигурации снижают затраты на переход с других инструментов.
Недостатки
Потоковая передача слоев явно помечена как БЕТА с указанными ограничениями (например, фокус на трансформаторах/тексте/простом LoRA), поэтому в крайних случаях может потребоваться осторожность.
Потоковая передача ограничивает веса, но не все драйверы памяти (например, логиты/словарь могут доминировать в VRAM), поэтому некоторые рабочие нагрузки все еще могут не помещаться на небольших графических процессорах.
Были раскрыты исторические проблемы с корректностью (например, предыдущий потоковый адаптер не работал вне пути потоковой передачи; дефект градиента NF4 выше 32B до исправления), что предполагает, что пользователи должны фиксировать версии и проверять результаты.
Заявленные показатели производительности для некоторых потерь предпочтений не были полностью протестированы в предоставленных источниках, поэтому ожидания пропускной способности могут потребовать локального измерения.
Как использовать Soup CLI
1) Установите Soup CLI (легкое ядро): Установите основную CLI + конфигурацию + инструменты для работы с данными (без стека PyTorch):
pip install soup-cli
Используйте это, если вы хотите только инициализировать проекты, управлять конфигурациями или запускать инструменты для работы с данными без зависимостей для обучения.
2) Установите Soup с поддержкой обучения (рекомендуется для тонкой настройки): Установите Soup плюс стек для обучения (torch, transformers, peft, trl, datasets и т.д.):
pip install "soup-cli[train]"
Это типичная установка для рабочих процессов SFT и обучения предпочтениям.
3) (Необязательно) Установите полный набор функций: Если вы хотите обучать + обслуживать + UI + инструменты для работы с данными в одной установке:
pip install "soup-cli[all]"
4) (Необязательно) Установите последнюю версию для разработки с GitHub: Если вы хотите получить самые новые изменения (может быть менее стабильным):
pip install git+https://github.com/MakazhanAlpamys/Soup.git
5) Инициализируйте новый проект из шаблона: Создайте стартовый проект/конфигурацию, используя встроенный шаблон (пример: chat):
soup init --template chat
Это настраивает запускаемую структуру, чтобы вы могли обучать с минимальной ручной настройкой.
6) Подготовьте данные для обучения (укажите Soup на ваш набор данных): Разместите ваш набор данных локально (обычно JSONL). В конфигурации Soup вы будете ссылаться на пути, такие как:
train: ./data/train.jsonl
Soup поддерживает форматы наборов данных, такие как данные в стиле Alpaca (как показано в источниках).
7) Настройте запуск (пример ручной конфигурации): Вы можете предоставить конфигурацию, которая указывает базовую модель, задачу/этап, настройки LoRA, квантование и выходной каталог. Примеры полей, показанные в источниках, включают:
- base/model_name_or_path: meta-llama/Llama-3.1-8B (или -Instruct)
- task/stage: sft
- finetuning_type: lora
- lora_rank (r), lora_alpha, lora_dropout, lora_target
- cutoff_len
- learning_rate, epochs
- quantization_bit: 4
- output_dir
Soup также может автоматически определять/выбирать многие настройки (оптимизатор, планировщик, целевые модули, размер пакета) в зависимости от рабочего процесса.
8) Обучение одной командой: Запустите обучение из вашего инициализированного проекта/конфигурации:
soup train
Согласно источникам, Soup выполняет предстартовые проверки данных, выбирает/выводит настройки обучения с помощью правил (а не ручного поиска гиперпараметров), выводит оценки из ваших собственных данных и контролирует сохранения.
9) Используйте 4-битное квантование для тонкой настройки с низким VRAM (пример): Чтобы уменьшить использование VRAM, настройте 4-битное квантование (например, quantization_bit: 4). Источники описывают потоковую передачу замороженной базовой модели слой за слоем из оперативной памяти CPU или NVMe и квантование в NF4, чтобы модель 8B могла быть тонко настроена на GPU с 4 ГБ.
10) Запускайте методы предпочтений/выравнивания (DPO/ORPO/SimPO/KTO) при необходимости: Soup поддерживает методы выравнивания, включая DPO, ORPO, SimPO и KTO, и источники утверждают, что они также могут работать с тем же подходом потоковой передачи слоев, когда модель больше, чем VRAM GPU.
11) Миграция с другого инструмента тонкой настройки (преобразование конфигурации): Если у вас уже есть конфигурации из других инструментов, используйте:
soup migrate
Источники утверждают, что это преобразует существующие конфигурации (например, из LLaMA-Factory, Axolotl, Unsloth) без переписывания, после чего вы можете обучать в обычном режиме.
12) Прием производственных трассировок/логов для автономных обучающих данных (необязательно): Для создания наборов данных из существующих логов/экспортов используйте шаблон команды ingest, показанный в источниках:
soup ingest --source <vendor> --logs <export.jsonl>
Упомянутые поддерживаемые источники включают Langfuse, LangSmith, Helicone, OpenPipe, OpenTelemetry и OpenAI Stored Completions.
Часто задаваемые вопросы о Soup CLI
Soup CLI - это бесплатный инструмент с открытым исходным кодом (Apache-2.0), ориентированный на командную строку, который охватывает полный цикл после обучения: он проверяет и "дорабатывает" ваши данные перед запуском, выбирает метод обучения, автоматически записывает конфигурацию обучения (включая задачу, квантование, скорость обучения и эпохи на основе правил, а не поиска гиперпараметров), выводит оценки из ваших собственных данных, контролирует каждое сохранение и может самокорректировать взлом вознаграждения в процессе выполнения вместо того, чтобы только останавливаться. Он также интегрируется с общими инструментами машинного обучения (Hugging Face, Ollama, vLLM, DeepSpeed, Unsloth, ONNX/TensorRT, W&B и т.д.).
Видео Soup CLI
Популярные статьи
Atoms: Мультиагентная ИИ-платформа, которая превращает идеи в готовые к запуску продукты
May 22, 2026
Nano Banana SBTI: Что это такое, как это работает и как это использовать в 2026 году
Apr 15, 2026
Обзор Atoms — AI Product Builder, переопределяющий цифровое творчество в 2026 году
Apr 10, 2026
Kilo Claw: Как развернуть и использовать настоящего AI-агента "Сделай-Это-За-Вас" (Обновление 2026)
Apr 3, 2026
Последние ИИ-инструменты, похожие на Soup CLI
Gait
Gait — это инструмент для сотрудничества, который интегрирует генерацию кода с поддержкой ИИ с системой контроля версий, позволяя командам эффективно отслеживать, понимать и делиться контекстом кода, сгенерированного ИИ.
invoices.dev
invoices.dev - это автоматизированная платформа для выставления счетов, которая генерирует счета напрямую из коммитов Git разработчиков, с возможностями интеграции с GitHub, Slack, Linear и Google-услугами.
EasyRFP
EasyRFP — это ИИ-технология для вычислений на краю, которая упрощает ответы на RFP (запросы предложений) и позволяет проводить реальное время полевой фенотипизации с использованием технологий глубокого обучения.
Cart.ai
Cart.ai — это платформа на основе ИИ, предоставляющая комплексные решения для автоматизации бизнеса, включая программирование, управление отношениями с клиентами, редактирование видео, настройку электронной коммерции и разработку пользовательских решений на основе ИИ с поддержкой 24/7.
Популярные ИИ-инструменты, похожие на Soup CLI
GitHub Copilot Chat
GitHub Copilot Chat — это помощник по кодированию на базе искусственного интеллекта, который обеспечивает взаимодействия на естественном языке, реальные предложения кода и контекстную поддержку непосредственно в поддерживаемых IDE и на GitHub.com.
CopilotForXcode
CopilotForXcode — это расширение редактора исходного кода Xcode, которое интегрирует GitHub Copilot, Codeium и ChatGPT для предоставления предложений по коду на основе искусственного интеллекта, чат-помощи и функциональности prompt-to-code в Xcode.
BrowserAI
BrowserAI — это библиотека с открытым исходным кодом, которая позволяет запускать локальные большие языковые модели (LLM) непосредственно в веб-браузерах с ускорением WebGPU, предлагая возможности ИИ, ориентированные на конфиденциальность, без необходимости в серверной инфраструктуре.
OpenAI Codex CLI
OpenAI Codex CLI - это легкий агент для кодирования с открытым исходным кодом, который работает в вашем терминале, позволяя разработчикам переводить естественный язык в выполнение кода, обеспечивая при этом рассуждения на уровне ChatGPT с возможностью запуска кода, манипулирования файлами и итерации под контролем версий.