Где я могу найти и скачать модели MiMo?

Модели MiMo доступны на Hugging Face по адресу https://huggingface.co/XiaomiMiMo

Что делает MiMo особенным по сравнению с другими моделями?

MiMo-7B демонстрирует необычайный потенциал рассуждения, несмотря на свой относительно небольшой размер, даже превосходя гораздо более крупные модели с 32 миллиардами параметров. Модель MiMo-7B-RL соответствует производительности OpenAI o1-mini как в математических задачах, так и в задачах кодирования.

Как я могу развернуть и использовать MiMo?

Рекомендуемый способ - использовать форк vLLM от Xiaomi с поддержкой MiMo-MTP. В качестве альтернативы вы можете использовать стандартный вывод Hugging Face. Рекомендуется использовать пустой системный запрос и установить temperature=0.6 для оценки.

Каковы основные сильные стороны MiMo с точки зрения производительности?

MiMo демонстрирует особенно высокие результаты в математических задачах и задачах кодирования. Например, MiMo-7B-RL достигает 95,8% на MATH-500, 68,2% на AIME 2024 и 57,8% на LiveCodeBench v5, превосходя многие более крупные модели.

Как был обучен MiMo?

MiMo был обучен с помощью комбинации стратегий предварительного обучения и постобработки. Он был предварительно обучен примерно на 25 триллионах токенов с использованием трехэтапной стратегии смешивания данных, а затем прошел обучение с подкреплением на 130 тысячах математических задач и задач кодирования с верификаторами на основе правил.

MiMo

WebsiteFreeAI Code Assistant

MiMo — это серия языковых моделей с 7B параметрами, разработанная Xiaomi, которая специализируется на математических и кодовых рассуждениях, достигая производительности, сопоставимой с более крупными моделями, благодаря инновационным стратегиям предварительного и постобработки.

Посетить сайт

Прорекламировать этот инструмент

https://github.com/XiaomiMiMo/MiMo?ref=aipure&utm_source=aipure

Обзор
Альтернативы

Информация о продукте

Обновлено:16/05/2025

Что такое MiMo

MiMo — это серия языковых моделей, разработанных командой LLM-Core компании Xiaomi, которая фокусируется на улучшении возможностей рассуждения как в математике, так и в коде. Серия включает MiMo-7B-Base (базовая модель), MiMo-7B-RL (модель обучения с подкреплением), MiMo-7B-SFT (модель, точно настроенная под наблюдением) и MiMo-7B-RL-Zero. Несмотря на свой относительно небольшой размер в 7B параметров, MiMo демонстрирует исключительные способности к рассуждению, которые могут соответствовать или превосходить производительность гораздо более крупных моделей 32B и даже конкурировать с моделью o1-mini от OpenAI.

Ключевые особенности MiMo

MiMo — это серия языковых моделей с 7 миллиардами параметров, разработанная Xiaomi, специально предназначенная для улучшения возможностей рассуждения как в математике, так и в коде. Она включает в себя различные версии (Base, SFT, RL-Zero и RL), обученные с использованием комбинации стратегий предварительного и последующего обучения, включающих прогнозирование нескольких токенов и специализированные методы обработки данных. Модель демонстрирует исключительную производительность, соответствующую более крупным моделям с 32 миллиардами параметров и o1-mini от OpenAI, особенно в математических задачах и задачах кодирования.

Multiple-Token Prediction: Улучшенная цель обучения, которая повышает производительность модели и ускоряет скорость вывода

Optimized Pre-training Pipeline: Использует многомерную фильтрацию данных и генерацию синтетических данных рассуждений для увеличения плотности шаблонов рассуждений

Advanced RL Training System: Оснащен механизмом Seamless Rollout Engine, который обеспечивает в 2,29 раза более быстрое обучение и в 1,96 раза более быструю проверку благодаря непрерывному развертыванию и асинхронному вычислению вознаграждений

Test Difficulty Driven Code Reward: Реализует детальную систему оценки для тестовых примеров с различными уровнями сложности, чтобы обеспечить более эффективную оптимизацию политики

Варианты использования MiMo

Mathematical Problem Solving: Превосходно решает сложные математические задачи, включая соревнования уровня AIME и общие математические оценки

Code Development and Testing: Выполняет различные задачи кодирования с высокой точностью, что особенно демонстрируется производительностью LiveCodeBench

General Reasoning Tasks: Хорошо работает на общих эталонах рассуждений, таких как GPQA Diamond и SuperGPQA, что делает ее подходящей для задач логического анализа

Преимущества

Соответствует производительности более крупных моделей, несмотря на меньший размер (7 миллиардов параметров)

Превосходная производительность как в математических задачах, так и в задачах кодирования

Эффективный вывод благодаря прогнозированию нескольких токенов

Доступность с открытым исходным кодом с несколькими вариантами моделей

Недостатки

Требуется определенная версия vLLM для оптимальной производительности

Более низкая производительность в общих языковых задачах по сравнению со специализированными задачами рассуждения

Ограниченная проверка с другими механизмами вывода

Как использовать MiMo

Загрузите модель: Загрузите одну из моделей MiMo с Hugging Face (https://huggingface.co/XiaomiMiMo). Доступные модели: MiMo-7B-Base, MiMo-7B-RL-Zero, MiMo-7B-SFT и MiMo-7B-RL

Настройка окружения: Установите необходимые зависимости. Рекомендуется использовать форк vLLM от Xiaomi, который основан на vLLM 0.7.3 (https://github.com/XiaomiMiMo/vllm/tree/feat_mimo_mtp)

Выберите метод вывода: Вы можете использовать vLLM (рекомендуется) или HuggingFace для вывода. vLLM поддерживает функцию Multiple-Token Prediction (MTP) от MiMo

Для вывода vLLM: Импортируйте необходимые библиотеки (vllm), инициализируйте LLM с путем к модели и параметрами (рекомендуется temperature=0.6), создайте формат разговора с пустым системным запросом и используйте llm.chat() для создания ответов

Для вывода HuggingFace: Импортируйте AutoModel и AutoTokenizer из transformers, загрузите модель и токенизатор с trust_remote_code=True, токенизируйте входные данные и используйте model.generate() для создания выходных данных

Настройте параметры: Используйте temperature=0.6 для достижения наилучших результатов. Рекомендуется использовать пустой системный запрос для оптимальной производительности

Запустите вывод: Введите свой запрос/запрос, и модель сгенерирует ответы. Модель особенно сильна в задачах рассуждения, включая математику и код

Обработайте выходные данные: Обработайте сгенерированный текст из вывода модели. Для vLLM получите доступ к тексту через output.outputs[0].text. Для HuggingFace используйте tokenizer.decode() для вывода

Часто задаваемые вопросы о MiMo

MiMo - это серия языковых моделей с 7 миллиардами параметров, разработанная Xiaomi, специально разработанная и обученная для задач рассуждения. Серия включает в себя MiMo-7B-Base, MiMo-7B-RL-Zero, MiMo-7B-SFT и MiMo-7B-RL.

Последние ИИ-инструменты, похожие на MiMo

Gait

FreemiumAI Code Assistant AI Team Collaboration

Gait — это инструмент для сотрудничества, который интегрирует генерацию кода с поддержкой ИИ с системой контроля версий, позволяя командам эффективно отслеживать, понимать и делиться контекстом кода, сгенерированного ИИ.

invoices.dev

PaidAI Code Assistant AI Developer Tools

invoices.dev - это автоматизированная платформа для выставления счетов, которая генерирует счета напрямую из коммитов Git разработчиков, с возможностями интеграции с GitHub, Slack, Linear и Google-услугами.

EasyRFP

Contact for PricingAI Code Assistant AI Data Mining

EasyRFP — это ИИ-технология для вычислений на краю, которая упрощает ответы на RFP (запросы предложений) и позволяет проводить реальное время полевой фенотипизации с использованием технологий глубокого обучения.

Cart.ai

Contact for PricingAI Code Assistant AI Task Management

Cart.ai — это платформа на основе ИИ, предоставляющая комплексные решения для автоматизации бизнеса, включая программирование, управление отношениями с клиентами, редактирование видео, настройку электронной коммерции и разработку пользовательских решений на основе ИИ с поддержкой 24/7.

MiMo