
MiMo
MiMo est une série de modèles de langage de 7 milliards de paramètres développée par Xiaomi, spécialisée dans les capacités de raisonnement mathématique et de code, atteignant des performances comparables à celles de modèles plus grands grâce à des stratégies innovantes de pré-entraînement et de post-entraînement.
https://github.com/XiaomiMiMo/MiMo?ref=aipure&utm_source=aipure

Informations sur le produit
Mis à jour:May 16, 2025
Qu'est-ce que MiMo
MiMo est une série de modèles de langage développés par l'équipe LLM-Core de Xiaomi qui se concentre sur l'amélioration des capacités de raisonnement en mathématiques et en code. La série comprend MiMo-7B-Base (modèle de base), MiMo-7B-RL (modèle d'apprentissage par renforcement), MiMo-7B-SFT (modèle affiné supervisé) et MiMo-7B-RL-Zero. Malgré sa taille relativement petite de 7 milliards de paramètres, MiMo démontre des capacités de raisonnement exceptionnelles qui peuvent égaler ou dépasser les performances de modèles 32B beaucoup plus grands et même rivaliser avec le modèle o1-mini d'OpenAI.
Caractéristiques principales de MiMo
MiMo est une série de modèles de langage de 7 milliards de paramètres développée par Xiaomi, spécialement conçue pour améliorer les capacités de raisonnement en mathématiques et en code. Elle comprend différentes versions (Base, SFT, RL-Zero et RL) entraînées grâce à une combinaison de stratégies de pré-entraînement et de post-entraînement, comprenant la prédiction de jetons multiples et des techniques spécialisées de traitement des données. Le modèle démontre des performances exceptionnelles, égalant celles de modèles plus grands de 32 milliards de paramètres et de o1-mini d'OpenAI, en particulier dans les tâches mathématiques et de codage.
Prédiction de jetons multiples: Objectif d'entraînement amélioré qui améliore les performances du modèle et accélère la vitesse d'inférence
Pipeline de pré-entraînement optimisé: Utilise le filtrage de données multidimensionnelles et la génération de données de raisonnement synthétiques pour augmenter la densité des schémas de raisonnement
Système d'entraînement RL avancé: Comporte un moteur de déploiement continu qui offre un entraînement 2,29 fois plus rapide et une validation 1,96 fois plus rapide grâce au déploiement continu et au calcul asynchrone des récompenses
Récompense de code basée sur la difficulté des tests: Met en œuvre un système de notation affiné pour les cas de test avec différents niveaux de difficulté afin de fournir une optimisation de la politique plus efficace
Cas d'utilisation de MiMo
Résolution de problèmes mathématiques: Excelle dans la résolution de problèmes mathématiques complexes, y compris les compétitions de niveau AIME et les évaluations mathématiques générales
Développement et test de code: Gère diverses tâches de codage avec une grande précision, particulièrement démontrée par les performances de LiveCodeBench
Tâches de raisonnement général: Obtient de bons résultats sur des benchmarks de raisonnement général comme GPQA Diamond et SuperGPQA, ce qui le rend adapté aux tâches d'analyse logique
Avantages
Égale les performances de modèles plus grands malgré une taille plus petite (7 milliards de paramètres)
Performances supérieures en mathématiques et en codage
Inférence efficace grâce à la prédiction de jetons multiples
Disponibilité en open source avec de multiples variantes de modèles
Inconvénients
Nécessite un fork vLLM spécifique pour des performances optimales
Performances inférieures sur les tâches de langage général par rapport aux tâches de raisonnement spécialisées
Vérification limitée avec d'autres moteurs d'inférence
Comment utiliser MiMo
Télécharger le modèle: Téléchargez l'un des modèles MiMo depuis Hugging Face (https://huggingface.co/XiaomiMiMo). Les modèles disponibles sont : MiMo-7B-Base, MiMo-7B-RL-Zero, MiMo-7B-SFT et MiMo-7B-RL
Configurer l'environnement: Installez les dépendances requises. Il est recommandé d'utiliser le fork de vLLM de Xiaomi qui est basé sur vLLM 0.7.3 (https://github.com/XiaomiMiMo/vllm/tree/feat_mimo_mtp)
Choisir la méthode d'inférence: Vous pouvez utiliser vLLM (recommandé) ou HuggingFace pour l'inférence. vLLM prend en charge la fonctionnalité de prédiction multi-jetons (MTP) de MiMo
Pour l'inférence vLLM: Importez les bibliothèques requises (vllm), initialisez le LLM avec le chemin du modèle et les paramètres (température=0,6 recommandée), créez un format de conversation avec une invite système vide et utilisez llm.chat() pour générer des réponses
Pour l'inférence HuggingFace: Importez AutoModel et AutoTokenizer depuis transformers, chargez le modèle et le tokenizer avec trust_remote_code=True, tokenizez les entrées et utilisez model.generate() pour créer des sorties
Configurer les paramètres: Utilisez temperature=0.6 pour de meilleurs résultats. Il est recommandé d'utiliser une invite système vide pour des performances optimales
Exécuter l'inférence: Entrez votre invite/requête et le modèle générera des réponses. Le modèle est particulièrement performant dans les tâches de raisonnement, y compris les mathématiques et le code
Gérer les sorties: Traitez le texte généré à partir de la sortie du modèle. Pour vLLM, accédez au texte via output.outputs[0].text. Pour HuggingFace, utilisez tokenizer.decode() sur la sortie
FAQ de MiMo
MiMo est une série de modèles de langage de 7 milliards de paramètres développés par Xiaomi, spécialement conçus et entraînés pour les tâches de raisonnement. La série comprend MiMo-7B-Base, MiMo-7B-RL-Zero, MiMo-7B-SFT et les modèles MiMo-7B-RL.
Articles populaires

Google Veo 3 : Premier générateur de vidéo IA à prendre en charge l'audio nativement
May 28, 2025

Les 5 meilleurs chatbots IA NSFW gratuits pour petite amie que vous devez essayer - L'avis réel d'AIPURE
May 27, 2025

SweetAI Chat contre CrushOn.AI : L'affrontement ultime des copines IA NSFW en 2025
May 27, 2025

OpenAI Codex : Date de sortie, tarification, fonctionnalités et comment essayer le principal agent de codage IA
May 19, 2025