
MiMo
MiMo là một loạt mô hình ngôn ngữ tham số 7B được phát triển bởi Xiaomi, chuyên về khả năng lý luận toán học và mã, đạt được hiệu suất tương đương với các mô hình lớn hơn thông qua các chiến lược tiền đào tạo và hậu đào tạo sáng tạo.
https://github.com/XiaomiMiMo/MiMo?ref=aipure&utm_source=aipure

Thông tin Sản phẩm
Đã cập nhật:May 16, 2025
MiMo là gì
MiMo là một loạt các mô hình ngôn ngữ được phát triển bởi Nhóm LLM-Core của Xiaomi, tập trung vào việc tăng cường khả năng lý luận trong cả toán học và mã. Dòng sản phẩm này bao gồm MiMo-7B-Base (mô hình cơ sở), MiMo-7B-RL (mô hình học tăng cường), MiMo-7B-SFT (mô hình tinh chỉnh có giám sát) và MiMo-7B-RL-Zero. Mặc dù có kích thước tương đối nhỏ là 7B tham số, MiMo thể hiện khả năng lý luận đặc biệt có thể phù hợp hoặc vượt quá hiệu suất của các mô hình 32B lớn hơn nhiều và thậm chí cạnh tranh với mô hình o1-mini của OpenAI.
Các Tính năng Chính của MiMo
MiMo là một chuỗi mô hình ngôn ngữ 7B tham số được phát triển bởi Xiaomi, được thiết kế đặc biệt để tăng cường khả năng suy luận trong cả toán học và mã. Nó bao gồm các phiên bản khác nhau (Base, SFT, RL-Zero và RL) được đào tạo thông qua sự kết hợp của các chiến lược tiền huấn luyện và hậu huấn luyện, có tính năng Dự đoán đa mã thông báo và các kỹ thuật xử lý dữ liệu chuyên biệt. Mô hình thể hiện hiệu suất vượt trội phù hợp với các mô hình 32B lớn hơn và o1-mini của OpenAI, đặc biệt là trong các nhiệm vụ toán học và mã hóa.
Dự đoán đa mã thông báo: Mục tiêu đào tạo nâng cao giúp cải thiện hiệu suất mô hình và tăng tốc độ suy luận
Quy trình tiền huấn luyện được tối ưu hóa: Sử dụng lọc dữ liệu đa chiều và tạo dữ liệu suy luận tổng hợp để tăng mật độ mẫu suy luận
Hệ thống đào tạo RL nâng cao: Có tính năng Seamless Rollout Engine cung cấp khả năng đào tạo nhanh hơn 2,29 lần và xác thực nhanh hơn 1,96 lần thông qua triển khai liên tục và tính toán phần thưởng không đồng bộ
Phần thưởng mã dựa trên độ khó của bài kiểm tra: Triển khai hệ thống tính điểm chi tiết cho các trường hợp kiểm tra với các mức độ khó khác nhau để cung cấp khả năng tối ưu hóa chính sách hiệu quả hơn
Các Trường hợp Sử dụng của MiMo
Giải quyết vấn đề toán học: Vượt trội trong việc giải quyết các vấn đề toán học phức tạp, bao gồm các cuộc thi cấp AIME và các đánh giá toán học tổng quát
Phát triển và kiểm thử mã: Xử lý các nhiệm vụ mã hóa khác nhau với độ chính xác cao, đặc biệt được thể hiện thông qua hiệu suất LiveCodeBench
Các nhiệm vụ suy luận chung: Thực hiện tốt trên các chuẩn suy luận chung như GPQA Diamond và SuperGPQA, làm cho nó phù hợp cho các nhiệm vụ phân tích logic
Ưu điểm
Phù hợp với hiệu suất của các mô hình lớn hơn mặc dù kích thước nhỏ hơn (7B tham số)
Hiệu suất vượt trội trong cả nhiệm vụ toán học và mã hóa
Suy luận hiệu quả thông qua Dự đoán đa mã thông báo
Khả năng truy cập mã nguồn mở với nhiều biến thể mô hình
Nhược điểm
Yêu cầu vLLM fork cụ thể để có hiệu suất tối ưu
Hiệu suất thấp hơn trên các tác vụ ngôn ngữ chung so với các tác vụ suy luận chuyên biệt
Xác minh hạn chế với các công cụ suy luận khác
Cách Sử dụng MiMo
Tải xuống Mô hình: Tải xuống một trong các mô hình MiMo từ Hugging Face (https://huggingface.co/XiaomiMiMo). Các mô hình có sẵn là: MiMo-7B-Base, MiMo-7B-RL-Zero, MiMo-7B-SFT và MiMo-7B-RL
Thiết lập Môi trường: Cài đặt các phần phụ thuộc cần thiết. Bạn nên sử dụng nhánh vLLM của Xiaomi dựa trên vLLM 0.7.3 (https://github.com/XiaomiMiMo/vllm/tree/feat_mimo_mtp)
Chọn Phương pháp Suy luận: Bạn có thể sử dụng vLLM (khuyến nghị) hoặc HuggingFace để suy luận. vLLM hỗ trợ tính năng Dự đoán Nhiều Mã thông báo (MTP) của MiMo
Đối với Suy luận vLLM: Nhập các thư viện cần thiết (vllm), khởi tạo LLM với đường dẫn mô hình và các tham số (nên dùng temperature=0.6), tạo định dạng hội thoại với lời nhắc hệ thống trống và sử dụng llm.chat() để tạo phản hồi
Đối với Suy luận HuggingFace: Nhập AutoModel và AutoTokenizer từ transformers, tải mô hình và tokenizer với trust_remote_code=True, mã hóa đầu vào và sử dụng model.generate() để tạo đầu ra
Định cấu hình Tham số: Sử dụng temperature=0.6 để có kết quả tốt nhất. Bạn nên sử dụng lời nhắc hệ thống trống để có hiệu suất tối ưu
Chạy Suy luận: Nhập lời nhắc/truy vấn của bạn và mô hình sẽ tạo ra các phản hồi. Mô hình đặc biệt mạnh mẽ trong các nhiệm vụ lý luận bao gồm toán học và mã
Xử lý Đầu ra: Xử lý văn bản được tạo từ đầu ra của mô hình. Đối với vLLM, hãy truy cập văn bản thông qua output.outputs[0].text. Đối với HuggingFace, hãy sử dụng tokenizer.decode() trên đầu ra
Câu hỏi Thường gặp về MiMo
MiMo l\u00e0 m\u1ed9t lo\u1ea1t c\u00e1c m\u00f4 h\u00ecnh ng\u00f4n ng\u1eef tham s\u1ed1 7B do Xiaomi ph\u00e1t tri\u1ec3n, đ\u01b0\u1ee3c thi\u1ebft k\u1ebf v\u00e0 đ\u00e0o t\u1ea1o đ\u1eb7c bi\u1ec7t cho c\u00e1c nhi\u1ec7m v\u1ee5 suy lu\u1eadn. Lo\u1ea1t n\u00e0y bao g\u1ed3m MiMo-7B-Base, MiMo-7B-RL-Zero, MiMo-7B-SFT v\u00e0 c\u00e1c m\u00f4 h\u00ecnh MiMo-7B-RL.
Bài viết phổ biến

Top 5 trình tạo nhân vật NSFW tốt nhất năm 2025
May 29, 2025

Google Veo 3: Trình tạo video AI đầu tiên hỗ trợ âm thanh gốc
May 28, 2025

Top 5 AI Chatbot Bạn Gái NSFW Miễn Phí Bạn Cần Thử—Đánh Giá Thực Tế của AIPURE
May 27, 2025

SweetAI Chat so găng CrushOn.AI: Cuộc đối đầu đỉnh cao của bạn gái AI NSFW năm 2025
May 27, 2025