MiMo
MiMo는 Xiaomi에서 개발한 7B 파라미터 언어 모델 시리즈로, 혁신적인 사전 훈련 및 사후 훈련 전략을 통해 더 큰 모델과 비슷한 성능을 달성하여 수학 및 코드 추론 기능에 특화되어 있습니다.
https://github.com/XiaomiMiMo/MiMo?ref=aipure&utm_source=aipure
제품 정보
업데이트됨:May 16, 2025
MiMo이란?
MiMo는 수학과 코드 모두에서 추론 능력을 향상시키는 데 중점을 둔 Xiaomi의 LLM-Core 팀에서 개발한 일련의 언어 모델입니다. 이 시리즈에는 MiMo-7B-Base(기본 모델), MiMo-7B-RL(강화 학습 모델), MiMo-7B-SFT(지도 학습 미세 조정 모델) 및 MiMo-7B-RL-Zero가 포함됩니다. 7B 파라미터의 비교적 작은 크기에도 불구하고 MiMo는 훨씬 더 큰 32B 모델의 성능과 일치하거나 능가하고 OpenAI의 o1-mini 모델과 경쟁할 수 있는 뛰어난 추론 능력을 보여줍니다.
MiMo의 주요 기능
MiMo는 Xiaomi에서 개발한 7B 파라미터 언어 모델 시리즈로, 수학 및 코드 분야에서 향상된 추론 능력을 위해 특별히 설계되었습니다. 여기에는 사전 훈련 및 사후 훈련 전략의 조합을 통해 훈련된 다양한 버전(Base, SFT, RL-Zero 및 RL)이 포함되어 있으며, Multiple-Token Prediction 및 특수 데이터 처리 기술이 특징입니다. 이 모델은 특히 수학 및 코딩 작업에서 더 큰 32B 모델 및 OpenAI의 o1-mini와 일치하는 뛰어난 성능을 보여줍니다.
Multiple-Token Prediction: 모델 성능을 향상시키고 추론 속도를 가속화하는 향상된 훈련 목표입니다.
최적화된 사전 훈련 파이프라인: 추론 패턴 밀도를 높이기 위해 다차원 데이터 필터링 및 합성 추론 데이터 생성을 사용합니다.
고급 RL 훈련 시스템: 지속적인 롤아웃 및 비동기 보상 계산을 통해 2.29배 더 빠른 훈련과 1.96배 더 빠른 검증을 제공하는 Seamless Rollout Engine이 특징입니다.
테스트 난이도 기반 코드 보상: 보다 효과적인 정책 최적화를 제공하기 위해 다양한 난이도 수준의 테스트 케이스에 대한 세분화된 점수 시스템을 구현합니다.
MiMo의 사용 사례
수학 문제 해결: AIME 레벨 대회 및 일반 수학 평가를 포함한 복잡한 수학 문제 해결에 탁월합니다.
코드 개발 및 테스트: 특히 LiveCodeBench 성능을 통해 입증된 높은 정확도로 다양한 코딩 작업을 처리합니다.
일반 추론 작업: GPQA Diamond 및 SuperGPQA와 같은 일반 추론 벤치마크에서 우수한 성능을 보여 논리적 분석 작업에 적합합니다.
장점
더 작은 크기(7B 파라미터)에도 불구하고 더 큰 모델의 성능과 일치합니다.
수학 및 코딩 작업 모두에서 뛰어난 성능을 보입니다.
Multiple-Token Prediction을 통한 효율적인 추론이 가능합니다.
여러 모델 변형과 함께 오픈 소스로 제공됩니다.
단점
최적의 성능을 위해 특정 vLLM 포크가 필요합니다.
특수 추론 작업에 비해 일반 언어 작업에서 낮은 성능을 보입니다.
다른 추론 엔진과의 제한적인 검증이 있습니다.
MiMo 사용 방법
모델 다운로드: Hugging Face(https://huggingface.co/XiaomiMiMo)에서 MiMo 모델 중 하나를 다운로드합니다. 사용 가능한 모델은 MiMo-7B-Base, MiMo-7B-RL-Zero, MiMo-7B-SFT 및 MiMo-7B-RL입니다.
환경 설정: 필요한 종속성을 설치합니다. vLLM 0.7.3을 기반으로 하는 Xiaomi의 vLLM 포크(https://github.com/XiaomiMiMo/vllm/tree/feat_mimo_mtp)를 사용하는 것이 좋습니다.
추론 방법 선택: 추론에 vLLM(권장) 또는 HuggingFace를 사용할 수 있습니다. vLLM은 MiMo의 다중 토큰 예측(MTP) 기능을 지원합니다.
vLLM 추론의 경우: 필요한 라이브러리(vllm)를 가져오고 모델 경로 및 매개변수(온도=0.6 권장)로 LLM을 초기화하고 빈 시스템 프롬프트로 대화 형식을 만들고 llm.chat()을 사용하여 응답을 생성합니다.
HuggingFace 추론의 경우: transformers에서 AutoModel 및 AutoTokenizer를 가져오고 trust_remote_code=True로 모델과 토크나이저를 로드하고 입력을 토큰화하고 model.generate()를 사용하여 출력을 만듭니다.
매개변수 구성: 최상의 결과를 얻으려면 온도=0.6을 사용하십시오. 최적의 성능을 위해 빈 시스템 프롬프트를 사용하는 것이 좋습니다.
추론 실행: 프롬프트/쿼리를 입력하면 모델이 응답을 생성합니다. 이 모델은 수학 및 코드를 포함한 추론 작업에 특히 강력합니다.
출력 처리: 모델 출력에서 생성된 텍스트를 처리합니다. vLLM의 경우 output.outputs[0].text를 통해 텍스트에 액세스합니다. HuggingFace의 경우 출력에서 tokenizer.decode()를 사용합니다.
MiMo 자주 묻는 질문
MiMo는 샤오미에서 개발한 70억 개의 파라미터를 가진 언어 모델 시리즈로, 추론 작업을 위해 특별히 설계 및 훈련되었습니다. 이 시리즈에는 MiMo-7B-Base, MiMo-7B-RL-Zero, MiMo-7B-SFT 및 MiMo-7B-RL 모델이 포함됩니다.
MiMo와(과) 유사한 최신 AI 도구
Gait
Gait는 AI 지원 코드 생성을 버전 관리와 통합하여 팀이 AI 생성 코드 맥락을 효율적으로 추적, 이해 및 공유할 수 있도록 하는 협업 도구입니다.
invoices.dev
invoices.dev는 개발자의 Git 커밋에서 직접 청구서를 생성하는 자동화된 청구 플랫폼으로, GitHub, Slack, Linear 및 Google 서비스와의 통합 기능을 제공합니다.
EasyRFP
EasyRFP는 RFP(제안 요청) 응답을 간소화하고 딥 러닝 기술을 통해 실시간 현장 표현형을 가능하게 하는 AI 기반 엣지 컴퓨팅 툴킷입니다.
Cart.ai
Cart.ai는 코딩, 고객 관계 관리, 비디오 편집, 전자상거래 설정 및 맞춤형 AI 개발을 포함한 종합적인 비즈니스 자동화 솔루션을 제공하는 AI 기반 서비스 플랫폼으로, 24/7 지원을 제공합니다.
MiMo와(과) 유사한 인기 AI 도구
GitHub Copilot Chat
GitHub Copilot Chat은 자연어 상호작용, 실시간 코드 제안 및 지원되는 IDE와 GitHub.com 내에서 직접 제공되는 맥락 지원을 제공하는 AI 기반 코딩 도우미입니다.
CopilotForXcode
CopilotForXcode는 Xcode 내에서 AI 기반 코드 제안, 채팅 지원 및 프롬프트-투-코드 기능을 제공하기 위해 GitHub Copilot, Codeium 및 ChatGPT를 통합한 Xcode 소스 편집기 확장입니다.
BrowserAI
BrowserAI는 서버 인프라 없이 개인 정보 보호에 중점을 둔 AI 기능을 제공하여 WebGPU 가속을 통해 웹 브라우저에서 직접 로컬 대규모 언어 모델(LLM)을 실행할 수 있도록 하는 오픈 소스 라이브러리입니다.
OpenAI Codex CLI
OpenAI Codex CLI는 터미널에서 실행되는 경량 오픈 소스 코딩 에이전트로, 개발자가 자연어를 코드 실행으로 변환하고 코드 실행, 파일 조작, 버전 제어 하에서 반복 작업을 수행할 수 있는 ChatGPT 수준의 추론 기능을 제공합니다.