Hierarchical Reasoning Model

Hierarchical Reasoning Model

Hierarchical Reasoning Model (HRM) adalah arsitektur AI yang terinspirasi otak yang mencapai kemampuan penalaran luar biasa hanya dengan 27 juta parameter, menggunakan dua modul rekuren yang saling bergantung untuk perencanaan abstrak dan komputasi rinci.
https://github.com/sapientinc/HRM?ref=producthunt&utm_source=aipure
Hierarchical Reasoning Model

Informasi Produk

Diperbarui:Aug 9, 2025

Apa itu Hierarchical Reasoning Model

Hierarchical Reasoning Model (HRM) adalah arsitektur rekuren baru yang dikembangkan oleh Sapient Intelligence yang merevolusi kemampuan penalaran AI. Dirilis pada Juli 2025, HRM mengambil inspirasi dari pola pemrosesan hierarkis dan multi-skala waktu yang diamati di otak manusia. Tidak seperti model bahasa besar tradisional yang mengandalkan teknik Chain-of-Thought (CoT), HRM beroperasi secara efisien dengan data pelatihan minimal dan tanpa persyaratan pra-pelatihan. Model ini menunjukkan kinerja luar biasa pada tugas penalaran kompleks, termasuk memecahkan teka-teki Sudoku ekstrem dan pencarian jalur optimal di labirin besar, sambil hanya menggunakan 1.000 sampel pelatihan.

Fitur Utama Hierarchical Reasoning Model

Model Penalaran Hierarkis (HRM) adalah arsitektur AI yang terinspirasi dari otak yang menggunakan dua modul rekuren yang saling bergantung - modul tingkat tinggi untuk perencanaan abstrak dan modul tingkat rendah untuk komputasi terperinci - untuk mencapai kemampuan penalaran yang kompleks. Hanya dengan 27 juta parameter dan dilatih hanya dengan 1.000 contoh tanpa pra-pelatihan, HRM dapat menyelesaikan tugas-tugas yang menantang melalui pemrosesan hierarkis, pemisahan temporal, dan konektivitas rekuren, mengungguli model bahasa yang jauh lebih besar sambil lebih efisien dan stabil.
Arsitektur Dual-Modul Hierarkis: Menampilkan dua modul rekuren yang digabungkan yang beroperasi pada skala waktu yang berbeda - modul tingkat tinggi untuk perencanaan abstrak yang lambat dan modul tingkat rendah untuk komputasi terperinci yang cepat
Persyaratan Pelatihan Minimal: Mencapai kinerja luar biasa hanya dengan menggunakan 1.000 sampel pelatihan tanpa memerlukan pra-pelatihan atau data Chain-of-Thought
Penggunaan Parameter yang Efisien: Menyelesaikan tugas-tugas penalaran kompleks hanya dengan 27 juta parameter, secara signifikan lebih sedikit daripada model bahasa besar tradisional
Pemrosesan Satu Forward Pass: Mengeksekusi tugas-tugas penalaran berurutan dalam satu forward pass tanpa memerlukan pengawasan eksplisit dari langkah-langkah perantara

Kasus Penggunaan Hierarchical Reasoning Model

Pemecahan Teka-Teki Kompleks: Memecahkan teka-teki Sudoku ekstrem dan teka-teki matematika/logika kompleks lainnya dengan akurasi mendekati sempurna
Optimasi Pencarian Jalur: Menemukan jalur optimal dalam labirin besar dan skenario navigasi kompleks secara efisien
Tugas Penalaran Abstrak: Berkinerja baik pada Abstraction and Reasoning Corpus (ARC), menunjukkan kemampuan dalam tugas-tugas kecerdasan umum

Kelebihan

Sangat efisien dengan jumlah parameter minimal dan persyaratan data pelatihan
Proses pelatihan yang stabil tanpa masalah konvergensi
Kinerja superior pada tugas-tugas penalaran kompleks dibandingkan dengan model yang lebih besar

Kekurangan

Mungkin mengalami overfitting tahap akhir dalam skenario sampel kecil
Menunjukkan varians akurasi ±2 poin dalam pembelajaran sampel kecil
Membutuhkan konfigurasi GPU tertentu dan ekstensi CUDA untuk kinerja optimal

Cara Menggunakan Hierarchical Reasoning Model

Instal Prasyarat: Instal CUDA 12.6, PyTorch dengan dukungan CUDA, dan paket tambahan untuk membangun ekstensi. Jalankan: wget penginstal CUDA, instal CUDA, atur CUDA_HOME, instal PyTorch, dan instal dependensi pengemasan
Instal FlashAttention: Untuk GPU Hopper: Klon repo flash-attention dan instal FlashAttention 3. Untuk GPU Ampere atau yang lebih lama: Instal FlashAttention 2 melalui pip install flash-attn
Instal Dependensi Python: Jalankan 'pip install -r requirements.txt' untuk menginstal semua paket Python yang diperlukan
Siapkan Weights & Biases: Siapkan W&B untuk pelacakan eksperimen dengan menjalankan 'wandb login' dan memastikan Anda masuk ke akun Anda
Siapkan Dataset: Bangun dataset untuk tugas spesifik Anda. Misalnya, untuk Sudoku: Jalankan 'python dataset/build_sudoku_dataset.py' dengan parameter yang sesuai untuk ukuran dataset dan augmentasi
Mulai Pelatihan: Luncurkan pelatihan dengan parameter yang sesuai. Contoh untuk Sudoku: 'OMP_NUM_THREADS=8 python pretrain.py data_path=data/sudoku-extreme-1k-aug-1000 epochs=20000 eval_interval=2000 global_batch_size=384 lr=7e-5'
Pantau Pelatihan: Lacak kemajuan pelatihan melalui antarmuka W&B, pantau metrik eval/exact_accuracy
Evaluasi Model: Jalankan evaluasi menggunakan 'torchrun --nproc-per-node 8 evaluate.py checkpoint=<CHECKPOINT_PATH>' dan analisis hasil melalui notebook yang disediakan
Gunakan Checkpoint yang Sudah Dilatih: Atau, unduh checkpoint yang sudah dilatih dari HuggingFace untuk tugas ARC-AGI-2, Sudoku 9x9 Extreme, atau Maze 30x30 Hard

FAQ Hierarchical Reasoning Model

HRM adalah arsitektur rekuren baru yang terinspirasi oleh pemrosesan hierarkis dan multi-skala waktu di otak manusia. Fitur utamanya adalah dua modul rekuren yang saling bergantung: modul tingkat tinggi untuk perencanaan abstrak yang lambat, dan modul tingkat rendah untuk komputasi detail yang cepat. Ia dapat menjalankan tugas penalaran berurutan dalam satu kali forward pass tanpa pengawasan eksplisit.

Alat AI Terbaru Serupa dengan Hierarchical Reasoning Model

Athena AI
Athena AI
Athena AI adalah platform bertenaga AI yang serbaguna yang menawarkan bantuan belajar yang dipersonalisasi, solusi bisnis, dan pelatihan hidup melalui fitur seperti analisis dokumen, pembuatan kuis, kartu flash, dan kemampuan obrolan interaktif.
Aguru AI
Aguru AI
Aguru AI adalah solusi perangkat lunak on-premises yang menyediakan pemantauan komprehensif, keamanan, dan alat optimisasi untuk aplikasi berbasis LLM dengan fitur seperti pelacakan perilaku, deteksi anomali, dan optimisasi kinerja.
GOAT AI
GOAT AI
GOAT AI adalah platform yang didukung AI yang menyediakan kemampuan ringkasan satu klik untuk berbagai jenis konten termasuk artikel berita, makalah penelitian, dan video, sambil juga menawarkan orkestrasi agen AI canggih untuk tugas spesifik domain.
GiGOS
GiGOS
GiGOS adalah platform AI yang menyediakan akses ke berbagai model bahasa canggih seperti Gemini, GPT-4, Claude, dan Grok dengan antarmuka intuitif bagi pengguna untuk berinteraksi dan membandingkan berbagai model AI.