HRMの主なパフォーマンスの成果は何ですか？

わずか2700万のパラメータで、HRMはわずか1000個のトレーニングサンプルを使用して、複雑な推論タスクで卓越したパフォーマンスを達成します。複雑な数独パズルや大規模な迷路での最適な経路探索など、困難なタスクでほぼ完璧なパフォーマンスを達成します。ARCベンチマークでは、40.3％のパフォーマンスを達成し、o3-mini-high（34.5％）やClaude 3.7（21.2％）などのより大きなモデルを上回っています。

従来のモデルと比較して、HRMの主な利点は何ですか？

HRMは、事前トレーニングやChain-of-Thought（CoT）データを必要とせず、より少ないパラメータ（27M）で動作し、より小さなトレーニングデータセット（1000サンプル）で動作できます。標準的なリカレントモデルに見られる急速な収束の問題を回避しながら、トレーニングの安定性と効率の両方を維持し、重要な計算深度を達成します。

HRMを実行するためのシステム要件は何ですか？

HRMには、PyTorchおよびCUDAのインストールが必要です。FlashAttention（Hopper GPUの場合はバージョン3、Ampere以前のGPUの場合はバージョン2）に固有の要件があります。また、拡張機能を構築するための追加パッケージが必要であり、実験の追跡にはWeights＆Biasesを使用します。

さまざまなタスクでHRMをトレーニングするにはどのくらい時間がかかりますか？

トレーニング時間はタスクによって異なります。数独エクストリーム（1kサンプル）はRTX 4070ラップトップGPUで約10時間、ARC-1およびARC-2は8-GPUセットアップでそれぞれ約24時間、迷路30x30ハードは約1時間、フル数独ハードは約2時間かかります。

Hierarchical Reasoning Model

WebsiteFreeLarge Language Models (LLMs)Research Tools

階層的推論モデル（HRM）は、脳に触発されたAIアーキテクチャであり、わずか2700万のパラメータで優れた推論能力を実現し、抽象的な計画と詳細な計算のために2つの相互依存的な再帰型モジュールを使用します。

ウェブサイトを訪問

このツールを宣伝する

https://github.com/sapientinc/HRM?ref=producthunt&utm_source=aipure

概要
動画
代替案

製品情報

更新日:2025年08月09日

Hierarchical Reasoning Modelとは

階層的推論モデル（HRM）は、Sapient Intelligenceが開発した革新的な再帰型アーキテクチャであり、AIの推論能力に革命をもたらします。2025年7月にリリースされたHRMは、人間の脳に見られる階層的および多時間スケールの処理パターンからインスピレーションを得ています。Chain-of-Thought（CoT）技術に依存する従来の巨大言語モデルとは異なり、HRMは最小限の学習データで効率的に動作し、事前学習の必要はありません。このモデルは、極端な数独パズルの解決や大規模な迷路での最適な経路探索など、複雑な推論タスクで目覚ましい性能を発揮し、わずか1,000の学習サンプルを使用します。

Hierarchical Reasoning Modelの主な機能

階層的推論モデル（HRM）は、脳にヒントを得たAIアーキテクチャであり、抽象的な計画のための高レベルモジュールと、詳細な計算のための低レベルモジュールという、相互に依存する2つの再帰的モジュールを使用して、複雑な推論能力を実現します。わずか2700万のパラメータで、事前トレーニングなしでわずか1,000個のサンプルでトレーニングされたHRMは、階層的な処理、時間的な分離、および再帰的な接続を通じて、困難なタスクを解決でき、より効率的で安定しながら、はるかに大規模な言語モデルよりも優れたパフォーマンスを発揮します。

階層的なデュアルモジュールアーキテクチャ: 異なるタイムスケールで動作する2つの結合された再帰的モジュールを備えています。遅い抽象的な計画のための高レベルモジュールと、高速で詳細な計算のための低レベルモジュールです

最小限のトレーニング要件: 事前トレーニングやChain-of-Thoughtデータを必要とせずに、わずか1,000個のトレーニングサンプルを使用して、優れたパフォーマンスを実現します

効率的なパラメータ使用: わずか2700万のパラメータで複雑な推論タスクを達成します。これは、従来の大きな言語モデルよりも大幅に少ない数です

単一のフォワードパストレーニング: 中間ステップの明示的な監視を必要とせずに、1回のフォワードパスでシーケンシャルな推論タスクを実行します

Hierarchical Reasoning Modelのユースケース

複雑なパズル解決: ほぼ完璧な精度で、極端な数独パズルやその他の複雑な数学/論理パズルを解決します

経路探索の最適化: 大規模な迷路や複雑なナビゲーションシナリオで、最適な経路を効率的に見つけます

抽象的な推論タスク: Abstraction and Reasoning Corpus（ARC）で優れたパフォーマンスを発揮し、一般的な知能タスクにおける能力を実証します

メリット

最小限のパラメータ数とトレーニングデータ要件で非常に効率的です

収束の問題のない安定したトレーニングプロセス

大規模なモデルと比較して、複雑な推論タスクで優れたパフォーマンスを発揮します

デメリット

小規模サンプルシナリオでは、後期段階での過剰適合が発生する可能性があります

小規模サンプル学習では、±2ポイントの精度のばらつきが見られます

最適なパフォーマンスを得るには、特定のGPU構成とCUDA拡張機能が必要です

Hierarchical Reasoning Modelの使い方

前提条件のインストール: CUDA 12.6、CUDAサポート付きのPyTorch、および拡張機能を構築するための追加パッケージをインストールします。実行: wget CUDAインストーラー、CUDAのインストール、CUDA_HOMEの設定、PyTorchのインストール、およびパッケージング依存関係のインストール

FlashAttentionのインストール: Hopper GPUの場合: flash-attentionリポジトリをクローンし、FlashAttention 3をインストールします。Ampere以前のGPUの場合: pip install flash-attnを使用してFlashAttention 2をインストールします。

Pythonの依存関係のインストール: 'pip install -r requirements.txt'を実行して、必要なすべてのPythonパッケージをインストールします。

Weights & Biasesの設定: 'wandb login'を実行して実験追跡のためにW&Bを設定し、アカウントにログインしていることを確認します。

データセットの準備: 特定のタスクのデータセットを構築します。たとえば、数独の場合: データセットのサイズと拡張に適したパラメータを使用して、'python dataset/build_sudoku_dataset.py'を実行します。

トレーニングの開始: 適切なパラメータでトレーニングを開始します。数独の例: 'OMP_NUM_THREADS=8 python pretrain.py data_path=data/sudoku-extreme-1k-aug-1000 epochs=20000 eval_interval=2000 global_batch_size=384 lr=7e-5'

トレーニングの監視: W&Bインターフェースを介してトレーニングの進行状況を追跡し、eval/exact_accuracyメトリックを監視します。

モデルの評価: 'torchrun --nproc-per-node 8 evaluate.py checkpoint=<CHECKPOINT_PATH>'を使用して評価を実行し、提供されたノートブックを介して結果を分析します。

事前トレーニング済みのチェックポイントの使用: または、ARC-AGI-2、Sudoku 9x9 Extreme、またはMaze 30x30 Hardタスクの事前トレーニング済みのチェックポイントをHuggingFaceからダウンロードします。

Hierarchical Reasoning Modelのよくある質問

HRMは、人間の脳における階層的かつ多時間スケールの処理に触発された、新しいリカレントアーキテクチャです。これは、遅い抽象的な計画のための高レベルモジュールと、迅速で詳細な計算のための低レベルモジュールの2つの相互依存的なリカレントモジュールを備えています。明示的な監督なしに、単一のフォワードパスで逐次推論タスクを実行できます。