Каковы основные достижения HRM в области производительности?

Имея всего 27 миллионов параметров, HRM достигает исключительной производительности в сложных задачах рассуждения, используя всего 1000 обучающих примеров. Она достигает почти идеальной производительности в сложных задачах, таких как сложные головоломки судоку и поиск оптимального пути в больших лабиринтах. В бенчмарке ARC она достигает производительности 40,3%, превосходя более крупные модели, такие как o3-mini-high (34,5%) и Claude 3.7 (21,2%).

Каковы основные преимущества HRM по сравнению с традиционными моделями?

HRM работает без предварительного обучения или данных Chain-of-Thought (CoT), требует меньше параметров (27M) и может работать с меньшими наборами обучающих данных (1000 образцов). Она поддерживает как стабильность, так и эффективность обучения, достигая значительной вычислительной глубины, избегая проблем быстрой сходимости, встречающихся в стандартных рекуррентных моделях.

Сколько времени занимает обучение HRM для разных задач?

Время обучения варьируется в зависимости от задачи: Sudoku Extreme (1k samples) занимает около 10 часов на RTX 4070 laptop GPU, ARC-1 и ARC-2 занимают примерно 24 часа каждая на установке с 8 GPU, Maze 30x30 Hard занимает около 1 часа, а Full Sudoku-Hard занимает около 2 часов.

Hierarchical Reasoning Model

Q: Каковы системные требования для запуска HRM?

HRM требует установки PyTorch и CUDA, с особыми требованиями к FlashAttention (версия 3 для графических процессоров Hopper, версия 2 для графических процессоров Ampere или более ранних версий). Ей также требуются дополнительные пакеты для создания расширений и использует Weights & Biases для отслеживания экспериментов.

WebsiteFreeLarge Language Models (LLMs)Research Tools

Иерархическая модель рассуждений (HRM) - это вдохновленная мозгом архитектура ИИ, которая достигает исключительных возможностей рассуждения, имея всего 27 миллионов параметров, используя два взаимозависимых рекуррентных модуля для абстрактного планирования и подробных вычислений.

Посетить сайт

Прорекламировать этот инструмент

https://github.com/sapientinc/HRM?ref=producthunt&utm_source=aipure

Обзор
Видео
Альтернативы

Информация о продукте

Обновлено:09/08/2025

Что такое Hierarchical Reasoning Model

Иерархическая модель рассуждений (HRM) - это новая рекуррентная архитектура, разработанная Sapient Intelligence, которая революционизирует возможности рассуждений ИИ. Выпущенная в июле 2025 года, HRM черпает вдохновение из иерархических и многомасштабных шаблонов обработки, наблюдаемых в человеческом мозге. В отличие от традиционных больших языковых моделей, которые полагаются на методы Chain-of-Thought (CoT), HRM эффективно работает с минимальными обучающими данными и без предварительных требований к обучению. Модель демонстрирует замечательную производительность в сложных задачах рассуждения, включая решение экстремальных головоломок судоку и оптимальный поиск пути в больших лабиринтах, используя всего 1000 обучающих выборок.

Ключевые особенности Hierarchical Reasoning Model

Иерархическая модель рассуждений (HRM) - это вдохновленная мозгом архитектура ИИ, которая использует два взаимозависимых рекуррентных модуля - модуль высокого уровня для абстрактного планирования и модуль низкого уровня для детальных вычислений - для достижения сложных возможностей рассуждения. Имея всего 27 миллионов параметров и обученная всего на 1000 примерах без предварительного обучения, HRM может решать сложные задачи посредством иерархической обработки, временного разделения и рекуррентной связности, превосходя гораздо более крупные языковые модели, будучи при этом более эффективной и стабильной.

Иерархическая архитектура с двумя модулями: Содержит два связанных рекуррентных модуля, работающих в разных временных масштабах - модуль высокого уровня для медленного, абстрактного планирования и модуль низкого уровня для быстрых, детальных вычислений

Минимальные требования к обучению: Достигает исключительной производительности, используя всего 1000 обучающих примеров, не требуя предварительного обучения или данных Chain-of-Thought

Эффективное использование параметров: Выполняет сложные задачи рассуждения всего с 27 миллионами параметров, что значительно меньше, чем у традиционных больших языковых моделей

Обработка за один прямой проход: Выполняет последовательные задачи рассуждения за один прямой проход, не требуя явного контроля промежуточных шагов

Варианты использования Hierarchical Reasoning Model

Решение сложных головоломок: Решает экстремальные головоломки судоку и другие сложные математические/логические головоломки с почти идеальной точностью

Оптимизация поиска пути: Эффективно находит оптимальные пути в больших лабиринтах и сложных сценариях навигации

Задачи абстрактного мышления: Хорошо справляется с корпусом абстракций и рассуждений (ARC), демонстрируя возможности в задачах общего интеллекта

Преимущества

Высокая эффективность с минимальным количеством параметров и требованиями к обучающим данным

Стабильный процесс обучения без проблем сходимости

Превосходная производительность в сложных задачах рассуждения по сравнению с более крупными моделями

Недостатки

Может испытывать переобучение на поздних стадиях в сценариях с небольшим количеством выборок

Показывает дисперсию точности ±2 балла при обучении на небольшом количестве выборок

Требует определенных конфигураций графического процессора и расширений CUDA для оптимальной производительности

Как использовать Hierarchical Reasoning Model

Установите необходимые компоненты: Установите CUDA 12.6, PyTorch с поддержкой CUDA и дополнительные пакеты для создания расширений. Запустите: wget установщик CUDA, установите CUDA, установите CUDA_HOME, установите PyTorch и установите зависимости пакета.

Установите FlashAttention: Для графических процессоров Hopper: клонируйте репозиторий flash-attention и установите FlashAttention 3. Для графических процессоров Ampere или более ранних версий: установите FlashAttention 2 через pip install flash-attn

Установите зависимости Python: Запустите 'pip install -r requirements.txt', чтобы установить все необходимые пакеты Python.

Настройте Weights & Biases: Настройте W&B для отслеживания экспериментов, запустив 'wandb login' и убедившись, что вы вошли в свою учетную запись.

Подготовьте набор данных: Создайте набор данных для вашей конкретной задачи. Например, для судоку: запустите 'python dataset/build_sudoku_dataset.py' с соответствующими параметрами для размера набора данных и увеличения.

Начните обучение: Запустите обучение с соответствующими параметрами. Пример для судоку: 'OMP_NUM_THREADS=8 python pretrain.py data_path=data/sudoku-extreme-1k-aug-1000 epochs=20000 eval_interval=2000 global_batch_size=384 lr=7e-5'

Контролируйте обучение: Отслеживайте прогресс обучения через интерфейс W&B, отслеживая метрику eval/exact_accuracy.

Оцените модель: Запустите оценку, используя 'torchrun --nproc-per-node 8 evaluate.py checkpoint=<CHECKPOINT_PATH>' и проанализируйте результаты с помощью предоставленных блокнотов.

Используйте предварительно обученные контрольные точки: В качестве альтернативы загрузите предварительно обученные контрольные точки из HuggingFace для задач ARC-AGI-2, Sudoku 9x9 Extreme или Maze 30x30 Hard.

Часто задаваемые вопросы о Hierarchical Reasoning Model

HRM - это новая рекуррентная архитектура, вдохновленная иерархической и многомасштабной обработкой в человеческом мозге. Она включает в себя два взаимозависимых рекуррентных модуля: модуль высокого уровня для медленного, абстрактного планирования и модуль низкого уровня для быстрых, детальных вычислений. Она может выполнять последовательные задачи рассуждения за один прямой проход без явного контроля.

Видео Hierarchical Reasoning Model

Последние ИИ-инструменты, похожие на Hierarchical Reasoning Model

Athena AI

FreemiumAI Productivity Tools Large Language Models (LLMs)

Athena AI — это универсальная ИИ-платформа, предлагающая персонализированную учебную поддержку, бизнес-решения и коучинг по жизни через функции анализа документов, генерации тестов, карточек и интерактивного чата.

Aguru AI

Free TrialMonitor & Log Management Large Language Models (LLMs)

Aguru AI — это локальное программное решение, которое предоставляет комплексные инструменты для мониторинга, защиты и оптимизации приложений на основе LLM, включая функции отслеживания поведения, обнаружения аномалий и оптимизации производительности.

GOAT AI

FreemiumSummarizer Large Language Models (LLMs)

GOAT AI — это платформа, управляемая AI, которая предоставляет возможности однократного суммирования для различных типов контента, включая новостные статьи, исследовательские работы и видео, а также предлагает продвинутую оркестрацию AI-агентов для задач, специфичных для определенной области.

GiGOS

Free TrialLarge Language Models (LLMs)Multi-purpose Tools

GiGOS - это AI платформа, которая предоставляет доступ к нескольким продвинутым языковым моделям, таким как Gemini, GPT-4, Claude и Grok, с интуитивно понятным интерфейсом для пользователей, чтобы взаимодействовать и сравнивать различные AI модели.

Hierarchical Reasoning Model