Dream 7Bはどのようにトレーニングされましたか？

Dream 7Bは、Dolma v1.7、OpenCoder、DCLM-Baselineなどのソースから得られた5800億トークンで事前学習されました。トレーニングは、96個のNVIDIA H800 GPUで256時間行われました。Qwen2.5 7Bの重みで初期化され、コンテキスト適応型のトークンレベルのノイズリスケジューリングメカニズムを使用しています。

Dream 7Bが従来の自己回帰モデルと異なる点は何ですか？

トークンを順番に生成する自己回帰モデルとは異なり、Dream 7Bは離散拡散モデリングを使用しており、双方向のコンテキストモデリング、柔軟な制御可能な生成、および潜在的なサンプリングの高速化が可能です。任意の順序で出力を生成でき、品質と速度のトレードオフを調整できます。

Dream 7Bはどこで入手できますか？

Dream 7Bは、Hugging Faceでベースモデル（Dream-org/Dream-v0-Base-7B）とインストラクションチューニングされたモデル（Dream-org/Dream-v0-Instruct-7B）の2つのバージョンで利用できます。コードベースはGitHubのHKUNLP/Dreamで入手できます。

Dream 7Bの主な強みは何ですか？

Dream 7Bは、強力な計画能力、推論の柔軟性を示し、パフォーマンスにおいて同規模の自己回帰モデルと同等かそれ以上の性能を発揮します。特に、カウントダウンや数独パズルなど、複数の制約や特定の目的を必要とするタスクで優れた結果を示しています。

Dream 7Bはどのようにファインチューニングされましたか？

Dream 7Bは、Tulu 3およびSmolLM2データセットからの180万のインストラクションペアを使用して教師ありファインチューニングを受け、ユーザーの指示に合わせるために3エポックトレーニングしました。この予備的なポストトレーニングステップにより、自己回帰モデルと同等のパフォーマンスを発揮できるようになりました。

Dream 7B

WebsiteFreeLarge Language Models (LLMs)Research Tools

Dream 7Bは、最上位の自己回帰モデルに匹敵するか、それを上回る、画期的な70億パラメータの拡散言語モデルであり、優れた計画能力と柔軟な推論機能を提供します。

ウェブサイトを訪問

このツールを宣伝する

https://hkunlp.github.io/blog/2025/dream?ref=aipure&utm_source=aipure

概要
分析
動画
代替案

製品情報

更新日:2025年05月16日

Dream 7B の月間トラフィック傾向

Dream 7Bは先月13.7kのアクセスを記録し、1843%の大幅な成長を示しました。分析によると、このトレンドはAIツール分野の一般的な市場動向と一致しています。

過去のトラフィックを表示

Dream 7Bとは

香港大学とHuawei Noah's Ark Labが共同で開発したDream 7Bは、現在までに最も強力なオープン拡散大規模言語モデルです。2025年にリリースされ、Dolma v1.7、OpenCoder、DCLM-Baselineなどの多様なデータセットから5800億のトークンでトレーニングされています。このモデルには、ベースモデル（Dream-v0-Base-7B）と教師ありファインチューニングされた命令モデル（Dream-v0-Instruct-7B）の2つのバージョンがあり、どちらも研究コミュニティに公開されています。

Dream 7Bの主な機能

Dream 7Bは、HKU NLPとHuawei Noah's Ark Labが開発した、70億のパラメータを持つ画期的なオープンソースの拡散型大規模言語モデルです。これは、離散拡散モデリングを使用することで、従来の自己回帰モデルからの大きな脱却を示しており、並列トークン生成と双方向のコンテキスト理解を可能にします。このモデルは、一般的なタスク、数学、コーディングにおいて、主要な自己回帰モデルに匹敵する競争力のあるパフォーマンスを示し、計画能力と柔軟な推論能力において独自の利点を提供します。

双方向コンテキストモデリング: テキスト生成中に両方向からの情報をより豊かに統合し、生成されたコンテンツ全体のグローバルな一貫性を高めます

柔軟な生成制御: 反復的な改善プロセスを通じて、補完、インフィル、任意の順序生成など、さまざまな生成モードをサポートします

品質と速度のトレードオフ: 調整可能な推論ステップを提供し、ユーザーはニーズに基づいて生成速度と出力品質のバランスを取ることができます

コンテキスト適応型トークンレベルのノイズリスケジューリング: コンテキスト情報に基づいて個々のトークンのノイズレベルを動的に調整し、生成精度を向上させます

Dream 7Bのユースケース

複雑な問題解決: 特に、数独の解決や数学的推論など、複数の制約や特定の目的を必要とするタスクに効果的です

コード生成: 特殊なコーディングモデルに匹敵する強力なパフォーマンスで、コードスニペットの生成と補完が可能です

テキストの補完と編集: 柔軟なテキスト生成機能により、さまざまなコンテンツ作成および編集タスクに適しており、ギャップの埋め込みや部分的なコンテンツの補完が可能です

メリット

同サイズの自己回帰モデルと比較して優れた計画能力

制御可能な生成順序による柔軟な推論オプション

一般的、数学、コーディングのタスク全体で競争力のあるパフォーマンス

デメリット

トレーニング中に慎重な学習率の調整が必要です

トレーニング中の計算負荷が高い（96個のNVIDIA H800 GPUが必要）

ポストトレーニング技術におけるさらなる探求が必要です

Dream 7Bの使い方

必要な依存関係をインストールする: Hugging FaceからPyTorchとTransformersライブラリをインストールします

必要なライブラリをインポートする: torchとtransformersライブラリをインポートします: import torch from transformers import AutoModel, AutoTokenizer

モデルをロードする: ベースモデル'Dream-org/Dream-v0-Base-7B'または命令調整済みモデル'Dream-org/Dream-v0-Instruct-7B'のいずれかをロードします: model_path = 'Dream-org/Dream-v0-Instruct-7B' model = AutoModel.from_pretrained(model_path, torch_dtype=torch.bfloat16, trust_remote_code=True) tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)

モデルをGPUに移動し、evalモードに設定する: model = model.to('cuda').eval()

入力を準備する: 入力をメッセージリストとしてフォーマットします: messages = [{'role': 'user', 'content': 'ここにプロンプトを入力'}]

入力をトークン化する: inputs = tokenizer.apply_chat_template(messages, return_tensors='pt', return_dict=True, add_generation_prompt=True)

出力を生成する: このモデルは、補完、埋め込み、制御された生成順序など、柔軟な生成モードをサポートしています。拡散ステップを調整して、品質と速度のバランスを取ることができます。

オプション：推論パラメータを調整する: 拡散ステップ数などのパラメータを調整して、生成をカスタマイズできます。ステップ数を減らすと高速になりますが、結果は粗くなり、ステップ数を増やすと出力の品質が向上します

Dream 7Bのよくある質問

Dream 7Bは、香港大学とHuawei Noah's Ark Labが共同で開発した、現時点で最も強力なオープン拡散大規模言語モデルです。これは7Bパラメータのモデルであり、一般的な能力、数学、コーディング能力において、同規模のトップレベルの自己回帰言語モデルと同等かそれ以上の性能を発揮します。