Dream

Dream-7B简介

Dream-7B是由香港大学与华为诺亚方舟实验室联合开发的一款扩散式推理模型，属于当前最先进的开源扩散大语言模型之一。该模型在文本、数学和代码等多种数据上进行训练，使用了5800亿个标记，训练耗时256小时。Dream-7B在通用任务、数学计算及编程领域表现出色，其性能可与同规模的自回归模型（如Qwen2.5 7B、LLaMA3 8B）相媲美，甚至在某些场景下优于Deepseek V3 671B。通过采用掩码扩散范式，结合双向上下文建模和可控生成能力，Dream-7B显著提升了生成文本的连贯性。

Dream-7B的核心功能

• 强大的文本生成能力：在通用文本、数学问题和编程任务中表现突出，具有较高的生成质量。
• 灵活的生成方式：支持用户按需指定生成顺序，实现更个性化的文本输出。
• 高效的多步规划能力：适用于需要复杂逻辑推理的任务，如数独、倒计时等。
• 可调节的生成质量：用户可根据需求调整扩散步数，平衡生成速度与输出质量。

Dream-7B的技术架构

• 扩散模型结构：基于离散扩散模型（DMs），从噪声状态逐步去噪生成文本，具备双向上下文建模能力，提升文本连贯性。
• 掩码扩散机制：通过预测被掩码的标记来逐步去噪，提高模型对齐效果并加速训练过程。
• 自回归模型初始化：利用现有自回归模型的权重作为初始参数，提升训练效率。
• 上下文自适应噪声调度：根据上下文动态调整噪声水平，优化每个标记的学习过程。
• 灵活的解码策略：在推理阶段支持调整生成顺序和扩散步数，实现性能与质量的平衡。

Dream-7B的资源链接

• 项目官网：https://hkunlp.github.io/blog/2025/dream/
• GitHub仓库：https://github.com/HKUNLP/Dream
• HuggingFace模型库：https://huggingface.co/Dream-org
• 在线体验Demo：https://huggingface.co/spaces/multimodalart/Dream

Dream-7B的应用领域

• 文本生成与创作：可用于新闻报道、故事撰写、文案创作等，提供高质量的文本内容。
• 数学问题求解：支持复杂数学题目的推导与公式生成，辅助教育与科研。
• 编程辅助：可生成代码片段，帮助开发者提高编码效率。
• 多步骤任务规划：适用于路径规划、任务调度等需要逻辑推理的场景。
• 灵活文本处理：支持根据需求调整生成质量与速度，满足多样化应用需求。