扩散模型

HiDream

HiDream-I1是一款由HiDream.ai团队开发的开源AI图像生成模型,具备17亿参数,支持多种图像风格生成,包括真实、卡通和艺术风格。其在提示词理解、细节渲染和图像一致性方面表现出色,适用于艺术创作、商业设计、教育科研等领域。模型采用扩散模型和混合专家架构(MoE),并集成多种文本编码器,实现高质量与高效率的图像生成。项目已在GitHub和HuggingFace开源,便于研究与应用。

CineMaster

CineMaster是快手推出的3D感知视频生成框架,支持通过文本提示及深度图、相机轨迹等控制信号生成高质量视频内容。其核心功能包括3D物体与摄像机控制、交互式设计、自动化数据标注和高质量视频输出。采用两阶段工作流程与扩散模型技术,结合语义布局控制网络与摄像机适配器,提升视频生成的精确度与灵活性。适用于影视制作、广告营销、游戏开发等多个领域。

Shining Yourself

Shining Yourself是商汤科技推出的高保真饰品虚拟试戴技术,基于扩散模型实现逼真试戴效果。支持多饰品、个性化调整、多场景模拟及动态展示,适用于电商、设计、社交及品牌推广等场景,提升用户体验与决策效率。

EasyControl

EasyControl是基于扩散变换器(DiT)架构的高效控制框架,采用轻量级LoRA模块实现多条件控制,支持图像生成、风格转换、动画制作等任务。其具备位置感知训练范式和因果注意力机制,优化计算效率,提升生成质量与灵活性,适用于多种图像处理场景。

MotionFix

MotionFix是一个开源的3D人体动作编辑工具,采用自然语言描述与条件扩散模型TMED相结合的方式,支持通过文本指令精准编辑3D人体动作。其主要功能包括文本驱动的动作编辑、半自动数据集构建、多模态输入处理及基于检索的评估指标。MotionFix适用于动画制作、游戏开发、虚拟现实等多个领域,为动作编辑提供了灵活性与精确性。

Kiss3DGen

Kiss3DGen是一款基于2D扩散模型的3D资产生成框架,通过“3D Bundle Image”结构实现多视角图像与法线图的融合,从而高效生成和编辑3D模型。它支持文本与图像输入,具备3D编辑、网格优化和纹理增强等功能,适用于游戏开发、影视制作、VR/AR、数字孪生及教育等多个领域。

FUZZ

由Riffusion推出的一款基于扩散模型(Diffusion Model)的全新音乐生成模型,该工具能够通过“想象”生成音频的声谱图(Spectrogram),然后将其转换为音频。

Bolt3D

Bolt3D是由谷歌研究院、牛津大学VGG团队与谷歌DeepMind联合开发的3D场景生成技术,基于潜在扩散模型,能在单块GPU上仅需6.25秒生成高质量3D场景。支持多视角输入,具备良好泛化能力,采用高斯溅射技术实现高保真表示,并支持实时交互。适用于游戏开发、VR/AR、建筑设计和影视制作等领域。

EnerVerse

EnerVerse是由智元机器人团队开发的首个机器人4D世界模型,基于自回归扩散模型与稀疏记忆机制,实现未来具身空间的高效生成与动作规划。其核心技术包括逐块生成、时空注意力UNet结构、自由锚定视角(FAV)及Diffusion策略头,显著提升机器人在复杂任务中的表现。该模型已在自动驾驶、工业装配、医疗辅助等多个领域展现出广泛应用潜力。

AniTalker

AniTalker是一款先进的AI工具,能将单张静态人像与音频同步转化为生动的动画对话视频。它通过自监督学习捕捉面部动态,采用通用运动表示和身份解耦技术减少对标记数据的依赖,同时结合扩散模型和方差适配器生成多样且可控的面部动画。AniTalker支持视频驱动和语音驱动两种方式,并具备实时控制动画生成的能力。