扩散模型

HiCo

HiCo是一款基于扩散模型的层次化可控布局到图像生成工具,采用多分支结构设计,能够精确控制对象的位置和文本描述,解决复杂布局中的常见问题。该工具支持高分辨率图像生成,兼容多种快速生成插件,并在多目标布局生成任务中表现出色,适用于图像编辑、游戏设计、虚拟现实等多个领域。

Index

Index-AniSora是由哔哩哔哩开发的动漫视频生成模型,支持多种动画风格的生成,涵盖番剧、国创、VTuber等内容。其核心技术包括扩散模型、时空掩码模块和Transformer架构,具备图像到视频生成、帧插值、局部引导等能力。模型提供高质量数据集,适用于动画制作、创意验证、教育及营销等多个领域。

MarDini

MarDini是一款融合掩码自回归(MAR)和扩散模型(DM)的先进视频生成工具,支持视频插值、图像到视频生成、视频扩展等多种任务。它通过优化计算资源分配,提高了视频生成的效率与灵活性,并具备从无标签数据中进行端到端训练的能力,展现出强大的可扩展性与效率。

ACTalker

ACTalker 是一种基于视频扩散模型的端到端工具,可生成高质量、自然的说话人头部视频。支持多信号控制(如音频、表情),采用并行 Mamba 结构和门控机制,实现跨时间和空间的精准面部动作控制。实验表明其在音频同步性和视频质量上表现优异,适用于虚拟主播、远程会议、在线教育等多种场景。

VideoDrafter

一个高质量视频生成的开放式扩散模型,相比之前的生成视频模型,VideoDrafter最大的特点是能在主体不变的基础上,一次性生成多个场景的视频。

Animate Anyone 2

Animate Anyone 2 是由阿里巴巴通义实验室开发的高保真角色动画生成技术,能基于输入图像和运动信号生成高质量、自然流畅的角色动画。通过环境感知、形状无关掩码策略、物体交互增强等技术,实现角色与环境的深度融合,提升动画的真实感与稳定性。支持复杂动作处理、多角色互动及跨身份动画生成,适用于影视、广告、VR/AR、游戏及教育等多个领域。

LVCD

LVCD是一款基于视频扩散模型的AI工具,专门用于动画视频线稿的自动上色。它通过参考注意力机制和创新的采样方法,确保视频颜色的一致性和时间连贯性,支持生成长时间序列动画。LVCD广泛应用于动漫制作、游戏开发、影视行业以及艺术创作等领域,显著提升动画制作效率。

I2VEdit

I2VEdit是一款基于图像到视频扩散模型的先进视频编辑框架,通过首帧编辑实现全视频效果传播。它能够保持视频的时间和运动一致性,支持局部与全局编辑任务,包括更换对象、风格转换等,并广泛应用于社交媒体内容创作、视频后期制作、虚拟试穿等领域。

SynthLight

SynthLight是由耶鲁大学与Adobe Research联合开发的基于扩散模型的人像重照明工具,通过物理渲染引擎生成合成数据并结合多任务训练策略,实现高质量的光照效果生成。它能够根据环境光照图重新渲染人像,生成自然的高光、阴影和漫反射效果,并适用于摄影后期、虚拟场景、游戏开发及广告设计等多个领域,具备良好的泛化能力和实用性。

SVDQuant

SVDQuant是一种由MIT研究团队开发的后训练量化技术,专注于通过4位量化减少扩散模型的内存占用和推理延迟。它利用低秩分支技术吸收量化异常值,支持DiT和UNet架构,并能无缝集成LoRAs。SVDQuant适用于移动设备、个人电脑、云计算平台及低功耗设备,可大幅提升图像生成和处理效率。