扩散模型

UniVG

百度公司推出的视频生成模型,能够以文本和图像的任意组合作为输入条件进行视频生成。

FluxMusic

FluxMusic 是一个开源的音乐生成工具,能够将文本描述转化为音乐。它采用先进的扩散模型和Transformer架构,通过修正流技术提高音乐的自然度和质量。该工具支持多种规模的模型,具备文本到音乐生成、语义理解、多模态融合等功能,适用于音乐创作、影视配乐、游戏音乐生成等多种场景。

LCVD

LCVD是一种由四川大学开发的高保真肖像动画生成框架,支持光照可控的动态视频生成。它通过分离肖像的内在与外在特征,并结合多条件分类器自由引导机制,实现对光照和姿态的精细控制。LCVD在图像质量、视频一致性和光照真实感方面表现突出,适用于虚拟现实、视频会议、影视制作及内容创作等多个领域。

libcom

libcom是一款由上海交通大学BCMI实验室开发的图像合成工具箱,支持图像融合、和谐化、阴影生成、对象放置及生成式合成等功能,采用传统图像处理与深度学习技术相结合的方式,提供高质量的合成图像解决方案。适用于增强现实、艺术创作、电子商务、影视制作及游戏开发等多个领域。

LucidDreamer

LucidDreamer,可以从单个图像的单个文本提示中生成可导航的3D场景。 单击并拖动(导航)/移动和滚动(缩放)以感受3D。

VideoAnydoor

VideoAnydoor是一款由多所高校与研究机构联合开发的视频对象插入系统,基于文本到视频的扩散模型,支持高保真对象插入与精确运动控制。其核心模块包括ID提取器和像素变形器,能实现对象的自然融合与细节保留。该工具适用于影视特效、虚拟试穿、虚拟旅游、教育等多个领域,具备良好的通用性和扩展性。

MotionCanvas

MotionCanvas是一种图像到视频生成工具,能将静态图像转化为动态视频。它提供相机与物体运动的联合控制,支持复杂轨迹设计和局部运动调整,具备3D感知能力,可生成高质量长视频。适用于电影制作、动画创作、VR/AR、游戏开发及教育等多个领域。

TryOffDiff

TryOffDiff是一种基于扩散模型的虚拟试穿技术,通过高保真服装重建实现从单张穿着者照片生成标准化服装图像的功能。它能够精确捕捉服装的形状、纹理和复杂图案,并在生成模型评估和高保真重建领域具有广泛应用潜力,包括电子商务、个性化推荐、时尚设计展示及虚拟时尚秀等场景。

InstructMove

InstructMove是由东京大学与Adobe合作开发的图像编辑模型,基于视频帧对变化学习如何根据指令进行图像操作。它能够执行非刚性编辑、视角调整和元素重排等任务,同时支持精确的局部编辑。该模型采用真实视频数据训练,提升编辑自然性与真实性,适用于影视、广告、设计等多个领域。其技术基于多模态语言模型和扩散模型,结合掩码和ControlNet等控制机制,实现灵活高效的图像编辑。

VidSketch

VidSketch是由浙江大学研发的视频生成框架,支持通过手绘草图和文本提示生成高质量动画。它采用层级草图控制策略和时空注意力机制,提升视频连贯性和质量,适用于不同技能水平的用户。具备多样化风格支持和低门槛创作特点,广泛应用于创意设计、教学、广告及内容创作等领域。