扩散模型

sCM

sCM是一种由OpenAI开发的基于扩散模型的连续时间一致性模型,通过简化理论框架与优化采样流程,实现了图像生成速度的大幅提升。该模型仅需两步采样即可生成高质量图像,且速度比传统扩散模型快50倍。得益于连续时间框架和多项技术改进,sCM不仅提高了训练稳定性,还提升了生成质量。其应用场景广泛,包括视频生成、3D建模、音频处理及跨媒介内容创作,适用于艺术设计、游戏开发、影视制作等多个行业。

PixArt

PixArt-Σ是一款基于扩散Transformer架构(DiT)的文本生成图像模型,专为生成高达4K分辨率的高质量图像而设计。该模型通过整合高级元素并采用从弱到强的训练方法,不仅提升了生成图像的保真度,还增强了图像与文本提示之间的对齐效果。PixArt-Σ的生成图像在美学质量上可媲美当前顶级的文本到图像产品,并且在遵循文本提示方面表现出色。主要功能包括4K分辨率图像生成、高保真转换、高效率训练和

Fashion

Fashion-VDM是一款由谷歌和华盛顿大学合作研发的虚拟试穿技术,利用视频扩散模型生成人物穿着指定服装的高质量试穿视频,具有高保真度、时间一致性及强大的服装细节还原能力。它结合了扩散模型架构、分割分类器自由引导与渐进式时间训练策略,并在图像与视频数据联合训练的基础上实现了高效稳定的视频生成过程。

DynVFX

DynVFX是一种基于文本指令的视频增强技术,能够将动态内容自然地融入真实视频中。它结合了文本到视频扩散模型与视觉语言模型,通过锚点扩展注意力机制和迭代细化方法,实现新内容与原始视频的像素级对齐和融合。无需复杂输入或模型微调,即可完成高质量的视频编辑,适用于影视特效、内容创作及教育等多个领域。

OminiControl

OminiControl是一款高效且参数节约的图像生成框架,专为扩散变换器模型设计,支持主题驱动和空间控制。通过增加少量参数,它能够生成高质量图像并保持主题一致性,适用于多种应用场景,包括艺术创作、游戏开发和广告设计等。其强大的多模态注意力机制和灵活的架构使其成为图像生成领域的创新工具。

Inverse Painting

Inverse Painting 是一种基于 AI 的创新技术,能够逆向还原绘画过程,通过分析艺术家的绘画视频学习技巧与顺序,生成详细的绘画指令,逐步更新画布,模拟创作流程。该工具可应用于艺术教育、艺术创作辅助、文化遗产保护、艺术品鉴定、娱乐产业及交互式媒体等多个领域。

Vid2World

Vid2World是由清华大学和重庆大学联合开发的创新框架,能够将全序列、非因果的被动视频扩散模型(VDM)转换为自回归、交互式、动作条件化的世界模型。该模型基于视频扩散因果化和因果动作引导两大核心技术,解决了传统VDM在因果生成和动作条件化方面的不足。Vid2World支持高保真视频生成、动作条件化、自回归生成和因果推理,适用于机器人操作、游戏模拟等复杂环境,具有广泛的应用前景。

Animate Anyone

Animate Anyone是一款由阿里巴巴智能计算研究院开发的开源框架,旨在将静态图像中的角色或人物动态化。它采用扩散模型,结合ReferenceNet、Pose Guider姿态引导器和时序生成模块等技术,确保输出的动态视频具有高度一致性和稳定性。该框架支持多种应用,包括角色动态化、时尚视频合成及人类舞蹈生成,用户可通过GitHub或Hugging Face社区轻松体验。

RDT

RDT是清华大学AI研究院推出的一款双臂机器人操作任务扩散基础模型,拥有十亿参数量,可自主完成复杂任务,如调酒和遛狗。该模型基于模仿学习,具备强大的泛化能力和操作精度,支持多种模态输入和少样本学习。RDT已在餐饮、家庭、医疗、工业及救援等领域展现广泛应用前景,推动机器人技术发展。

Playground v3

Playground v3是一款基于大型语言模型(LLM)的文本到图像生成工具,具备240亿参数量的潜扩散架构(LDM),能够精准理解和生成复杂的图像内容,支持RGB颜色控制和多语言文本生成。其核心功能包括文本到图像生成、图形设计、RGB颜色控制和多语言支持,广泛应用于设计、内容创作、游戏开发、广告等多个领域。