一致性
InstantCharacter
InstantCharacter是由腾讯混元开发的图像生成插件,基于扩散 Transformer 架构,支持角色一致性保持、高保真图像生成及文本可控性。用户可通过输入角色图片和文字描述,生成符合要求的多样化图像。其适用于连环画、影视、游戏等多个领域,具有高效、灵活和高质量的特点。
Multiverse
Multiverse是由Enigma Labs开发的全球首个基于AI生成的多人游戏模型,支持实时交互与动态世界生成,确保玩家视角一致。其核心技术包括联合动作向量和双视角通道堆叠,有效解决多人游戏中的同步难题。模型训练成本低,可在普通PC上运行,且项目全面开源,适用于多人游戏开发、VR/AR、AI训练、教育等多个领域。
ShotAdapter
ShotAdapter是一款由Adobe与UIUC联合开发的文本到多镜头视频生成框架,通过过渡标记和局部注意力掩码策略,实现角色身份一致性和镜头内容精准控制。支持用户通过文本提示调节镜头数量、时长和背景,适用于影视、广告、教育、游戏等领域,具备高效、灵活和可扩展的技术特点。
SketchVideo
SketchVideo是一款基于草图和文本提示的视频生成与编辑框架,由多所高校与企业联合研发。它利用DiT模型和草图控制网络,实现对视频内容的精细控制,支持动态调整与细节保留。该工具适用于多种场景,如影视制作、教育、游戏开发等,具备高效生成与高质量输出能力。
RelightVid
RelightVid是一款基于时序一致性扩散模型的视频重照明工具,由多所高校和研究机构联合开发。它支持通过文本提示、背景视频或HDR环境贴图对视频进行细粒度和一致的场景编辑,具备全场景和前景保留重照明功能。该模型在预训练图像照明编辑框架基础上扩展,引入时序层提升视频重照明效果,并结合真实视频与3D渲染数据生成高质量数据对。RelightVid在保持时序一致性和照明细节方面表现突出,适用于影视制作、
OmniConsistency
OmniConsistency 是新加坡国立大学推出的图像风格迁移模型,旨在解决复杂场景下风格化图像的一致性问题。该模型采用两阶段训练策略,将风格学习与一致性学习解耦,并支持与任意风格的 LoRA 模块集成,实现高效且灵活的风格化效果。它在多种风格下保持图像的语义、结构和细节一致性,具备更高的灵活性和泛化能力,在实验中表现出与 GPT-4o 相当的性能。
MagicTryOn
MagicTryOn是由浙江大学和vivo等机构开发的视频虚拟试穿框架,采用扩散Transformer(DiT)架构替代传统U-Net,结合全自注意力机制实现视频时空一致性建模。通过粗到细的服装保持策略,整合服装标记与多条件引导,有效保留服装细节。该工具在图像和视频试穿任务中表现优异,适用于在线购物、时尚设计、虚拟试衣间等多种场景。