扩散模型
Perception
Perception-as-Control是由阿里巴巴通义实验室开发的图像动画框架,支持对相机和物体运动的细粒度控制。它基于3D感知运动表示,结合U-Net架构的扩散模型,实现多种运动相关的视频合成任务,如运动生成、运动克隆、转移和编辑。通过三阶段训练策略,提升运动控制精度和稳定性,适用于影视、游戏、VR/AR、广告及教育等多个领域。
RelightVid
RelightVid是一款基于时序一致性扩散模型的视频重照明工具,由多所高校和研究机构联合开发。它支持通过文本提示、背景视频或HDR环境贴图对视频进行细粒度和一致的场景编辑,具备全场景和前景保留重照明功能。该模型在预训练图像照明编辑框架基础上扩展,引入时序层提升视频重照明效果,并结合真实视频与3D渲染数据生成高质量数据对。RelightVid在保持时序一致性和照明细节方面表现突出,适用于影视制作、
DiffSensei
DiffSensei是一款由北京大学、上海AI实验室及南洋理工大学联合开发的漫画生成框架,它结合了基于扩散的图像生成技术和多模态大型语言模型(MLLM)。该工具能够根据用户提供的文本提示和角色图像,生成具有高精度和视觉吸引力的黑白漫画面板,支持多角色场景下的互动与布局调整。其核心技术包括掩码交叉注意力机制、对话布局编码以及MLLM作为特征适配器等,广泛应用于漫画创作、个性化内容生成、教育和培训等领
PixelHacker
PixelHacker是一款由华中科技大学与VIVO AI Lab联合开发的图像修复模型,采用潜在类别引导机制,通过线性注意力实现结构与语义一致性的高质量修复。基于大规模数据集训练并经过多基准微调,支持多种图像类型与分辨率。适用于照片修复、对象移除、艺术创作、医学影像及文化保护等领域。
