扩散模型
DiffEditor
DiffEditor是由北京大学深圳研究生院与腾讯PCG联合研发的图像编辑工具,基于扩散模型,结合图像与文本提示,支持细粒度对象移动、尺寸调整、内容拖动及跨图像编辑。采用区域随机微分方程(Regional SDE)和时间旅行策略,提升编辑准确性和灵活性。无需额外训练即可实现高效图像处理,适用于创意设计、人像修复和风景优化等场景。
VideoPainter
VideoPainter是由多所高校及科研机构联合开发的视频修复与编辑框架,采用双分支架构,结合轻量级上下文编码器和扩散模型,实现高效背景保留与前景生成。支持插件式操作,具备长视频对象一致性维持能力,并构建了大规模视频修复数据集,广泛应用于影视、广告、教育等领域。
DragAnything
DragAnything 是一款由快手与高校联合研发的视频生成工具,通过实体表示和轨迹输入实现对视频中物体的精确运动控制。它支持多实体独立操作、相机运动调整,并采用扩散模型生成高质量视频内容。具备用户友好的交互方式,适用于视频编辑、游戏开发、教育及广告等多个场景。
FantasyTalking
FantasyTalking是一种由阿里巴巴AMAP团队与北京邮电大学联合开发的AI工具,能够从静态肖像生成高质量、可动画化的虚拟形象。该工具采用双阶段视听对齐策略,结合面部专注的交叉注意力模块和运动强度调制模块,实现精准口型同步、丰富表情生成及全身动作控制。支持多种风格和姿态,适用于游戏、影视、VR/AR、虚拟主播及教育等领域。