图像生成
MultiBooth
MultiBooth是一种由多所高校和研究机构联合开发的多概念图像生成工具,能够根据文本提示生成包含多个指定概念的高质量图像。其核心技术包括单概念学习和多概念整合,采用多模态编码器、自适应归一化和区域定制化模块,实现高效、精准的图像生成。支持插件式架构,具备良好的扩展性和灵活性,适用于创意设计、广告、教育、电商及科研等多个领域。
Perception
Perception-as-Control是由阿里巴巴通义实验室开发的图像动画框架,支持对相机和物体运动的细粒度控制。它基于3D感知运动表示,结合U-Net架构的扩散模型,实现多种运动相关的视频合成任务,如运动生成、运动克隆、转移和编辑。通过三阶段训练策略,提升运动控制精度和稳定性,适用于影视、游戏、VR/AR、广告及教育等多个领域。
Seaweed APT
Seaweed APT是字节跳动研发的对抗性后训练模型,支持图像和视频的一站式生成。其通过在真实数据上进行对抗性训练,实现单步高质量输出,包括1024px图像和1280×720、24fps视频。该模型采用先进的生成器和判别器设计,结合近似R1正则化技术,提升训练稳定性和生成质量。适用于视频广告、影视创作、社交媒体等内容生产场景。