注意力机制
Transfusion
Transfusion是由Meta公司开发的多模态AI模型，能够同时生成文本和图像，并支持图像编辑功能。该模型通过结合语言模型的下一个token预测和扩散模型，在单一变换器架构上处理混合模态数据。Transfusion在预训练阶段利用了大量的文本和图像数据，表现出强大的扩展性和优异的性能。其主要功能包括多模态生成、混合模态序列训练、高效的注意力机制、模态特定编码、图像压缩、高质量图像生成、文本生成
DreamVideo
DreamVideo-2是一款由复旦大学和阿里巴巴集团等机构共同开发的零样本视频生成框架，能够利用单一图像及界定框序列生成包含特定主题且具备精确运动轨迹的视频内容。其核心特性包括参考注意力机制、混合掩码参考注意力、重加权扩散损失以及基于二值掩码的运动控制模块，这些技术共同提升了主题表现力和运动控制精度。DreamVideo-2已在多个领域如娱乐、影视制作、广告营销、教育及新闻报道中展现出广泛应用前
FlashVideo
FlashVideo是由字节跳动团队研发的高分辨率视频生成框架，采用两阶段方法优化计算效率。第一阶段在低分辨率下生成高质量内容，第二阶段通过流匹配技术提升至1080p，仅需4次函数评估。其特点包括高效计算、细节增强、快速预览及多场景应用，适用于广告、影视、教育等领域。
FramePainter
FramePainter 是一款基于AI的交互式图像编辑工具，结合视频扩散模型与草图控制技术，支持用户通过简单操作实现精准图像修改。其核心优势包括高效训练机制、强泛化能力及高质量输出。适用于概念艺术、产品展示、社交媒体内容创作等场景，具备低训练成本和自然的图像变换能力。
