视频生成

OmniSync

OmniSync是由中国人民大学、快手科技和清华大学联合开发的通用对口型框架,基于扩散变换器实现视频中人物口型与语音的精准同步。它采用无掩码训练范式,直接编辑视频帧,支持无限时长推理,保持自然面部动态和身份一致性。通过渐进噪声初始化和动态时空分类器自由引导(DS-CFG)机制,提升音频条件下的口型同步效果。OmniSync适用于影视配音、虚拟现实、AI内容生成等多个场景。

Sonic

Sonic是由腾讯与浙江大学联合开发的音频驱动肖像动画框架,基于音频信号生成逼真面部表情和动作。它通过上下文增强音频学习和运动解耦控制器,提升唇部同步精度与运动多样性。Sonic在长视频生成中表现出色,具备高稳定性与自然连贯性,支持用户自定义参数。适用于虚拟现实、影视制作、在线教育、游戏开发和社交媒体等多个领域。

Wonder Dynamics

Wonder Dynamics的Wonder Studio是一个创新的AI工具,它通过自动化大部分VFX工作,极大地简化了视觉效果的创作过程。

FlexiAct

FlexiAct是由清华大学与腾讯ARC实验室联合研发的动作迁移模型,可在空间结构差异较大的场景下实现精准动作迁移,并保持目标主体的外观一致性。其核心模块包括轻量级RefAdapter和频率感知动作提取(FAE),有效提升跨主体动作迁移的灵活性与准确性。该模型适用于影视、游戏、广告等多个领域,具有良好的应用前景。

StoryDiffusion

StoryDiffusion 是一种基于 AI 的图像和视频生成框架,通过 Consistent Self-Attention 和 Semantic Motion Predictor 技术,实现从文本到连贯图像和视频的转化,支持用户高效生成高质量视觉内容,广泛应用于动漫、教育、广告及影视等领域。

Stable Video

通过简化视频制作过程,即使是没有专业视频编辑技能的用户也能快速创建吸引人的视频。Stable Video目前处于公测阶段,每个人都可以免费使用。

Bing Video Creator

Bing Video Creator是微软推出的AI视频生成工具,基于OpenAI的Sora模型,用户可通过输入文本描述快速生成5秒短视频。支持9:16格式,提供快速模式和标准模式,初始有10次免费生成机会。功能包括视频生成、多种风格选择、视频存储和分享等,适用于广告、教学、创意和个人娱乐等多种场景。

FILM

Frame Interpolation是一个开源的神经网络模型,能够在两个视频帧之间生成高质量的中间帧,特别适合需要处理大范围场景运动的应用。

Imagine Explainers

Imagine Explainers 是一款基于 AI 的视频生成工具,支持用户根据主题和时长快速生成高质量动画视频。提供多种模板、角色和风格选择,支持 AI 语音或自定义音频。适用于教育、商业、营销等多个领域,能够将复杂内容转化为直观的视觉表达,提升信息传达效率。

SketchVideo

SketchVideo是一款基于草图和文本提示的视频生成与编辑框架,由多所高校与企业联合研发。它利用DiT模型和草图控制网络,实现对视频内容的精细控制,支持动态调整与细节保留。该工具适用于多种场景,如影视制作、教育、游戏开发等,具备高效生成与高质量输出能力。