文本到视频

DynVFX

DynVFX是一种基于文本指令的视频增强技术,能够将动态内容自然地融入真实视频中。它结合了文本到视频扩散模型与视觉语言模型,通过锚点扩展注意力机制和迭代细化方法,实现新内容与原始视频的像素级对齐和融合。无需复杂输入或模型微调,即可完成高质量的视频编辑,适用于影视特效、内容创作及教育等多个领域。

Diffuse

Diffuse 是一款基于 AI 技术的视频编辑工具,支持用户通过自拍照生成个性化虚拟角色,并结合文本或图像生成高质量视频内容。其功能包括动作模仿、文本到视频生成、预剪辑选择及提示编辑,适用于社交媒体、广告、教育等多种场景。该工具专注于移动端使用,提升视频创作的便捷性与灵活性。

Video Alchemist

Video Alchemist是一款由Snap公司研发的视频生成模型,支持多主体和开放集合的个性化视频生成。它基于Diffusion Transformer模块,通过文本提示和参考图像生成视频内容,无需测试优化。模型引入自动数据构建和图像增强技术,提升主体识别能力。同时,研究团队提出MSRVTT-Personalization基准,用于评估视频个性化效果。该工具适用于短视频创作、动画制作、教育、剧

TransPixar

TransPixar是由多所高校及研究机构联合开发的开源文本到视频生成工具,基于扩散变换器(DiT)架构,支持生成包含透明度信息的RGBA视频。该技术通过alpha通道生成、LoRA微调和注意力机制优化,实现高质量、多样化的视频内容生成。适用于影视特效、广告制作、教育演示及虚拟现实等多个领域,为视觉内容创作提供高效解决方案。

STIV

STIV是一款由苹果公司开发的视频生成大模型,具有8.7亿参数,擅长文本到视频(T2V)及文本图像到视频(TI2V)任务。它通过联合图像-文本分类器自由引导(JIT-CFG)技术提升生成质量,并结合时空注意力机制、旋转位置编码(RoPE)及流匹配训练目标优化性能。STIV支持多种应用场景,包括视频预测、帧插值、长视频生成等,适用于娱乐、教育、广告及自动驾驶等多个领域。

SynCamMaster

SynCamMaster是一款由多家顶尖高校与企业联合研发的多视角视频生成工具,支持从任意视点生成高质量开放世界视频。其核心技术包括结合6自由度相机姿态、多视图同步模块以及预训练文本到视频模型的增强版本。SynCamMaster不仅能在不同视角间保持动态同步,还能实现新视角下的视频合成与渲染,广泛应用于影视制作、游戏开发、虚拟现实及监控系统等领域。

GenMAC

GenMAC是一款基于多代理协作的迭代框架,旨在解决文本到视频生成中的复杂场景生成问题。它通过任务分解为设计、生成和重新设计三阶段,结合验证、建议、修正和输出结构化子任务,利用自适应自路由机制优化视频生成效果。该工具可应用于电影制作、游戏开发、广告设计、教育培训和新闻报道等多个领域,显著提升视频生成的效率和质量。

ConsisID

ConsisID是一款由北京大学和鹏城实验室开发的文本到视频生成工具,其核心技术在于通过频率分解保持视频中人物身份的一致性。该模型具备高质量视频生成能力、无需微调的特点以及强大的可编辑性,同时拥有优秀的泛化性能。其主要功能包括身份保持、高质量视频生成、文本驱动编辑以及跨领域人物处理,广泛应用于个性化娱乐、虚拟主播、影视制作、游戏开发及教育模拟等领域。

腾讯混元文生视频

腾讯混元文生视频是一款利用AI技术生成高质量视频内容的工具,可根据文本提示生成具有大片质感的视频。它支持多语言输入,涵盖高清画质、流畅镜头切换及自然场景模拟等功能,适用于电影制作、广告设计、教育培训等多种应用场景。

WorldDreamer

WorldDreamer 是一种基于 Transformer 的通用世界模型,具备理解与预测物理世界动态变化的能力,专注于视频生成任务。它支持多种应用场景,包括文本到视频、图像到视频、视频编辑和动作序列生成,利用视觉 Token 化、Transformer 架构和多模态提示技术,实现了高效且高质量的视频生成。