视频生成

Phantom

Phantom是由字节跳动研发的视频生成框架,支持从参考图像中提取主体并生成符合文本描述的视频内容。它采用跨模态对齐技术,结合文本和图像提示,实现高质量、主体一致的视频生成。支持多主体交互、身份保留等功能,适用于虚拟试穿、数字人生成、广告制作等多种场景。模型基于文本-图像-视频三元组数据训练,具备强大的跨模态理解和生成能力。

ID

ID-Animator是一款由腾讯光子工作室、中科大和中科院合肥物质科学研究院联合开发的零样本人类视频生成技术。它能够根据单张参考面部图像生成个性化视频,并根据文本提示调整视频内容。ID-Animator通过结合预训练的文本到视频扩散模型和轻量级面部适配器,实现高效的身份保真视频生成。其主要功能包括视频角色修改、年龄和性别调整、身份混合以及与ControlNet等现有条件模块的兼容性。

WonderPlay

WonderPlay 是斯坦福大学与犹他大学联合开发的新型框架,能够从单张图片和用户定义的动作生成动态3D场景。它结合物理模拟与视频生成技术,支持多种物理材质和动作类型,实现逼真的动态效果。用户可通过简单操作与场景互动,生成丰富的物理响应。该工具具备交互式查看器,适用于AR/VR、影视特效、教育、游戏开发等多个领域。

Vace AI

Vace AI 是一款集成视频生成与编辑功能的 AI 工具,支持文本到视频、参考图像生成视频等功能,并提供风格转换、主体移除、画面扩展等编辑选项。基于先进模型技术,可精准保留关键视觉元素,生成高质量视频,适用于短视频制作、创意内容生成及广告设计等多种场景。

VidSketch

VidSketch是由浙江大学研发的视频生成框架,支持通过手绘草图和文本提示生成高质量动画。它采用层级草图控制策略和时空注意力机制,提升视频连贯性和质量,适用于不同技能水平的用户。具备多样化风格支持和低门槛创作特点,广泛应用于创意设计、教学、广告及内容创作等领域。

TheoremExplainAgent

TheoremExplainAgent(TEA)是一款基于多模态技术的AI工具,可生成超过5分钟的数学与科学定理解释视频,涵盖多个STEM领域。它结合文本、动画和语音,提升抽象概念的理解效果,并具备自动错误诊断功能。通过TheoremExplainBench基准评估,TEA在准确性、逻辑性和视觉表现上均表现优异,适用于在线教育、课堂教学和学术研究等多种场景。

智谱清影

智谱清影是一款基于AI的视频生成工具,用户可以通过输入文本或上传图片,生成10秒、4K、60帧的高质量视频。支持多种风格和背景音乐,适用于个人创作者和专业制作团队。该工具基于CogVideoX模型,提升了视频的连贯性和逻辑一致性,并支持API调用。

Quinvio AI

Quinvio AI提供了一个创新的演示文稿制作平台,它通过AI技术简化了演示文稿的制作过程,使用户能够快速、轻松地创建专业的演示文稿,而无需专业的设计或技术技能。

Hailuo AI

Hailuo AI 是一款基于AI技术的视频生成工具,支持将文本和图片转化为动态视频内容。提供多种艺术风格与场景选择,最新模型可让2D插画动起来,适用于创意设计、影视制作等领域,帮助用户高效实现视觉创意,提升创作效率。

VideoPhy

VideoPhy是一款由UCLA和谷歌研究院联合开发的基准测试工具,旨在评估视频生成模型的物理常识能力。它包含688条描述性字幕,通过人类和自动评估方式,衡量生成视频是否符合物理规则。VideoPhy不仅揭示了现有模型的不足,还推出了自动评估工具VideoCon-Physics,以推动模型性能的提升。其应用场景广泛,包括视频生成模型开发、计算机视觉研究、教育与培训以及娱乐产业等。