图像到视频

Follow

Follow-Your-Click是一款由腾讯、清华大学和香港科技大学合作开发的图像到视频生成模型。它允许用户通过简单的点击和动作提示将静态图像转化为包含局部动画效果的动态视频。主要功能包括直观的用户界面、局部动画生成、多对象处理、简短动作提示、高质量视频生成及运动速度控制。其工作原理涉及用户交互、图像分割、第一帧遮罩策略、运动增强模块和基于光流的运动幅度控制。

CogVideoX v1.5

CogVideoX v1.5是一款由智谱研发的开源AI视频生成工具,具备文本到视频生成、图像到视频转换等功能,支持高清视频输出及音效匹配。它通过三维变分自编码器(3D VAE)、Transformer架构等技术手段,提升了视频生成的质量与效率,适用于内容创作、广告营销、教育培训等多个领域。

WorldScore

WorldScore是由斯坦福大学推出的统一世界生成模型评估基准,支持3D、4D、图像到视频(I2V)和文本到视频(T2V)等多种模态。它从可控性、质量和动态性三个维度进行评估,涵盖3000个测试样本,包括静态与动态、室内与室外、逼真与风格化等多种场景。WorldScore具备多场景生成、长序列支持、图像条件生成、多风格适配等功能,适用于图像到视频、图像到3D生成以及自动驾驶场景模拟等应用,为研究

LeviTor

LeviTor是一款由多所高校和企业联合研发的图像到视频合成工具,它利用深度信息和K-means聚类点来控制视频中3D物体的轨迹,无需显式3D轨迹跟踪。通过高质量视频对象分割数据集训练,该工具能精准捕捉物体运动与交互,支持用户通过简单的2D图像操作实现复杂的3D效果,大幅降低了技术门槛,广泛应用于电影特效、游戏动画、虚拟现实等领域。

Goku

Goku是由香港大学与字节跳动联合开发的AI视频生成模型,支持文本到图像、文本到视频、图像到视频等多种生成方式。其核心优势在于高质量的视频输出、低制作成本及多模态生成能力。Goku+作为扩展版本,专注于广告视频创作,具备稳定的动作表现和丰富的表情交互。模型基于大规模数据集和先进架构,适用于广告、教育、娱乐等多个领域,提升了内容创作效率与质量。

WorldDreamer

WorldDreamer 是一种基于 Transformer 的通用世界模型,具备理解与预测物理世界动态变化的能力,专注于视频生成任务。它支持多种应用场景,包括文本到视频、图像到视频、视频编辑和动作序列生成,利用视觉 Token 化、Transformer 架构和多模态提示技术,实现了高效且高质量的视频生成。

Lumiere

谷歌研究院开发的基于空间时间的文本到视频扩散模型。采用了创新的空间时间U-Net架构,能够一次性生成整个视频的时间长度,确保了生成视频的连贯性和逼真度。

VideoDrafter

一个高质量视频生成的开放式扩散模型,相比之前的生成视频模型,VideoDrafter最大的特点是能在主体不变的基础上,一次性生成多个场景的视频。

Index

Index-AniSora是由哔哩哔哩开发的动漫视频生成模型,支持多种动画风格的生成,涵盖番剧、国创、VTuber等内容。其核心技术包括扩散模型、时空掩码模块和Transformer架构,具备图像到视频生成、帧插值、局部引导等能力。模型提供高质量数据集,适用于动画制作、创意验证、教育及营销等多个领域。

MarDini

MarDini是一款融合掩码自回归(MAR)和扩散模型(DM)的先进视频生成工具,支持视频插值、图像到视频生成、视频扩展等多种任务。它通过优化计算资源分配,提高了视频生成的效率与灵活性,并具备从无标签数据中进行端到端训练的能力,展现出强大的可扩展性与效率。