动态场景

GenXD

GenXD是一款由新加坡国立大学与微软联合开发的3D-4D联合生成框架,能够从任意数量的条件图像生成高质量的3D和4D场景。它通过数据整理流程提取相机姿态和物体运动信息,基于多视角时序模块分离相机与物体运动,并借助掩码潜在条件支持多种视角生成。GenXD支持3D场景重建、动态场景生成以及3D和4D数据融合,适用于视频游戏开发、电影制作、虚拟现实、建筑规划等多个领域。

VideoPhy

VideoPhy是一款由UCLA和谷歌研究院联合开发的基准测试工具,旨在评估视频生成模型的物理常识能力。它包含688条描述性字幕,通过人类和自动评估方式,衡量生成视频是否符合物理规则。VideoPhy不仅揭示了现有模型的不足,还推出了自动评估工具VideoCon-Physics,以推动模型性能的提升。其应用场景广泛,包括视频生成模型开发、计算机视觉研究、教育与培训以及娱乐产业等。

书生·浦像

书生·浦像是由多家科研机构联合开发的超高动态成像算法,核心为浦像HDR(UltraFusion HDR)。它结合AIGC与HDR技术,在极端光照条件下实现图像细节修复和高质量输出,有效解决动态场景中的运动伪影问题。适用于摄影、手机成像和自动驾驶等领域,具有多曝光融合、动态处理、色调映射等功能,提升了图像的鲁棒性与真实感。

DynamicCity

DynamicCity是由上海AI Lab开发的大规模动态场景生成框架,支持高质量4D LiDAR场景的生成与重建,适用于自动驾驶、机器人导航、虚拟现实等多个领域。该框架基于VAE和DiT模型,实现高效的场景编码与生成,支持轨迹引导、指令驱动生成和动态修复等多种应用,展现出优异的性能和广泛的应用潜力。

WonderPlay

WonderPlay 是斯坦福大学与犹他大学联合开发的新型框架,能够从单张图片和用户定义的动作生成动态3D场景。它结合物理模拟与视频生成技术,支持多种物理材质和动作类型,实现逼真的动态效果。用户可通过简单操作与场景互动,生成丰富的物理响应。该工具具备交互式查看器,适用于AR/VR、影视特效、教育、游戏开发等多个领域。

CogVideo

目前最大的通用领域文本生成视频预训练模型,含94亿参数。CogVideo将预训练文本到图像生成模型(CogView2)有效地利用到文本到视频生成模型,并使用了多帧率分层训练策略。

FILM

Frame Interpolation是一个开源的神经网络模型,能够在两个视频帧之间生成高质量的中间帧,特别适合需要处理大范围场景运动的应用。