虚拟现实
DynamicFace
DynamicFace是由小红书团队开发的视频换脸技术,结合扩散模型与时间注意力机制,基于3D面部先验知识实现高质量、一致性的换脸效果。通过四种精细的面部条件分解和身份注入模块,确保换脸后的人脸在不同表情和姿态下保持一致性。该技术适用于视频与图像换脸,广泛应用于影视制作、虚拟现实、社交媒体等内容创作领域,具备高分辨率生成能力和良好的时间连贯性。
DistriFusion
DistriFusion是一个专为加速高分辨率扩散模型在多GPU环境中生成图像的分布式并行推理框架。通过将图像分割成多个小块并分配至不同设备上进行独立处理,它能够在不增加额外训练负担的情况下,将推理速度提升高达六倍,同时保持图像质量。其技术原理包括Patch Parallelism(分片并行)、异步通信、位移补丁并行性等,适用于多种现有的扩散模型。应用场景包括AI艺术创作、游戏和电影制作、VR/A
MVGenMaster
MVGenMaster是一款基于多视图扩散模型的工具,利用增强的3D先验技术实现新视角合成任务。它可以从单一图像生成多达100个新视图,具有高度的灵活性和泛化能力。模型结合了度量深度、相机姿态扭曲以及全注意力机制等技术,支持高效的前向传播过程,同时兼容大规模数据集。MVGenMaster在视频游戏、电影特效、虚拟现实、3D建模及建筑可视化等领域具有广泛应用前景。
Infinite Mobility
Infinite Mobility是由上海AI Lab开发的交互式物体生成模型,基于程序化技术快速生成高质量、多样化的可交互物体,支持22类常见物体,单次生成仅需1秒,成本低至0.01元。其生成的物体广泛应用于机器人仿真、医疗设备开发、家庭服务机器人等领域,提升虚拟训练的真实性和效率。