AutoVFX

AutoVFX是由伊利诺伊大学香槟分校的研究团队开发的一款先进的物理特效框架，能够通过自然语言指令自动生成具有高度真实感和动态效果的视觉特效（VFX）视频。该框架集成了神经场景建模、基于大型语言模型（LLM）的代码生成以及物理模拟技术，实现了照片级逼真的视频编辑效果。用户可以通过自然语言指令直接控制视频内容的修改与创作。 AutoVFX的核心功能包括3D场景建模、程序生成、VFX模块、物理模拟、渲染与合成等。它可以从输入视频中提取关键场景属性，并利用LLMs将自然语言指令转化为可执行代码。同时，它还包含多种预定义函数，支持对象插入、移除、材质编辑及物理模拟等功能。此外，通过与物理基础渲染引擎（如Blender）的结合，AutoVFX可以生成最终的高质量视频。 技术方面，AutoVFX采用了神经场景建模、LLM-based代码生成、物理模拟集成、模块化函数封装以及高质量的物理基础渲染技术。其合成管道则负责提取前景和背景遮罩，并通过遮挡推理和阴影计算生成最终的合成视频。 AutoVFX的相关资源包括项目官网（https://haoyuhsu.github.io/autovfx-website/）、GitHub仓库（https://github.com/haoyuhsu/autovfx）以及arXiv技术论文（https://arxiv.org/pdf/2411.02394）。