VR

TransPixar

TransPixar是由多所高校及研究机构联合开发的开源文本到视频生成工具,基于扩散变换器(DiT)架构,支持生成包含透明度信息的RGBA视频。该技术通过alpha通道生成、LoRA微调和注意力机制优化,实现高质量、多样化的视频内容生成。适用于影视特效、广告制作、教育演示及虚拟现实等多个领域,为视觉内容创作提供高效解决方案。

Live3D

Live3D是一款面向虚拟主播(VTuber)的综合工具套件,提供面部追踪、3D形象定制、动画制作及直播互动等功能。其包含VTuber Maker、Editor、Gallery等组件,支持手部追踪、VRM模型编辑及AI动作捕捉,适用于虚拟直播、内容创作、在线教育等多种场景。该工具具备丰富的资源库和持续更新机制,适合个人与专业创作者使用。

SOLAMI

SOLAMI是一款基于VR环境的3D角色扮演AI系统,支持用户通过语音和肢体语言与虚拟角色进行沉浸式互动。系统采用社交视觉-语言-行为模型(Social VLA),可识别用户的多模态输入并生成相应响应,涵盖多种角色类型及互动场景,如游戏、舞蹈等。其核心技术涉及多任务预训练和指令微调,适用于虚拟社交、教育、心理治疗及娱乐等多个领域。

Lobe Vidol

Lobe Vidol是一个开源的数字人创作平台,支持用户轻松创建和定制虚拟偶像。它具备流畅的对话交互、背景设定、动作库、角色编辑功能,还支持MMD舞蹈和PMX舞台加载。通过TTS与STT技术,Lobe Vidol实现了语音与文本的双向转换,提供沉浸式用户体验。 ---

GeneMAN

GeneMAN是一个基于多源数据训练的3D人形创建框架,能够从单张图像生成高保真度的3D人体模型。它无需依赖传统参数化模型,支持多样化的身体比例、服装和姿势,广泛应用于虚拟试衣、游戏开发、AR/VR、时尚设计及健身管理等领域。

SAM 2.1

SAM 2.1是一款由Meta开发的先进视觉分割模型,支持图像和视频的实时分割处理。其核心功能包括用户交互式分割、多对象跟踪、数据增强以及遮挡处理等。通过引入Transformer架构和流式记忆机制,SAM 2.1显著提升了对复杂场景的理解能力。该工具具有广泛的应用场景,涵盖内容创作、医疗影像分析、自动驾驶等多个领域。

CHANGER

CHANGER是一款工业级AI换头技术,基于色键技术和H2增强模块,能够实现演员头部与目标身体的无缝融合。其核心技术包括前景预测注意力变换器(FPAT)模块,用于精确预测和聚焦关键区域。CHANGER适用于视觉特效、数字人类创建、虚拟主播等多个领域,提供高保真的头部融合效果。

FabricDiffusion

FabricDiffusion是一项由谷歌与卡内基梅隆大学联合开发的高保真3D服装生成技术,可将2D服装图像的纹理和印花高质量地转移到3D服装模型上。其核心技术基于去噪扩散模型和大规模合成数据集,生成多种纹理贴图并支持跨光照条件的精准渲染,具备优秀的泛化能力和实际应用潜力,适用于虚拟试衣、游戏开发、影视制作及时尚设计等多个领域。