3DV

3DV-TON是什么

3DV-TON（Textured 3D-Guided Consistent Video Try-on via Diffusion Models）是由阿里巴巴达摩院、湖畔实验室与浙江大学联合开发的一种基于扩散模型的视频虚拟试穿框架。该框架旨在提升在处理复杂服装图案和多样人体姿态时的生成效果，通过生成可动画化的纹理化3D网格作为帧级指导，确保视频在视觉表现和时间一致性方面达到较高水平。同时，项目引入了高分辨率视频试穿基准数据集HR-VVT，为相关研究提供支持。

3DV-TON的主要功能

• 高保真视觉效果：精准还原服装细节，实现逼真的试穿效果。
• 时间一致性：保持视频中服装纹理在不同帧之间的连贯性，避免出现伪影或变形。
• 适应复杂场景：适用于多种服装类型、人体姿态及动态环境。
• 提供基准数据集：构建高分辨率视频试穿数据集HR-VVT，促进研究与评估。

3DV-TON的技术原理

• 纹理化3D指导：利用单图像3D重建技术生成可动画化的纹理化3D网格，同步至原始视频姿态，为扩散模型提供帧级指导。
• 动态3D指导管道：通过关键帧进行初始试穿，重建动画化3D网格，并优化SMPL-X参数以实现姿态对齐。
• 矩形掩码策略：防止服装信息泄露，减少运动中的伪影，结合图像参考增强生成质量。
• 扩散模型架构：基于Stable Diffusion扩展UNet结构，集成时间模块，提升运动生成的真实性。
• 训练策略：融合图像与视频数据训练，采用CFG策略提升模型鲁棒性。

3DV-TON的项目地址

• 项目官网：https://2y7c3.github.io/3DV-TON/
• arXiv技术论文：https://arxiv.org/pdf/2504.17414

3DV-TON的应用场景

• 在线购物：提升用户试穿体验，降低退货率。
• 时尚设计：辅助服装设计与展示。
• 虚拟试衣间：优化实体店铺试衣流程。
• 影视和游戏：支持角色服装定制与设计。
• 社交媒体：提供创意视频生成工具。