淘宝星辰

淘宝星辰简介

淘宝星辰是阿里妈妈研发的电商视频生成大模型，专为淘宝和天猫商家提供服务。该工具能够根据用户提供的图片或文本指令，自动生成高质量的视频内容。其核心优势在于对商品展示的理解能力，能精准识别并应用适合各类商品的展示方式；具备多语种语义理解能力，确保视频内容与用户需求高度匹配；遵循物理规律和动作逻辑，使画面自然流畅；同时保持人物、商品及装饰元素的清晰与稳定。该工具已面向淘宝天猫商家开放，助力商家提升商品展示效果。

淘宝星辰的核心功能

• 智能商品展示：基于电商数据和设计经验，自动识别并适配不同类别的商品展示方式，确保产品细节与整体风格协调统一。
• 多语种语义理解：支持中英文指令输入，精准捕捉关键动作信息，提升视频生成与用户意图的一致性。
• 物理与动作逻辑：严格遵循现实物理规则和动作规范，避免不合理的画面表现，增强视频的真实感和专业度。
• 元素稳定性保障：在视频生成过程中，始终保持人脸、商品、文字等元素的清晰与完整，提升视觉一致性。

淘宝星辰的技术架构

• 基于Unet Diffusion Model：采用Unet Diffusion Model技术路线，通过逐步去噪生成高质量视频内容。
• 自研3D VAE技术：开发了用于处理三维信息的3D VAE，实现对视频内容的空间建模与高精度重建。
• 数据飞轮机制：通过持续收集和利用电商数据，优化模型训练效果，提升视频生成的准确性和多样性。
• 多模型协同系统：集成Tbstar-T2V、Tbstar-I2V、Tbstar-V2V等多个子模型，实现更丰富的视频生成能力。

使用流程

• 访问平台：登录淘宝星辰官方网站。
• 选择功能模块：进入“图生视频”功能页面。
• 上传素材：上传一张高质量的商品图片。
• 生成视频：点击生成按钮，等待视频输出。
• 视频编辑：可进行基础编辑，如添加品牌标识、调整颜色等。
• 下载与应用：完成编辑后下载视频，用于商品详情页或社交媒体推广。
• 使用权限：目前仅限淘宝天猫商家使用，普通用户暂不可用。

应用场景

• 商品主图视频：某服装商家通过上传模特图生成5秒视频，显著提升点击率和转化率。
• 卖点展示视频：电子产品商家生成多个视频片段，结合转场和特效，制作出吸引人的产品介绍视频。
• 种草内容视频：美妆商家生成视频并添加解说，发布于小红书等平台，激发用户购买兴趣。
• 虚拟试穿视频：服饰商家利用虚拟试穿图生成视频，帮助消费者直观了解穿着效果。