变换器
  1. 首页
  2. 变换器

列表

OmniSync

OmniSync

OmniSync是由中国人民大学、快手科技和清华大学联合开发的通用对口型框架，基于扩散变换器实现视频中人物口型与语音的精准同步。它采用无掩码训练范式，直接编辑视频帧，支持无限时长推理，保持自然面部动态和身份一致性。通过渐进噪声初始化和动态时空分类器自由引导（DS-CFG）机制，提升音频条件下的口型同步效果。OmniSync适用于影视配音、虚拟现实、AI内容生成等多个场景。
AI项目与工具 2025年06月11日
Direct3D

Direct3D

Direct3D-S2是由南京大学、DreamTech、复旦大学和牛津大学联合开发的高分辨率3D生成框架，基于稀疏体积表示和空间稀疏注意力（SSA）机制，提升扩散变换器（DiT）的计算效率并降低训练成本。该框架包含全端到端的稀疏SDF变分自编码器（SS-VAE），支持多分辨率训练，在1024³分辨率下仅需8个GPU即可训练。Direct3D-S2能够从图像生成高分辨率3D形状，具有精细几何细节和高
AI项目与工具 2025年06月11日
UNO

UNO

UNO是字节跳动推出的AI图像生成框架，支持单主体和多主体图像生成，解决多主体一致性难题。采用扩散变换器和渐进式跨模态对齐技术，结合通用旋转位置嵌入（UnoPE），实现高一致性与可控性。适用于虚拟试穿、产品设计、创意设计等多个领域，具备强大泛化能力，已开源并提供完整技术文档。
AI项目与工具 2025年06月11日
DeepMesh

DeepMesh

DeepMesh是由清华大学和南洋理工大学研发的3D网格生成框架，结合强化学习与自回归变换器技术，实现高质量、高精度的3D模型生成。支持点云和图像条件输入，具备高效的预训练策略与人类偏好对齐机制，适用于虚拟环境、角色动画、医学模拟及工业设计等多个领域。
AI项目与工具 2025年06月12日
谛韵DiffRhythm

谛韵DiffRhythm

DiffRhythm（谛韵）是一款由西北工业大学与香港中文大学（深圳）联合开发的端到端音乐生成工具，基于潜扩散模型技术，能在10秒内生成包含人声和伴奏的完整歌曲。用户只需提供歌词和风格提示，即可快速获得高质量音乐作品。其支持多语言输入，具备歌词对齐、风格定制、非自回归生成等技术优势，广泛应用于音乐创作、影视配乐、教育及个人创作等领域。
AI项目与工具 2025年06月12日
Hallo3

Hallo3

Hallo3是由复旦大学与百度联合开发的基于扩散变换器网络的肖像动画生成技术，能够生成多视角、动态且逼真的视频内容。其核心功能包括身份一致性保持、语音驱动动画、动态对象渲染和沉浸式背景生成。技术上采用预训练变换器模型，结合身份参考网络与音频条件机制，实现高质量视频生成。适用于游戏开发、影视制作、社交媒体及VR/AR等多个领域。
AI项目与工具 2025年06月12日
SeedVR

SeedVR

SeedVR是由南洋理工大学与字节跳动联合开发的视频修复模型，采用移位窗口注意力机制和因果视频变分自编码器，实现高质量、高效率的视频修复。支持任意长度和分辨率的视频处理，生成具有真实感细节的修复结果，适用于影视修复、广告制作、监控视频优化等多个场景。其处理速度优于现有方法，具备良好的实用性与扩展性。
AI项目与工具 2025年06月12日
TRELLIS

TRELLIS

TRELLIS是一款由清华大学、中国科学技术大学及微软研究院共同开发的3D生成模型，利用Structured LATent（SLAT）表示法，通过文本或图像提示生成高质量、多样化的3D资产。它融合了稀疏的3D网格结构与密集视觉特征，支持多格式输出及局部编辑，无需拟合训练即可生成细节丰富的模型。此外，TRELLIS具备两阶段生成流程，可灵活适应不同需求。
AI项目与工具 2025年06月12日
VMB

VMB

VMB是一个由多机构合作研发的多模态音乐生成框架，可从文本、图像和视频等多样化输入生成音乐。它通过文本桥接和音乐桥接优化跨模态对齐与可控性，显著提高了音乐生成的质量和定制化程度。VMB具有增强模态对齐、提升可控性、显式条件生成等特点，适用于电影、游戏、虚拟现实等多个领域。
AI项目与工具 2025年06月12日
In

In

In-Context LoRA是一种基于扩散变换器（DiTs）的图像生成框架，通过微调少量数据实现多样化图像生成任务。它无需修改原始模型结构，减少了对大规模标注数据的依赖，同时保持了高质量的生成效果。该工具支持多任务图像生成、上下文学习能力、任务无关性以及条件图像生成等功能，适用于故事板生成、字体设计、家居装饰等多个领域。
AI项目与工具 2025年06月12日