扩散模型

libcom

libcom是一款由上海交通大学BCMI实验室开发的图像合成工具箱,支持图像融合、和谐化、阴影生成、对象放置及生成式合成等功能,采用传统图像处理与深度学习技术相结合的方式,提供高质量的合成图像解决方案。适用于增强现实、艺术创作、电子商务、影视制作及游戏开发等多个领域。

FluxMusic

FluxMusic 是一个开源的音乐生成工具,能够将文本描述转化为音乐。它采用先进的扩散模型和Transformer架构,通过修正流技术提高音乐的自然度和质量。该工具支持多种规模的模型,具备文本到音乐生成、语义理解、多模态融合等功能,适用于音乐创作、影视配乐、游戏音乐生成等多种场景。

UniVG

百度公司推出的视频生成模型,能够以文本和图像的任意组合作为输入条件进行视频生成。

DragAnything

DragAnything 是一款由快手与高校联合研发的视频生成工具,通过实体表示和轨迹输入实现对视频中物体的精确运动控制。它支持多实体独立操作、相机运动调整,并采用扩散模型生成高质量视频内容。具备用户友好的交互方式,适用于视频编辑、游戏开发、教育及广告等多个场景。

Seaweed APT

Seaweed APT是字节跳动研发的对抗性后训练模型,支持图像和视频的一站式生成。其通过在真实数据上进行对抗性训练,实现单步高质量输出,包括1024px图像和1280×720、24fps视频。该模型采用先进的生成器和判别器设计,结合近似R1正则化技术,提升训练稳定性和生成质量。适用于视频广告、影视创作、社交媒体等内容生产场景。

MegaTTS 3

MegaTTS 3是由字节跳动与浙江大学合作开发的零样本文本到语音合成系统,采用轻量级扩散模型,支持中英文及混合语音合成,具备语音克隆、音色控制、韵律调节等功能。系统通过分解语音属性实现精准建模,可快速生成高质量语音,适用于教育、内容制作、语音交互等多个领域。

DIAMOND

DIAMOND是一款基于扩散模型的强化学习代理,专注于模拟复杂环境以支持代理的学习与决策。它在Atari游戏和3D环境中表现出色,能够捕捉丰富的视觉信息。通过连续潜在变量和优化的去噪步骤,DIAMOND提升了模型的稳定性和效率。其应用场景涵盖游戏AI开发、机器人技术、虚拟现实、教育培训及科学研究等领域。

Lemon Slice Live

Lemon Slice Live 是一款基于扩散变换器模型(DiT)的实时视频聊天工具,可将图片转化为可互动的动画角色,支持多语言和实时对话。通过优化模型提升流畅度与响应速度,适用于娱乐、教育、营销等多种场景,结合语音识别、文本生成等技术,提供完整的交互体验。

SongCreator

SongCreator是一款基于AI技术的音乐生成工具,由清华大学深圳国际研究生院与香港中文大学等机构联合开发。它采用双序列语言模型(DSLM)和注意力掩码策略,支持歌词到歌曲、歌词到声乐、伴奏到歌曲等多种音乐生成任务,并允许用户灵活调整生成内容的声学特性。SongCreator适用于音乐制作、教育、娱乐、内容创作等多个领域,为用户提供高效便捷的音乐解决方案。

GAS

GAS是一种从单张图像生成高质量、视角一致且时间连贯虚拟形象的AI工具,结合3D人体重建与扩散模型技术,支持多视角合成与动态姿态动画。其统一框架提升模型泛化能力,适用于游戏、影视、体育及时尚等领域,具备高保真度与真实感。