扩散模型

DreamTalk

一个由清华大学、阿里巴巴和华中科大共同开发的一个基于扩散模型可以让人物照片说话,支持包括歌曲、多种语言的语音、嘈杂的音频在内的各种声音匹配让人物头像说话的框架。

SANA 1.5

SANA 1.5是由英伟达联合多所高校研发的高效线性扩散变换器,专用于文本到图像生成任务。其核心优势包括高效的训练扩展、模型深度剪枝、推理时扩展等技术,能够在不同计算预算下灵活调整模型性能。支持多语言输入,并具备开源特性,适用于创意设计、影视制作、教育等多个领域。实验表明,其生成质量接近行业领先水平,同时显著降低计算成本。

Sonauto AI

一款AI音乐生成器,允许用户通过将文本提示、歌词或旋律转换为完整的不同风格的歌曲。它采用了潜在扩散模型,这使得它与其他人工智能音乐生成模型相比更加可控。

FancyVideo

FancyVideo是一款由360公司与中山大学合作开发的AI文生视频模型,采用创新的跨帧文本引导模块(CTGM)。它能够根据文本描述生成连贯且动态丰富的视频内容,支持高分辨率视频输出,并保持时间上的连贯性。作为开源项目,FancyVideo提供了详尽的文档和代码库,便于研究者和开发者深入研究和应用。主要功能包括文本到视频生成、跨帧文本引导、时间信息注入及时间亲和度细化等。

Audio

Audio-SDS是由NVIDIA研发的音频处理技术,基于文本提示引导音频生成,支持音效生成、音源分离、FM合成及语音增强等多种任务。该技术无需重新训练模型,即可将预训练音频扩散模型扩展为多功能工具,具备高效推理能力,适用于游戏、音乐制作、教育及智能家居等多个领域。

BLIP3

BLIP3-o是Salesforce Research等机构推出的多模态AI模型,结合自回归与扩散模型优势,实现高效图像理解和生成。基于CLIP语义特征,支持文本与图像间的双向转换及图像编辑。采用顺序预训练策略,提升模型性能。完全开源,适用于创意设计、视觉问答、艺术生成等多种场景。

VACE

VACE是由阿里巴巴通义实验室推出的视频生成与编辑框架,支持文本到视频、参考生成、视频扩展、遮罩编辑等多种任务。其核心是Video Condition Unit(VCU),可整合多模态输入,实现任务灵活组合。支持480P和720P分辨率,适用于创意视频制作、视频修复、风格转换及互动创作等场景,具备高灵活性和广泛的应用潜力。

PSHuman

PSHuman是一款基于跨尺度多视图扩散模型的单图像3D人像重建工具,仅需一张照片即可生成高保真度的3D人体模型,支持全身姿态和面部细节的精确重建。其核心技术包括多视角生成、SMPL-X人体模型融合及显式雕刻技术,确保模型在几何和纹理上的真实感。该工具适用于影视、游戏、VR/AR、时尚设计等多个领域,具备高效、精准和易用的特点。

GEN3C

GEN3C是由NVIDIA、多伦多大学和向量研究所联合开发的生成式视频模型,基于点云构建3D缓存,结合精确的相机控制和时空一致性技术,实现高质量视频生成。支持从单视角到多视角的视频创作,具备3D编辑能力,适用于动态场景和长视频生成。在新型视图合成、驾驶模拟、影视制作等领域有广泛应用前景。

SDXL

SDXL-Lightning是一种基于扩散模型的文本到图像生成技术,由字节跳动的研究团队开发。该模型通过结合渐进式和对抗式蒸馏方法,能够在一至少数步骤内快速生成1024像素分辨率的高质量图像。该模型提供开源模型和权重,支持与现有的LoRA模块和控制插件兼容,可以轻松集成到现有的图片生成系统中。核心技术包括扩散模型、渐进式蒸馏、对抗式蒸馏和鉴别器设计,以确保生成图像的质量和多样性。