扩散模型

Leffa

Leffa是一种基于注意力机制的可控人物图像生成框架,通过流场学习精确控制人物的外观和姿势。其核心技术包括正则化损失函数、空间一致性及模型无关性,能够在保持细节的同时提升图像质量。Leffa广泛应用于虚拟试穿、增强现实、游戏开发及影视后期制作等领域,展现出卓越的性能与灵活性。

PersonaMagic

PersonaMagic 是一种基于文本条件策略的人脸生成技术,通过动态嵌入学习和双平衡机制实现高保真个性化图像生成。该工具可依据文本提示调整人脸风格、表情和背景,同时保持身份特征。支持单图像训练,降低数据需求,并可与其他模型结合使用。实验显示其在文本对齐和身份保持方面表现优异,适用于娱乐、游戏、影视及营销等多个领域。

SnapGen

SnapGen是一款由Snap Inc、香港科技大学和墨尔本大学联合开发的文本到图像扩散模型,专为移动设备设计,支持在1.4秒内生成1024×1024像素的高分辨率图像。它通过优化网络架构、跨架构知识蒸馏和对抗性训练等技术,在保持小模型规模的同时,提供了高质量的图像生成能力,适用于社交媒体、移动应用、教育、新闻等多个领域。

VACE

VACE是由阿里巴巴通义实验室推出的视频生成与编辑框架,支持文本到视频、参考生成、视频扩展、遮罩编辑等多种任务。其核心是Video Condition Unit(VCU),可整合多模态输入,实现任务灵活组合。支持480P和720P分辨率,适用于创意视频制作、视频修复、风格转换及互动创作等场景,具备高灵活性和广泛的应用潜力。

BrushNet

BrushNet是一款基于扩散模型的图像修复工具,采用双分支架构处理遮罩区域。它能够实现像素级修复,保持修复区域与原始图像的一致性和高质量。BrushNet适用于多种场景和风格的图像,包括人类、动物、室内和室外场景,以及自然图像、铅笔画、动漫、插画和水彩画等。通过与预训练扩散模型结合,BrushNet提供灵活的修复控制,同时保留未遮罩区域的细节。

HumanDiT

HumanDiT是一种由浙江大学与字节跳动联合开发的高保真人体视频生成框架,基于扩散变换器(DiT)实现姿态引导的视频生成。它支持长序列、多分辨率视频生成,并通过关键点扩散变换器(Keypoint-DiT)确保动作的连贯性与自然性。引入前缀潜在参考策略以保持个性化特征,结合姿态适配器和细化模块提升细节质量。适用于虚拟人、动画制作、沉浸式体验及视频续写等多种场景。

ConceptMaster

ConceptMaster是一款基于扩散Transformer模型的多概念视频生成框架,可在无需测试调优的情况下生成高质量、概念一致的视频。通过解耦多概念嵌入并独立注入模型,有效解决身份解耦问题,尤其擅长处理高度相似的视觉概念。该工具支持多概念视频定制、高质量数据收集和全面的基准测试,适用于视频创作、动画制作、游戏开发及产品展示等领域。

RegionDrag

RegionDrag是一种基于区域的图像编辑技术,由香港大学和牛津大学联合开发。该技术利用扩散模型,让用户通过定义手柄区域和目标区域来实现快速且精确的图像编辑。RegionDrag在单次迭代中完成编辑任务,显著减少编辑时间,同时采用注意力交换技术增强编辑的稳定性和自然性。主要应用领域包括数字艺术与设计、照片编辑、虚拟现实、游戏开发以及电影和视频制作等。

Neo

Neo-1 是 VantAI 开发的全球首个整合从头分子生成与原子级结构预测的 AI 模型,支持多模态输入,提升药物设计效率与准确性。该模型基于大规模训练和定制数据集,具备精准生成分子和预测结构的能力,适用于分子胶设计、蛋白质复合物预测及抗体发现等多个领域,推动结构生物学发展。

Sonauto AI

一款AI音乐生成器,允许用户通过将文本提示、歌词或旋律转换为完整的不同风格的歌曲。它采用了潜在扩散模型,这使得它与其他人工智能音乐生成模型相比更加可控。