Transformer

SPAR3D

SPAR3D是一种基于两阶段设计的单图像3D重建工具,能从单张2D图像生成高质量的3D网格。它结合点扩散模型与三平面Transformer技术,实现快速、精确的几何与纹理重建,并支持用户交互式编辑。适用于增强现实、影视制作、工业设计等多个领域。

ViTPose

ViTPose 是一种基于 Transformer 架构的人体姿态估计模型,通过图像块处理和特征提取实现关键点定位。提供多种版本,适用于不同任务需求。模型结构简洁,支持灵活扩展和参数调整,具备知识迁移能力。ViTPose+ 拓展至动物姿态估计,提升适用范围。在多个数据集上达到 SOTA 性能,广泛应用于运动分析、虚拟现实等领域。

Video Alchemist

Video Alchemist是一款由Snap公司研发的视频生成模型,支持多主体和开放集合的个性化视频生成。它基于Diffusion Transformer模块,通过文本提示和参考图像生成视频内容,无需测试优化。模型引入自动数据构建和图像增强技术,提升主体识别能力。同时,研究团队提出MSRVTT-Personalization基准,用于评估视频个性化效果。该工具适用于短视频创作、动画制作、教育、剧

H

H-Optimus-0是由法国公司Bioptimus推出的全球最大的开源病理学AI基础模型,拥有11亿参数,基于超过50万张组织病理学切片训练,涵盖多种人体组织。该模型在癌症识别、基因异常检测、组织分类及生存分析等方面表现优异,具备强大的特征提取能力。作为开源工具,H-Optimus-0可促进病理研究与临床应用的协同创新。

Fast3R

Fast3R是一种基于Transformer架构的高效多视图3D重建方法,可在单次前向传播中处理上千张图像,大幅提高重建效率并减少误差累积。支持多视图并行处理,具备高精度、强可扩展性和快速推理能力,适用于机器人视觉、增强现实、虚拟现实、文化遗产保护及自动驾驶等多个场景。

Lumina

Lumina-Image 2.0 是一款开源图像生成模型,基于扩散模型与 Transformer 架构,具有 26 亿参数。它能根据文本描述生成高质量、多风格的图像,支持中英文提示词,并具备强大的复杂提示理解能力。模型支持多种推理求解器,适用于艺术创作、摄影风格图像生成及逻辑推理场景,兼具高效性和灵活性。

InspireMusic

InspireMusic是由阿里巴巴通义实验室开发的AI音乐生成工具,支持通过文字描述或音频提示生成多种风格的音乐作品。其核心技术包括音频 tokenizer、自回归 Transformer 模型、扩散模型(CFM)和 Vocoder,实现文本到音乐的转换、音乐续写及高质量音频输出。该工具支持长音频生成、多种采样率,并提供快速与高音质两种推理模式,适用于音乐创作、音频处理及个性化音乐生成等场景。

KTransformers

KTransformers是一款由清华大学KVCache.AI团队与趋境科技联合开发的开源工具,用于提升大语言模型的推理性能并降低硬件门槛。它支持在24GB显卡上运行671B参数模型,利用MoE架构和异构计算策略实现高效推理,预处理速度达286 tokens/s,推理速度达14 tokens/s。项目提供灵活的模板框架,兼容多种模型,并通过量化和优化技术减少存储需求,适合个人、企业及研究场景使用。

GENERator

GENERator是阿里云飞天实验室开发的生成式基因组基础模型,基于Transformer解码器架构,具备98k碱基对的上下文长度和120亿参数。它能生成具有生物学意义的DNA序列,应用于蛋白质家族设计、启动子优化、基因组分析及合成生物学等领域。模型通过大规模数据预训练,并经过生物学验证,展现出强大的序列生成与优化能力。

腾讯混元T1

T1(Thinker)是腾讯混元推出的深度思考模型,支持逻辑推理与联网搜索,具备高速响应和长文本处理能力。采用Hybrid-Mamba-Transformer架构,提升推理效率与准确性。适用于教育、医疗、市场分析等多个领域,输出简洁、幻觉低,适合复杂指令处理和多任务场景。