Transformer架构
  1. 首页
  2. Transformer架构

列表

Mercury Coder

Mercury Coder

Mercury Coder 是 Inception Labs 推出的扩散型大语言模型，专为代码生成设计。它采用“从粗到细”机制，支持并行生成，每秒可处理超过 1000 个 token，效率显著高于传统模型。具备代码生成、补全、优化、多语言支持及可控生成等功能，适用于开发效率提升、教育辅助、代码优化及低代码平台集成等场景。
AI项目与工具 2025年06月12日
MHA2MLA

MHA2MLA

MHA2MLA是一种由多所高校与研究机构联合开发的数据高效微调方法，基于多头潜在注意力机制（MLA）优化Transformer模型的推理效率。通过Partial-RoPE和低秩近似技术，显著减少KV缓存内存占用，同时保持模型性能稳定。仅需少量数据即可完成微调，适用于边缘设备、长文本处理及模型迁移等场景，具备高兼容性和低资源消耗优势。
AI项目与工具 2025年06月12日
SAM 2.1

SAM 2.1

SAM 2.1是一款由Meta开发的先进视觉分割模型，支持图像和视频的实时分割处理。其核心功能包括用户交互式分割、多对象跟踪、数据增强以及遮挡处理等。通过引入Transformer架构和流式记忆机制，SAM 2.1显著提升了对复杂场景的理解能力。该工具具有广泛的应用场景，涵盖内容创作、医疗影像分析、自动驾驶等多个领域。
AI项目与工具 2025年06月12日
MiniMind

MiniMind

MiniMind 是一款轻量级开源语言模型项目，具备极低的训练成本和高效的训练流程。其最小模型仅需 25.8M 参数，可在普通 GPU 上运行，支持多模态能力，如视觉语言模型 MiniMind-V。项目提供完整的训练代码，涵盖预训练、微调、LoRA、DPO 和模型蒸馏，兼容主流框架，适合初学者和开发者快速上手并应用于多个领域。
AI项目与工具 2025年06月12日
OpenMusic

OpenMusic

OpenMusic是一款基于QA-MDT技术的文生音乐工具，支持从文本生成高质量音乐作品，具备质量感知训练、多样化风格生成及复杂推理能力。它广泛应用于音乐制作、多媒体内容创作、音乐教育等领域，同时提供音频编辑与处理功能，旨在提升音乐创作效率和质量。
AI项目与工具 2025年06月12日
ModernBERT

ModernBERT

ModernBERT是一种基于Transformer架构的新型编码器-only模型，是对经典BERT模型的深度优化版本。它通过在大规模数据集上的训练，提升了对长上下文的理解能力，并在信息检索、文本分类、实体识别等多个自然语言处理任务中展现出卓越性能。此外，ModernBERT在速度和资源效率方面均有显著改进，适合应用于多个领域。
AI项目与工具 2025年06月12日
Hunyuan

Hunyuan

Hunyuan-Large是一款由腾讯开发的大规模混合专家（MoE）模型，以其庞大的参数量成为当前参数规模最大的开源MoE模型之一。该模型基于Transformer架构，擅长处理长文本任务，同时在多语言自然语言处理、代码生成以及数学运算等领域展现出色性能。通过合成数据增强训练与创新的注意力机制，Hunyuan-Large实现了高效的推理吞吐量，并广泛应用于内容创作、教育辅助、知识问答及数据分析等多
AI项目与工具 2025年06月12日
奇智孔明AInnoGC工业大模型

奇智孔明AInnoGC工业大模型

奇智孔明AInnoGC工业大模型是创新奇智在工业智能制造领域的重要成果，它通过其强大的参数量和专业的工业领域适应性，为制造业提供了全面的AI解决方案。
创作工具 1970年01月01日
Janus

Janus

Janus是一种由DeepSeek AI开发的自回归框架，专注于多模态理解和生成任务的统一化。它通过分离视觉编码路径并使用单一Transformer架构来提升灵活性和性能，支持多种输入模态如图像、文本等，并在某些任务中表现出色。Janus具备多模态理解、图像生成及跨模态交互能力，适用于图像创作、自动标注、视觉问答等多个领域。
AI项目与工具 2025年06月12日
VoiceCraft

VoiceCraft

VoiceCraft是一款开源的神经编解码器语言模型，专攻零样本语音编辑和文本到语音（TTS）任务。它采用Transformer架构，通过token重排过程结合因果掩蔽和延迟叠加技术，实现在现有音频序列内高效生成自然的语音。VoiceCraft在多种口音、风格和噪声条件下表现出色，适用于有声读物制作、视频内容创作、播客音频编辑及多语言内容生产等场景。
AI项目与工具 2024年01月01日