Transformer架构

1. 首页
2. Transformer架构

MAGI

MAGI-1是一款由Sand AI开发的开源视频生成大模型，采用自回归架构，支持高效、高质量的视频生成，具备高分辨率输出、无限扩展能力和可控生成特性。适用于内容创作、影视制作、游戏开发等多个领域，技术上融合了自回归去噪、Transformer VAE、扩散模型等创新方法，提升生成效率与稳定性。

AI项目与工具 2025年06月11日 37 点赞 0 评论 186 浏览

PixelFlow

PixelFlow是由香港大学与Adobe联合开发的图像生成模型，支持在像素空间中直接生成高质量图像。其基于流匹配技术和多尺度生成策略，实现从低分辨率到高分辨率的逐步生成，有效降低计算成本。该模型在类别条件图像生成和文本到图像生成任务中表现优异，具备强大的语义理解和视觉表达能力。此外，PixelFlow采用端到端训练方式，支持多种ODE求解器，适用于艺术设计、内容创作、教育研究等多个领域。

AI项目与工具 2025年06月11日 100 点赞 0 评论 116 浏览

Instella

Instella是AMD推出的30亿参数开源语言模型，基于自回归Transformer架构，支持4096标记序列，具备强大的自然语言理解、指令跟随和多轮对话能力。通过多阶段训练和高效优化技术，Instella在多个任务中表现优异，适用于智能客服、内容创作、教育辅导、编程辅助和企业知识管理等多个场景。AMD全面开放了模型资源，促进AI技术发展与社区合作。

AI项目与工具 2025年06月12日 79 点赞 0 评论 337 浏览

MHA2MLA

MHA2MLA是一种由多所高校与研究机构联合开发的数据高效微调方法，基于多头潜在注意力机制（MLA）优化Transformer模型的推理效率。通过Partial-RoPE和低秩近似技术，显著减少KV缓存内存占用，同时保持模型性能稳定。仅需少量数据即可完成微调，适用于边缘设备、长文本处理及模型迁移等场景，具备高兼容性和低资源消耗优势。

AI项目与工具 2025年06月12日 47 点赞 0 评论 406 浏览

Mercury Coder

Mercury Coder 是 Inception Labs 推出的扩散型大语言模型，专为代码生成设计。它采用“从粗到细”机制，支持并行生成，每秒可处理超过 1000 个 token，效率显著高于传统模型。具备代码生成、补全、优化、多语言支持及可控生成等功能，适用于开发效率提升、教育辅助、代码优化及低代码平台集成等场景。

AI项目与工具 2025年06月12日 24 点赞 0 评论 415 浏览

MiniMind

MiniMind 是一款轻量级开源语言模型项目，具备极低的训练成本和高效的训练流程。其最小模型仅需 25.8M 参数，可在普通 GPU 上运行，支持多模态能力，如视觉语言模型 MiniMind-V。项目提供完整的训练代码，涵盖预训练、微调、LoRA、DPO 和模型蒸馏，兼容主流框架，适合初学者和开发者快速上手并应用于多个领域。

AI项目与工具 2025年06月12日 77 点赞 0 评论 397 浏览

CogView4

CogView4是一款由智谱推出的开源文生图模型，具有60亿参数，支持中英文输入与高分辨率图像生成。在DPG-Bench基准测试中表现优异，达到当前开源模型的领先水平。模型具备强大的语义理解能力，尤其在中文文字生成方面表现突出，适用于广告设计、教育、儿童绘本及电商等领域。其技术架构融合扩散模型与Transformer，并采用显存优化技术提升推理效率。

AI项目与工具 2025年06月12日 83 点赞 0 评论 440 浏览

Lumina

Lumina-Image 2.0 是一款开源图像生成模型，基于扩散模型与 Transformer 架构，具有 26 亿参数。它能根据文本描述生成高质量、多风格的图像，支持中英文提示词，并具备强大的复杂提示理解能力。模型支持多种推理求解器，适用于艺术创作、摄影风格图像生成及逻辑推理场景，兼具高效性和灵活性。

AI项目与工具 2025年06月12日 27 点赞 0 评论 447 浏览

Seer

Seer是一款由多家科研机构联合开发的端到端机器人操作模型，基于Transformer架构实现视觉预测与动作执行的高度协同。它能够融合多模态信息，具备强大的泛化能力和数据效率，在真实机器人任务中表现优异。Seer适用于工业自动化、服务机器人、医疗健康等多个领域，支持精准动作预测和未来状态预判，显著提升了机器人系统的智能化水平。

AI项目与工具 2025年06月12日 54 点赞 0 评论 292 浏览

PsycoLLM

PsycoLLM是由合肥工业大学研发的中文心理大模型，基于高质量心理数据集训练，具备精准理解心理问题、多轮对话交互、情绪识别与支持、心理健康评估等功能。其技术融合了多步数据优化、监督微调和Transformer架构，适用于个人心理支持、心理咨询、教育及社区服务等场景，为心理健康领域提供专业、高效的技术解决方案。

AI项目与工具 2025年06月12日 48 点赞 0 评论 313 浏览