Transformer架构

1. 首页
2. Transformer架构

MHA2MLA

MHA2MLA是一种由多所高校与研究机构联合开发的数据高效微调方法，基于多头潜在注意力机制（MLA）优化Transformer模型的推理效率。通过Partial-RoPE和低秩近似技术，显著减少KV缓存内存占用，同时保持模型性能稳定。仅需少量数据即可完成微调，适用于边缘设备、长文本处理及模型迁移等场景，具备高兼容性和低资源消耗优势。

AI项目与工具 2025年06月12日 47 点赞 0 评论 893 浏览

LlamaCoder

LlamaCoder 是一个基于 Llama 3.1 405B 模型的开源 AI 工具，能够快速生成全栈应用程序。它集成了 Sandpack、Next.js、Tailwind 和 Helicone 等组件，支持代码沙盒、应用路由、样式设计和可观测性分析。LlamaCoder 可根据用户请求生成组件，适用于构建多种类型的应用程序，并支持数据分析和 PDF 分析。

AI项目与工具 2025年06月12日 79 点赞 0 评论 894 浏览

PsycoLLM

PsycoLLM是由合肥工业大学研发的中文心理大模型，基于高质量心理数据集训练，具备精准理解心理问题、多轮对话交互、情绪识别与支持、心理健康评估等功能。其技术融合了多步数据优化、监督微调和Transformer架构，适用于个人心理支持、心理咨询、教育及社区服务等场景，为心理健康领域提供专业、高效的技术解决方案。

AI项目与工具 2025年06月12日 48 点赞 0 评论 899 浏览

CogView

CogView-3-Plus是智谱AI研发的AI文生图模型，采用Transformer架构替代传统的UNet，优化了扩散模型中的噪声规划。它能够根据用户指令生成高质量、高美学评分的图像，支持多种分辨率，并具有实时生成图像的能力。该模型已被集成到“智谱清言”APP中，并提供API服务，适用于艺术创作、游戏设计、广告制作等多个图像生成领域。

AI项目与工具 2025年06月12日 64 点赞 0 评论 906 浏览

CogView4

CogView4是一款由智谱推出的开源文生图模型，具有60亿参数，支持中英文输入与高分辨率图像生成。在DPG-Bench基准测试中表现优异，达到当前开源模型的领先水平。模型具备强大的语义理解能力，尤其在中文文字生成方面表现突出，适用于广告设计、教育、儿童绘本及电商等领域。其技术架构融合扩散模型与Transformer，并采用显存优化技术提升推理效率。

AI项目与工具 2025年06月12日 83 点赞 0 评论 908 浏览

Lumina

Lumina-Image 2.0 是一款开源图像生成模型，基于扩散模型与 Transformer 架构，具有 26 亿参数。它能根据文本描述生成高质量、多风格的图像，支持中英文提示词，并具备强大的复杂提示理解能力。模型支持多种推理求解器，适用于艺术创作、摄影风格图像生成及逻辑推理场景，兼具高效性和灵活性。

AI项目与工具 2025年06月12日 27 点赞 0 评论 911 浏览

Veo 2

Veo 2 是一款由 Google DeepMind 开发的 AI 视频生成工具，支持高达 4K 分辨率，可生成高质量视频并模拟物理现象及人类表情。它具备修复、外扩、插值等功能，广泛应用于电影制作、虚拟旅游、教育视频等领域，具有高精度和安全性。

AI项目与工具 2025年06月12日 85 点赞 0 评论 916 浏览

MiniMind

MiniMind 是一款轻量级开源语言模型项目，具备极低的训练成本和高效的训练流程。其最小模型仅需 25.8M 参数，可在普通 GPU 上运行，支持多模态能力，如视觉语言模型 MiniMind-V。项目提供完整的训练代码，涵盖预训练、微调、LoRA、DPO 和模型蒸馏，兼容主流框架，适合初学者和开发者快速上手并应用于多个领域。

AI项目与工具 2025年06月12日 77 点赞 0 评论 938 浏览

UIGEN

一个基于 Qwen2.5-Coder-7B 模型微调的开源 UI 设计生成工具，能够根据用户输入的提示生成结构清晰且符合标准的 HTML 和 CSS 代码

Ai编程建站 2025年06月05日 44 点赞 0 评论 955 浏览

360Zhinao2

360Zhinao2-7B是一款由360公司开发的大规模AI语言模型，具备强大的语言理解和生成能力，支持多语言交流和复杂的数学逻辑推理。其核心特性包括灵活的上下文处理、高效的训练技术和广泛的适用性，可应用于智能客服、教育辅助、内容创作和信息检索等多个领域。

AI项目与工具 2025年06月12日 89 点赞 0 评论 955 浏览