MoE++ MoE++是一种基于混合专家架构的新型深度学习框架，通过引入零计算量专家、复制专家和常数专家，有效降低计算成本并提升模型性能。它支持Token动态选择FFN专家，并利用门控残差机制实现稳定路由，同时优化计算资源分配。该框架易于部署，适用于多种应用场景，包括自然语言处理、智能客服及学术研究。 AI项目与工具 2025年06月12日 40 点赞 0 评论 506 浏览
Aria Aria是首个开源多模态原生混合专家（MoE）模型，支持文本、代码、图像和视频的综合处理，具有强大的多模态任务处理能力和长上下文窗口，可高效应对复杂长数据。模型开源且可扩展，适用于多模态AI领域的研究与应用。 AI项目与工具 2025年06月12日 48 点赞 0 评论 221 浏览
OLMoE OLMoE是一款基于混合专家（MoE）架构的开源大型语言模型，具有高效的稀疏激活机制和快速训练能力。它支持自然语言理解、文本生成、多任务处理等功能，并广泛应用于聊天机器人、内容创作、情感分析和问答系统等领域，通过预训练和微调实现高精度任务执行。 --- AI项目与工具 2025年06月12日 85 点赞 0 评论 147 浏览
源2.0 源2.0-M32是由浪潮信息开发的一种混合专家模型（MoE），包含32个专家，采用“注意力路由器”技术，显著提升了模型的效率和准确性。该模型在代码生成、数学问题解决、科学推理等多个领域表现出色，尤其在ARC-C和MATH基准测试中超越了其他模型。源2.0-M32具有高效的计算能力和广泛的适用性，适用于多种复杂任务。 AI项目与工具 2025年06月12日 31 点赞 0 评论 133 浏览
Arctic Arctic是一款由云计算公司Snowflake的AI研究团队开发的高效且开源的企业级大型语言模型，拥有480亿参数。该模型采用混合专家模型（MoE）架构，结合了密集变换器（Dense Transformer）和128个专家的特点。Arctic在成本效益、训练效率和推理效率方面具有显著优势，特别适用于企业任务，例如SQL生成、编程和指令遵循。模型基于Apache 2.0许可发布，用户可以自由使用和 AI项目与工具 2024年01月01日 90 点赞 0 评论 397 浏览
Grok Grok-1是由xAI公司开发的大型语言模型，具备3140亿参数，是目前参数量最大的开源大语言模型之一。该模型基于Transformer架构，专用于自然语言处理任务，如问答、信息检索、创意写作和编码辅助等。尽管在信息处理方面表现出色，但需要人工审核以确保准确性。此外，Grok-1还提供了8bit量化版本，以降低存储和计算需求。 AI项目与工具 2024年01月01日 10 点赞 0 评论 298 浏览
