源2.0 源2.0-M32是由浪潮信息开发的一种混合专家模型（MoE），包含32个专家，采用“注意力路由器”技术，显著提升了模型的效率和准确性。该模型在代码生成、数学问题解决、科学推理等多个领域表现出色，尤其在ARC-C和MATH基准测试中超越了其他模型。源2.0-M32具有高效的计算能力和广泛的适用性，适用于多种复杂任务。 AI项目与工具 2025年06月12日 31 点赞 0 评论 127 浏览
OLMoE OLMoE是一款基于混合专家（MoE）架构的开源大型语言模型，具有高效的稀疏激活机制和快速训练能力。它支持自然语言理解、文本生成、多任务处理等功能，并广泛应用于聊天机器人、内容创作、情感分析和问答系统等领域，通过预训练和微调实现高精度任务执行。 --- AI项目与工具 2025年06月12日 85 点赞 0 评论 141 浏览
Aria Aria是首个开源多模态原生混合专家（MoE）模型，支持文本、代码、图像和视频的综合处理，具有强大的多模态任务处理能力和长上下文窗口，可高效应对复杂长数据。模型开源且可扩展，适用于多模态AI领域的研究与应用。 AI项目与工具 2025年06月12日 48 点赞 0 评论 216 浏览
DeepEP DeepEP 是 DeepSeek 开发的开源 EP 通信库，专为混合专家模型（MoE）的训练和推理设计。它提供高吞吐、低延迟的 GPU 内核，支持 NVLink 和 RDMA 通信，优化了组限制门控算法，兼容 FP8 等低精度数据格式。适用于大规模模型训练、推理解码及高性能计算场景，具有良好的系统兼容性和网络优化能力。 AI项目与工具 2025年06月12日 43 点赞 0 评论 470 浏览
DeepGEMM DeepGEMM是DeepSeek开发的高效FP8矩阵乘法库，专为NVIDIA Hopper架构优化，支持普通与分组GEMM操作。采用即时编译技术，实现运行时动态优化，提升计算性能与精度。通过细粒度缩放和双级累加技术解决FP8精度问题，结合TMA特性提升数据传输效率。代码简洁，仅约300行，适用于大规模AI推理、MoE模型优化及高性能计算场景。 AI项目与工具 2025年06月12日 61 点赞 0 评论 452 浏览
EPLB EPLB是DeepSeek推出的专家并行负载均衡工具，用于优化大规模模型训练中的资源分配。它通过冗余专家策略和分层/全局负载均衡机制，提升GPU利用率和训练效率。支持多层MoE模型，减少通信开销，适应不同场景需求。 AI项目与工具 2025年06月12日 10 点赞 0 评论 196 浏览
Grok Grok-1是由xAI公司开发的大型语言模型，具备3140亿参数，是目前参数量最大的开源大语言模型之一。该模型基于Transformer架构，专用于自然语言处理任务，如问答、信息检索、创意写作和编码辅助等。尽管在信息处理方面表现出色，但需要人工审核以确保准确性。此外，Grok-1还提供了8bit量化版本，以降低存储和计算需求。 AI项目与工具 2024年01月01日 10 点赞 0 评论 294 浏览
Arctic Arctic是一款由云计算公司Snowflake的AI研究团队开发的高效且开源的企业级大型语言模型，拥有480亿参数。该模型采用混合专家模型（MoE）架构，结合了密集变换器（Dense Transformer）和128个专家的特点。Arctic在成本效益、训练效率和推理效率方面具有显著优势，特别适用于企业任务，例如SQL生成、编程和指令遵循。模型基于Apache 2.0许可发布，用户可以自由使用和 AI项目与工具 2024年01月01日 90 点赞 0 评论 390 浏览
