MoE架构
  1. 首页
  2. MoE架构

列表

KTransformers

KTransformers

KTransformers是一款由清华大学KVCache.AI团队与趋境科技联合开发的开源工具，用于提升大语言模型的推理性能并降低硬件门槛。它支持在24GB显卡上运行671B参数模型，利用MoE架构和异构计算策略实现高效推理，预处理速度达286 tokens/s，推理速度达14 tokens/s。项目提供灵活的模板框架，兼容多种模型，并通过量化和优化技术减少存储需求，适合个人、企业及研究场景使用。
AI项目与工具 2025年06月12日
豆包大模型1.5

豆包大模型1.5

豆包大模型1.5是字节跳动推出的高性能AI模型，采用大规模稀疏MoE架构，具备卓越的综合性能和多模态能力。支持文本、语音、图像等多种输入输出方式，适用于智能辅导、情感分析、文本与视频生成等场景。模型训练数据完全自主，性能优于GPT-4o和Claude 3.5 Sonnet等主流模型，且具备成本优势。
AI项目与工具 2025年06月12日
dots.llm1

dots.llm1

dots.llm1 是小红书 hi lab 开源的中等规模 Mixture of Experts（MoE）文本大模型，拥有 1420 亿参数，激活参数为 140 亿。模型在 11.2T 高质量 token 数据上预训练，采用高效的 Interleaved 1F1B 流水并行和 Grouped GEMM 优化技术，提升训练效率。该模型支持多语言文本生成、复杂指令遵循、知识问答、数学与代码推理以及多轮
AI项目与工具 2025年06月11日
MT

MT

MT-MegatronLM 是摩尔线程推出的开源混合并行训练框架，支持密集模型、多模态模型和 MoE 模型的高效训练。采用 FP8 混合精度、高性能算子库和集合通信库，提升 GPU 集群算力利用率。通过模型并行、数据并行和流水线并行技术，实现大规模语言模型的高效分布式训练，适用于科研、企业及定制化 AI 应用场景。
AI项目与工具 2025年06月12日
Ming

Ming

Ming-Lite-Omni是蚂蚁集团开源的统一多模态大模型，基于MoE架构，支持文本、图像、音频和视频等多种模态的输入输出，具备强大的理解和生成能力。模型在多个任务中表现优异，如图像识别、视频理解、语音问答等，适用于OCR识别、知识问答、视频分析等多个领域。其高效处理能力和多模态交互特性，为用户提供一体化智能体验。
AI项目与工具 2025年06月11日