分布式
  1. 首页
  2. 分布式

列表

Oumi

Oumi

Oumi 是一个开源 AI 平台，支持从数据准备到模型部署的全流程开发。它提供零样板代码体验，支持多种训练方法和多模态模型，适用于自动驾驶、人机交互、学术研究等多个场景。平台具备高效的分布式训练能力和灵活的部署选项，适合企业和研究机构使用。
AI项目与工具 2025年06月12日
Long

Long

Long-VITA是一款由腾讯优图实验室、南京大学和厦门大学联合开发的多模态AI模型，支持处理超长文本（超过100万tokens）及多模态输入（图像、视频、文本）。通过分阶段训练提升上下文理解能力，结合动态分块编码器与并行推理技术，实现高效处理长文本和高分辨率图像。模型基于开源数据训练，适用于视频分析、图像识别、长文本生成等场景，性能在多个基准测试中表现突出。
AI项目与工具 2025年06月12日
AgentSociety

AgentSociety

AgentSociety是由清华大学开发的基于大语言模型的社会模拟平台，通过构建具有“类人心智”的智能体，模拟复杂的社会行为与现象。平台支持城市环境建模、大规模社会模拟和科研工具集成，适用于社会舆论传播、政策评估、社会极化分析及灾害响应研究。其技术特点包括异步模拟架构、分布式计算和MQTT通信，具备高度可扩展性和实时交互能力。
AI项目与工具 2025年06月12日
DeepEP

DeepEP

DeepEP 是 DeepSeek 开发的开源 EP 通信库，专为混合专家模型（MoE）的训练和推理设计。它提供高吞吐、低延迟的 GPU 内核，支持 NVLink 和 RDMA 通信，优化了组限制门控算法，兼容 FP8 等低精度数据格式。适用于大规模模型训练、推理解码及高性能计算场景，具有良好的系统兼容性和网络优化能力。
AI项目与工具 2025年06月12日
BFS

BFS

BFS-Prover 是一种基于大语言模型的自动定理证明系统，通过改进广度优先搜索算法和长度归一化评分机制，提高证明搜索效率。系统结合专家迭代、直接偏好优化和分布式架构，支持复杂定理的高效验证，并与 Lean4 深度集成，确保形式化数学问题的逻辑正确性。适用于数学竞赛题、本科及研究生数学研究等领域，推动了自动定理证明技术的发展。
AI项目与工具 2025年06月12日
DualPipe

DualPipe

DualPipe是由DeepSeek开发的开源双向流水线并行技术，通过将前向和反向计算分离为独立管道并行执行，显著提升大规模深度学习模型的训练效率。该技术优化了计算与通信的重叠，降低内存峰值，提高资源利用率，并支持多模态处理、多任务学习等应用场景。适用于需要高效训练和推理的AI系统。
AI项目与工具 2025年06月12日
EPLB

EPLB

EPLB是DeepSeek推出的专家并行负载均衡工具，用于优化大规模模型训练中的资源分配。它通过冗余专家策略和分层/全局负载均衡机制，提升GPU利用率和训练效率。支持多层MoE模型，减少通信开销，适应不同场景需求。
AI项目与工具 2025年06月12日
Profiling Data

Profiling Data

Profiling Data是DeepSeek开发的开源性能分析工具，基于PyTorch Profiler收集程序运行数据，用于优化深度学习模型的训练和推理效率。它支持可视化分析，可定位性能瓶颈、分析资源利用情况、优化通信策略，并适用于分布式系统调优。通过提供详细的运行指标，帮助开发者提升计算与通信效率，实现更高效的系统性能。
AI项目与工具 2025年06月12日
3FS

3FS

3FS是DeepSeek推出的高性能分布式文件系统，专为AI训练和推理优化。采用SSD与RDMA技术，提供高达6.6 TiB/s的读取吞吐量，支持强一致性及通用文件接口。具备数据准备、加载、检查点和KVCache缓存功能，适用于大规模AI应用。在GraySort测试中表现优异，吞吐量达3.66 TiB/min，KVCache读取峰值达40 GiB/s，适用于多节点计算环境。
AI项目与工具 2025年06月12日
Smallpond

Smallpond

Smallpond是DeepSeek推出的轻量级数据处理框架，基于DuckDB和3FS构建，支持PB级数据的高效处理。具备高性能、易用性、快速上手和分布式处理能力，适用于大规模数据预处理、实时查询、机器学习训练等场景。
AI项目与工具 2025年06月12日