训练
  1. 首页
  2. 训练

列表

Crawl4LLM

Crawl4LLM

Crawl4LLM是由清华与CMU联合开发的智能爬虫系统，通过评估网页对大语言模型预训练的价值，提升数据获取效率。支持多种爬取模式，具备状态保存、数据可视化功能，并与DCLM框架兼容。采用多维度评分机制优化爬取策略，减少低价值内容抓取，降低对网站负担，适用于LLM预训练、数据集构建等场景。
AI项目与工具 2025年06月12日
Together AI

Together AI

Together AI 是一家提供生成式 AI 云服务的平台，支持模型快速推理、微调及训练，具备高性能、低成本和可扩展性。平台提供无服务器或专用端点部署，支持企业级 VPC，确保数据安全。其 GPU 集群支持大规模 AI 计算，适用于内容创作、企业应用、网络安全等多个领域，满足从模型优化到定制开发的全流程需求。
AI项目与工具 2025年06月12日
DeepEP

DeepEP

DeepEP 是 DeepSeek 开发的开源 EP 通信库，专为混合专家模型（MoE）的训练和推理设计。它提供高吞吐、低延迟的 GPU 内核，支持 NVLink 和 RDMA 通信，优化了组限制门控算法，兼容 FP8 等低精度数据格式。适用于大规模模型训练、推理解码及高性能计算场景，具有良好的系统兼容性和网络优化能力。
AI项目与工具 2025年06月12日
SynClub

SynClub

SynClub是一款基于AI技术的社交应用，允许用户创建并定制个性化的AI角色，实现情感陪伴与互动交流。该工具支持文字和语音对话，具备自然语言处理能力，能根据用户行为进行学习与适应，提供更精准的互动体验。适用于情感支持、社交训练、兴趣交流及语言学习等多场景，注重用户隐私与安全感。
AI项目与工具 2025年06月12日
DualPipe

DualPipe

DualPipe是由DeepSeek开发的开源双向流水线并行技术，通过将前向和反向计算分离为独立管道并行执行，显著提升大规模深度学习模型的训练效率。该技术优化了计算与通信的重叠，降低内存峰值，提高资源利用率，并支持多模态处理、多任务学习等应用场景。适用于需要高效训练和推理的AI系统。
AI项目与工具 2025年06月12日
EPLB

EPLB

EPLB是DeepSeek推出的专家并行负载均衡工具，用于优化大规模模型训练中的资源分配。它通过冗余专家策略和分层/全局负载均衡机制，提升GPU利用率和训练效率。支持多层MoE模型，减少通信开销，适应不同场景需求。
AI项目与工具 2025年06月12日
Profiling Data

Profiling Data

Profiling Data是DeepSeek开发的开源性能分析工具，基于PyTorch Profiler收集程序运行数据，用于优化深度学习模型的训练和推理效率。它支持可视化分析，可定位性能瓶颈、分析资源利用情况、优化通信策略，并适用于分布式系统调优。通过提供详细的运行指标，帮助开发者提升计算与通信效率，实现更高效的系统性能。
AI项目与工具 2025年06月12日
3FS

3FS

3FS是DeepSeek推出的高性能分布式文件系统，专为AI训练和推理优化。采用SSD与RDMA技术，提供高达6.6 TiB/s的读取吞吐量，支持强一致性及通用文件接口。具备数据准备、加载、检查点和KVCache缓存功能，适用于大规模AI应用。在GraySort测试中表现优异，吞吐量达3.66 TiB/min，KVCache读取峰值达40 GiB/s，适用于多节点计算环境。
AI项目与工具 2025年06月12日
AIMv2

AIMv2

AIMv2是苹果公司开发的开源多模态自回归预训练视觉模型，通过图像与文本的深度融合提升视觉理解能力。其采用图像块与子词标记拼接的方式进行自回归预训练，支持多种参数规模，适用于不同设备。具备视觉问答、指代表达理解、图像字幕生成、多媒体检索等功能，并可无缝集成到大型语言模型中。模型在多个视觉任务中表现优异，具备良好的可扩展性和零样本适应能力。
AI项目与工具 2025年06月12日
SepLLM

SepLLM

SepLLM是由香港大学与华为诺亚方舟实验室等机构联合开发的高效大语言模型框架，通过压缩段落信息和优化注意力机制，显著提升推理速度与计算效率。其支持处理超长序列（达400万标记），具备低KV缓存占用、高推理速度及多节点分布式训练能力。适用于长文本处理、流式应用、资源受限环境及多语言研究等多个场景，具有良好的部署灵活性和扩展性。
AI项目与工具 2025年06月12日