模型训练

NMT

NMT是一种由UC Berkeley和阿里巴巴联合开发的多任务学习框架,通过将多任务优化问题转化为约束优化问题,实现高优先级任务性能的保障。它基于拉格朗日乘数法,结合梯度下降与上升算法,简化了超参数调整流程,提高了模型训练效率和稳定性。NMT适用于推荐系统、搜索引擎、自然语言处理和金融风控等多个领域,具有良好的兼容性和扩展性。

Cosmos

Cosmos是由英伟达推出的生成式世界基础模型平台,支持自动驾驶和机器人领域的虚拟环境生成与训练。它能够根据文本、图像或视频输入生成高度仿真的虚拟世界状态,并提供高效的数据处理与安全机制。平台包含多个参数规模的模型,适用于不同性能需求的应用场景。Cosmos还支持开放模型许可,便于开发者进行定制化部署。其应用场景涵盖驾驶模拟、策略优化、复杂环境训练及工业数字孪生等。

优云智算

优云智算是一款由UCloud优刻得推出的GPU算力租赁平台,支持按需租用,提供多种规格的GPU资源及丰富的AI镜像社区,便于快速部署应用。平台还具备弹性IP、海外资源和多样化存储方案,适用于模型训练、数据分析、科研仿真等多种AI场景,提升开发效率与灵活性。

Project DIGITS

Project DIGITS 是 NVIDIA 推出的高性能 AI 计算设备,基于 Grace Blackwell 架构,配备 GB10 Superchip,提供高达 1 万万亿次的 AI 计算能力,支持运行 2000 亿参数的大模型。其具备 128GB 统一内存和 4TB NVMe 存储,支持本地开发与云端部署,适配多种 AI 应用场景,如研究、数据分析、教育及医疗等。

Oumi

Oumi 是一个开源 AI 平台,支持从数据准备到模型部署的全流程开发。它提供零样板代码体验,支持多种训练方法和多模态模型,适用于自动驾驶、人机交互、学术研究等多个场景。平台具备高效的分布式训练能力和灵活的部署选项,适合企业和研究机构使用。

unsloth

Unsloth 是一款高效开源的LLM微调工具,通过优化计算流程和GPU内核设计,大幅提升训练速度并降低内存占用。支持多种主流大模型,提供动态量化、长上下文支持等功能,适用于学术研究、企业应用及资源受限环境中的模型优化。

EPLB

EPLB是DeepSeek推出的专家并行负载均衡工具,用于优化大规模模型训练中的资源分配。它通过冗余专家策略和分层/全局负载均衡机制,提升GPU利用率和训练效率。支持多层MoE模型,减少通信开销,适应不同场景需求。

Profiling Data

Profiling Data是DeepSeek开发的开源性能分析工具,基于PyTorch Profiler收集程序运行数据,用于优化深度学习模型的训练和推理效率。它支持可视化分析,可定位性能瓶颈、分析资源利用情况、优化通信策略,并适用于分布式系统调优。通过提供详细的运行指标,帮助开发者提升计算与通信效率,实现更高效的系统性能。

MiniMind

MiniMind 是一款轻量级开源语言模型项目,具备极低的训练成本和高效的训练流程。其最小模型仅需 25.8M 参数,可在普通 GPU 上运行,支持多模态能力,如视觉语言模型 MiniMind-V。项目提供完整的训练代码,涵盖预训练、微调、LoRA、DPO 和模型蒸馏,兼容主流框架,适合初学者和开发者快速上手并应用于多个领域。

Liquid

Liquid是由华中科技大学、字节跳动和香港大学联合开发的多模态生成框架,通过VQGAN将图像编码为离散视觉token并与文本共享词汇空间,使大型语言模型无需修改结构即可处理视觉任务。该框架降低训练成本,提升视觉生成与理解性能,并在多模态任务中表现出色。支持图像生成、视觉问答、多模态融合等应用,适用于创意设计、内容创作及智能交互等领域。