分布式

MAHOUT

开箱即用的分布式后端,或者可以扩展到其他分布式后端。

Cephalon端脑

一键部署的 AI 应用,极高性价比,分布式超级计算机网络 AI 算力平台 1.0

DistriFusion

DistriFusion是一个专为加速高分辨率扩散模型在多GPU环境中生成图像的分布式并行推理框架。通过将图像分割成多个小块并分配至不同设备上进行独立处理,它能够在不增加额外训练负担的情况下,将推理速度提升高达六倍,同时保持图像质量。其技术原理包括Patch Parallelism(分片并行)、异步通信、位移补丁并行性等,适用于多种现有的扩散模型。应用场景包括AI艺术创作、游戏和电影制作、VR/A

ChatLearn

ChatLearn是一款由阿里云开发的高效对齐训练框架,支持多种对齐训练方法,包括RLHF、DPO、OnlineDPO和GRPO。它提供灵活的编程接口、资源调度机制和分布式计算支持,适用于自动化对话系统训练及复杂多模型训练场景。用户可以自定义模型执行流程,实现个性化训练策略。

NeMo

NeMo 是一款基于 NVIDIA 技术的端到端云原生框架,专为生成式 AI 模型的设计与部署而打造。它具备模块化架构、多模态支持、优化算法及分布式训练能力,可应用于语音识别、自然语言处理、文本到语音转换、对话式 AI 等多个领域,同时支持预训练模型微调和端到端开发流程,为企业提供高效灵活的解决方案。

揽睿星舟

揽睿星舟是一款由翼方健数自主研发的云端AI训推一体化算力平台,提供高性能GPU计算资源、开箱即用的训练与推理环境、丰富的AI工具链及预训练模型,支持多机多卡分布式训练和隐私安全计算,旨在解决AI协作中的安全信任问题并加速AI价值的释放。它包含推理服务、工作空间、星舟API、镜像社区、应用版与专业版等多种功能和服务,适用于模型训练、推理、大模型API服务、隐私安全计算及数据集共享等多个应用场景。

Lingua

Lingua是Meta AI推出的轻量级代码库,专注于大规模语言模型的训练与推理。它基于PyTorch框架,具有模块化设计、分布式训练支持以及灵活的自定义能力,适用于学术研究、工业部署及模型优化等多个领域。Lingua支持端到端训练、性能优化、多GPU协作,并提供丰富的工具来管理和保存模型。

AutoTrain

AutoTrain是一款由Hugging Face开发的无代码平台,支持用户通过上传数据快速创建和部署定制化的AI模型。它涵盖多种机器学习任务,如文本分类、图像识别及表格数据分析,并提供自动化的数据预处理、分布式训练、超参数优化等功能,适用于自然语言处理、计算机视觉等多个领域。其核心优势在于简化了模型训练流程,使非技术人员也能高效构建高质量模型。 ---