SepLLM SepLLM是由香港大学与华为诺亚方舟实验室等机构联合开发的高效大语言模型框架,通过压缩段落信息和优化注意力机制,显著提升推理速度与计算效率。其支持处理超长序列(达400万标记),具备低KV缓存占用、高推理速度及多节点分布式训练能力。适用于长文本处理、流式应用、资源受限环境及多语言研究等多个场景,具有良好的部署灵活性和扩展性。 AI项目与工具 2025年06月12日 37 点赞 0 评论 142 浏览
COMET COMET是字节跳动开发的Mixture-of-Experts(MoE)模型优化系统,通过细粒度计算-通信重叠技术和自适应负载分配机制,显著提升分布式训练效率。它在大规模模型中实现单层1.96倍、端到端1.71倍的加速,具备强鲁棒性与泛化能力,支持多种硬件环境和并行策略,核心代码已开源并可无缝集成至主流训练框架。 AI项目与工具 2025年06月12日 12 点赞 0 评论 436 浏览
MT MT-MegatronLM 是摩尔线程推出的开源混合并行训练框架,支持密集模型、多模态模型和 MoE 模型的高效训练。采用 FP8 混合精度、高性能算子库和集合通信库,提升 GPU 集群算力利用率。通过模型并行、数据并行和流水线并行技术,实现大规模语言模型的高效分布式训练,适用于科研、企业及定制化 AI 应用场景。 AI项目与工具 2025年06月12日 25 点赞 0 评论 237 浏览
APB APB是一种由清华大学等机构开发的分布式长上下文推理框架,通过稀疏注意力机制和序列并行推理提升大模型处理长文本的效率。采用更小的Anchor Block和Passing Block,结合查询感知的上下文压缩技术,减少计算开销并精准传递关键信息。在128K长度文本上,APB推理速度比Flash Attention快10倍,比Star Attention快1.6倍,适用于多种分布式环境和模型规模,广泛 AI项目与工具 2025年06月12日 64 点赞 0 评论 505 浏览
基石智算 基石智算是青云科技推出的AI算力云服务平台,支持多种异构算力资源的统一调度与管理,具备弹性扩容、分布式任务调度、一站式AI开发及模型部署等功能。平台适用于AI模型训练、高性能计算、数据科学分析及模型推理等多种场景,提供灵活的服务模式和全面的资源监控与管理能力,助力用户高效开展人工智能相关工作。 AI项目与工具 2025年06月11日 49 点赞 0 评论 450 浏览
Klavis AI Klavis AI 是一个基于 MCP 协议的开源平台,提供稳定可靠的 MCP 服务器和多客户端集成能力。支持多种工具定制化配置,内置身份验证功能,保障安全性。平台采用分布式架构,适用于大规模用户场景,并通过 API 实现灵活部署与管理,适用于 AI 开发、数据处理、内容创作及企业协作等多种应用场景。 AI项目与工具 2025年06月11日 23 点赞 0 评论 212 浏览
文叔叔 一款可以将任意文件极速传给你朋友的工具,永不限速的云存储产品,免费空间 40GB,传文件、收文件、网盘,支持历史记录等高级功能。 网盘传输 2025年06月05日 13 点赞 0 评论 275 浏览
无阶未来 一个致力于为广大热爱AI应用开发、寻求AI工具、炼丹的小伙伴儿们提供便利的AI应用与算网平台, 无阶未来提供了丰富的镜像资源及云端部署环境。 Ai平台模型 2025年06月05日 49 点赞 0 评论 427 浏览