大模型优化
  1. 首页
  2. 大模型优化

列表

无问芯穹

无问芯穹

​无问芯穹致力于提供卓越的AGI算力解决方案，以大模型能效优化工具包为核心，向下联动多家国产芯片公司，向上通过智算云服务、智算一体机多种方式服务大模型算法企业，协同算力、算法、生态推动行业大模型的高效落地，构建AGI时代的大模型基础设施。
AI服务商 2025年06月05日
KTransformers

KTransformers

KTransformers是一款由清华大学KVCache.AI团队与趋境科技联合开发的开源工具，用于提升大语言模型的推理性能并降低硬件门槛。它支持在24GB显卡上运行671B参数模型，利用MoE架构和异构计算策略实现高效推理，预处理速度达286 tokens/s，推理速度达14 tokens/s。项目提供灵活的模板框架，兼容多种模型，并通过量化和优化技术减少存储需求，适合个人、企业及研究场景使用。
AI项目与工具 2025年06月12日
DistilQwen2.5

DistilQwen2.5

DistilQwen2.5-R1 是阿里巴巴推出的基于知识蒸馏技术的轻量级深度推理模型，包含多种参数量级，适用于资源受限环境。它具备高效计算、深度推理和高度适应性，支持文本生成、机器翻译、客户服务等多种任务。通过双阶段训练和认知轨迹适配框架，提升了小模型的推理能力，性能优于同类开源模型。
AI项目与工具 2025年06月12日
赤兔Chitu

赤兔Chitu

Chitu（赤兔）是清华大学与清程极智联合开发的高性能大模型推理引擎，支持多种GPU及国产芯片，打破对特定硬件的依赖。其具备全场景部署能力，支持低延迟、高吞吐、小显存优化，并在性能上优于部分国外框架。适用于金融风控、智能客服、医疗诊断、交通优化和科研等领域，提供高效、稳定的推理解决方案。
AI项目与工具 2025年06月12日