大模型
KTransformers
KTransformers是一款由清华大学KVCache.AI团队与趋境科技联合开发的开源工具,用于提升大语言模型的推理性能并降低硬件门槛。它支持在24GB显卡上运行671B参数模型,利用MoE架构和异构计算策略实现高效推理,预处理速度达286 tokens/s,推理速度达14 tokens/s。项目提供灵活的模板框架,兼容多种模型,并通过量化和优化技术减少存储需求,适合个人、企业及研究场景使用。
DistilQwen2.5
DistilQwen2.5-R1 是阿里巴巴推出的基于知识蒸馏技术的轻量级深度推理模型,包含多种参数量级,适用于资源受限环境。它具备高效计算、深度推理和高度适应性,支持文本生成、机器翻译、客户服务等多种任务。通过双阶段训练和认知轨迹适配框架,提升了小模型的推理能力,性能优于同类开源模型。
InftyThink
InftyThink是一种创新的大模型推理范式,通过分段迭代和阶段性总结的方式,突破传统模型在长推理任务中的上下文窗口限制,显著降低计算复杂度并提升推理性能。它适用于数学问题求解、逻辑推理、代码生成、智能辅导及药物研发等多个领域,具备良好的工程可落地性和广泛的适用性。
