KTransformers
KTransformers是一款由清华大学KVCache.AI团队与趋境科技联合开发的开源工具，用于提升大语言模型的推理性能并降低硬件门槛。它支持在24GB显卡上运行671B参数模型，利用MoE架构和异构计算策略实现高效推理，预处理速度达286 tokens/s，推理速度达14 tokens/s。项目提供灵活的模板框架，兼容多种模型，并通过量化和优化技术减少存储需求，适合个人、企业及研究场景使用。
计算
Finedefics
Finedefics是由北京大学彭宇新教授团队开发的细粒度多模态大模型，专注于提升多模态大语言模型在细粒度视觉识别任务中的表现。该模型通过引入对象的细粒度属性描述，结合对比学习方法，实现视觉对象与类别名称的精准对齐。在多个权威数据集上表现出色，准确率达76.84%。其应用场景涵盖生物多样性监测、智能交通、零售管理及工业检测等领域。
Ministral 3B/8B
Ministral 3B 和 8B 是由 Mistral AI 开发的两款轻量级 AI 模型，专为设备端和边缘计算设计。它们具备强大的知识处理能力和高效的上下文管理能力，支持长达 128k 的上下文长度，并通过独特的交错滑动窗口注意力机制提升了推理速度。这些模型适用于设备端翻译、本地数据分析、智能助手及自主机器人等领域，同时支持无损量化和私有部署。
InftyThink
InftyThink是一种创新的大模型推理范式，通过分段迭代和阶段性总结的方式，突破传统模型在长推理任务中的上下文窗口限制，显著降低计算复杂度并提升推理性能。它适用于数学问题求解、逻辑推理、代码生成、智能辅导及药物研发等多个领域，具备良好的工程可落地性和广泛的适用性。
OpenThinker
OpenThinker-32B 是一款由多所高校联合开发的开源推理模型，拥有 328 亿参数和 16,000 token 上下文支持，以高效的数据利用和严格的质量控制著称。模型基于少量数据实现优异性能，适用于数学、科学、代码生成等多种推理任务。全面开源，提供模型权重、代码和数据集，支持研究与开发扩展。
