MNN MNN是一个由阿里巴巴开源的轻量级深度学习推理框架，支持多种模型格式和网络结构，具备高性能、低内存占用及跨平台特性。它通过模型量化、计算图优化和异构计算等技术，在移动设备和嵌入式系统中实现高效推理。主要功能涵盖模型转换、硬件加速、内存优化及多模型支持，广泛应用于图像识别、语音处理、智能家居及工业检测等领域。 AI项目与工具 2025年06月12日 76 点赞 0 评论 351 浏览
KTransformers KTransformers是一款由清华大学KVCache.AI团队与趋境科技联合开发的开源工具，用于提升大语言模型的推理性能并降低硬件门槛。它支持在24GB显卡上运行671B参数模型，利用MoE架构和异构计算策略实现高效推理，预处理速度达286 tokens/s，推理速度达14 tokens/s。项目提供灵活的模板框架，兼容多种模型，并通过量化和优化技术减少存储需求，适合个人、企业及研究场景使用。 AI项目与工具 2025年06月12日 21 点赞 0 评论 411 浏览
