模型优化
KTransformers
KTransformers是一款由清华大学KVCache.AI团队与趋境科技联合开发的开源工具,用于提升大语言模型的推理性能并降低硬件门槛。它支持在24GB显卡上运行671B参数模型,利用MoE架构和异构计算策略实现高效推理,预处理速度达286 tokens/s,推理速度达14 tokens/s。项目提供灵活的模板框架,兼容多种模型,并通过量化和优化技术减少存储需求,适合个人、企业及研究场景使用。
Mistral Saba
Mistral Saba 是一款面向中东和南亚地区的定制化 AI 模型,具备 240 亿参数,专注于阿拉伯语及南亚语言(如泰米尔语、马拉雅拉姆语)的处理。其优势在于高效部署、低资源占用和高准确性,适合需要文化背景理解的场景。可通过微调应用于多个行业,并支持 API 和本地部署,适用于对话支持、专业领域知识生成及文化内容创作。