KTransformers
KTransformers是一款由清华大学KVCache.AI团队与趋境科技联合开发的开源工具，用于提升大语言模型的推理性能并降低硬件门槛。它支持在24GB显卡上运行671B参数模型，利用MoE架构和异构计算策略实现高效推理，预处理速度达286 tokens/s，推理速度达14 tokens/s。项目提供灵活的模板框架，兼容多种模型，并通过量化和优化技术减少存储需求，适合个人、企业及研究场景使用。
部署
DeepSeek服务器繁忙怎么解决？16个免费R1满血版平替
本文介绍了16款可替代DeepSeek R1满血版的AI工具，涵盖本地部署、API调用及多平台解决方案。这些工具支持深度思考、联网搜索、多模态交互等功能，部分平台还提供高速专线、文档解析、图片识别等增强特性，满足不同场景下的AI需求。
AnythingLLM
AnythingLLM 是一款开源、多模态的 AI 客户端工具，支持文本、图像和音频输入，可将文档转化为上下文信息供语言模型使用。支持本地和云端部署，具备多用户管理、工作区隔离、丰富的文档格式支持和强大的 API 接口。适用于企业知识管理、学术研究、个人学习、内容创作等多种场景，保障数据隐私安全。
Chatbox AI
Chatbox AI是一款开源跨平台AI助手，支持多语言模型集成与本地部署，提供图像生成、代码辅助、文档交互等功能。用户可自由定制并参与社区开发，确保数据安全与隐私保护，适用于办公、学习、开发等多种场景，提升工作效率与创意表达。
Mistral Small 3
Mistral Small 3 是一款由 Mistral AI 推出的开源大语言模型，具备 240 亿参数，支持多语言处理，适用于低延迟场景。模型基于 Transformer 架构，支持长文本输入，具备高性能和本地部署能力。其可定制性强，适用于虚拟助手、客服系统、自动化任务及专业领域应用，如医疗和法律咨询。
VideoLLaMA3
VideoLLaMA3 是阿里巴巴开发的多模态基础模型，支持视频与图像的深度理解和分析。基于 Qwen 2.5 架构，结合先进视觉编码器与语言生成能力，具备高效时空建模与多语言处理能力。适用于视频内容分析、视觉问答、字幕生成等场景，提供多种参数版本，支持灵活部署。
