部署
KTransformers
KTransformers是一款由清华大学KVCache.AI团队与趋境科技联合开发的开源工具,用于提升大语言模型的推理性能并降低硬件门槛。它支持在24GB显卡上运行671B参数模型,利用MoE架构和异构计算策略实现高效推理,预处理速度达286 tokens/s,推理速度达14 tokens/s。项目提供灵活的模板框架,兼容多种模型,并通过量化和优化技术减少存储需求,适合个人、企业及研究场景使用。
Mistral Small 3
Mistral Small 3 是一款由 Mistral AI 推出的开源大语言模型,具备 240 亿参数,支持多语言处理,适用于低延迟场景。模型基于 Transformer 架构,支持长文本输入,具备高性能和本地部署能力。其可定制性强,适用于虚拟助手、客服系统、自动化任务及专业领域应用,如医疗和法律咨询。
TrustGraph Engine
TrustGraph Engine 是一款面向知识智能体开发的平台,提供包括批量文档摄入、自动化知识图谱构建、模型无关的 LLM 集成等在内的多项功能。它通过结合知识图谱和向量数据库增强检索能力,并具备企业级可靠性、可扩展性、模块化设计及数据隐私保护特性,适用于多种应用场景,包括企业数据分析、学术研究、法律事务、金融分析、IT 开发和网络安全等。
