模型部署
KTransformers
KTransformers是一款由清华大学KVCache.AI团队与趋境科技联合开发的开源工具,用于提升大语言模型的推理性能并降低硬件门槛。它支持在24GB显卡上运行671B参数模型,利用MoE架构和异构计算策略实现高效推理,预处理速度达286 tokens/s,推理速度达14 tokens/s。项目提供灵活的模板框架,兼容多种模型,并通过量化和优化技术减少存储需求,适合个人、企业及研究场景使用。
Together AI
Together AI 是一家提供生成式 AI 云服务的平台,支持模型快速推理、微调及训练,具备高性能、低成本和可扩展性。平台提供无服务器或专用端点部署,支持企业级 VPC,确保数据安全。其 GPU 集群支持大规模 AI 计算,适用于内容创作、企业应用、网络安全等多个领域,满足从模型优化到定制开发的全流程需求。
