模型部署
KTransformers
KTransformers是一款由清华大学KVCache.AI团队与趋境科技联合开发的开源工具,用于提升大语言模型的推理性能并降低硬件门槛。它支持在24GB显卡上运行671B参数模型,利用MoE架构和异构计算策略实现高效推理,预处理速度达286 tokens/s,推理速度达14 tokens/s。项目提供灵活的模板框架,兼容多种模型,并通过量化和优化技术减少存储需求,适合个人、企业及研究场景使用。
Together AI
Together AI 是一家提供生成式 AI 云服务的平台,支持模型快速推理、微调及训练,具备高性能、低成本和可扩展性。平台提供无服务器或专用端点部署,支持企业级 VPC,确保数据安全。其 GPU 集群支持大规模 AI 计算,适用于内容创作、企业应用、网络安全等多个领域,满足从模型优化到定制开发的全流程需求。
Windows AI Foundry
Windows AI Foundry 是微软推出的全新 AI 开发平台,提供从模型选择、优化、微调到部署的全生命周期支持。平台整合 Windows ML,支持在多种硬件上高效部署模型,并基于 Foundry Local 提供优化后的开源模型库。同时,提供即用型 AI API 和 LoRA 技术,帮助开发者快速集成和微调模型,提升开发效率与灵活性。