Mooncake Mooncake是一个以KVCache为中心的分布式大模型推理架构，由Kimi联合清华大学等机构开源。它通过分离预填充和解码阶段，有效利用GPU集群的其他资源，显著提升推理吞吐量，降低算力消耗，同时保持低延迟。Mooncake支持长上下文处理、负载均衡及过载管理，适用于多种应用场景，包括自然语言处理、语音识别、搜索引擎优化等，推动大模型技术的高效应用。 AI项目与工具 2025年06月12日 57 点赞 0 评论 183 浏览
Together AI Together AI 是一家提供生成式 AI 云服务的平台，支持模型快速推理、微调及训练，具备高性能、低成本和可扩展性。平台提供无服务器或专用端点部署，支持企业级 VPC，确保数据安全。其 GPU 集群支持大规模 AI 计算，适用于内容创作、企业应用、网络安全等多个领域，满足从模型优化到定制开发的全流程需求。 AI项目与工具 2025年06月12日 39 点赞 0 评论 355 浏览
