推理
Agent K v1.0
Agent K v1.0 是一款端到端自主数据科学智能体,由华为诺亚方舟实验室与伦敦大学学院团队联合开发。该工具能够自动化处理数据科学生命周期中的各个环节,支持多模态数据处理,具备动态多步骤问题解决能力,并通过结构化推理和动态记忆管理实现自我学习与优化。Agent K v1.0 在Kaggle多模态挑战赛中表现优异,广泛应用于金融、医疗、零售、制造及客户服务等领域。
KTransformers
KTransformers是一款由清华大学KVCache.AI团队与趋境科技联合开发的开源工具,用于提升大语言模型的推理性能并降低硬件门槛。它支持在24GB显卡上运行671B参数模型,利用MoE架构和异构计算策略实现高效推理,预处理速度达286 tokens/s,推理速度达14 tokens/s。项目提供灵活的模板框架,兼容多种模型,并通过量化和优化技术减少存储需求,适合个人、企业及研究场景使用。
Amazon Bedrock
Amazon Bedrock是一款由AWS推出的完全托管型AI服务平台,集成了多家顶级AI公司的基础模型,支持企业通过单一API访问高性能模型。它提供了从基础模型接入、微调到代理构建的一系列功能,包括检索增强生成(RAG)、自动推理检查及多Agent协作等特性。此外,其模型蒸馏技术能够有效提升效率并降低运行成本,广泛适用于文本生成、虚拟助手、图像生成等多种应用场景。
