模型部署

Liner.ai

Liner.ai 是一款面向非专业程序员和数据科学家的机器学习工具,通过简单的点击操作即可训练模型,无需编写代码。该工具提供多种项目模板,涵盖图像、文本、音频和视频分类,以及对象检测和图像分割等任务。Liner.ai 支持在 CPU 上快速训练模型,并可在本地完成训练以保护数据隐私。此外,该工具还允许用户轻松地将模型导出到多个平台,适合初学者和专业人士使用。

LitServe

LitServe是一款基于FastAPI的高性能AI模型部署引擎,专为企业级AI服务设计。它支持批处理、流式处理和GPU自动扩展,简化了模型部署流程。LitServe易于安装和使用,提供灵活的API定义和强大的服务器控制能力。它兼容多种机器学习框架,具备自动扩展和身份验证等高级特性,适用于机器学习模型部署、大语言模型服务、视觉模型推理、音频和语音处理及自然语言处理等多个领域。

讯飞星火X1

讯飞星火X1是科大讯飞推出的基于全国产算力平台训练的大型语言模型,具备深度推理和“慢思考”能力,适用于数学、代码、逻辑推理、文本生成等任务。支持快慢思考统一模型,部署简便,算力需求低。广泛应用于教育、医疗、健康管理等领域,提供精准的智能服务与解决方案。

UI

UI-TARS是由字节跳动开发的图形用户界面代理模型,支持通过自然语言实现桌面、移动端和网页的自动化交互。具备多模态感知、跨平台操作、视觉识别、任务规划与记忆管理等功能,适用于自动化任务执行和复杂交互场景。支持云端与本地部署,提供丰富的开发接口,便于集成与扩展。

VideoLLaMA3

VideoLLaMA3 是阿里巴巴开发的多模态基础模型,支持视频与图像的深度理解和分析。基于 Qwen 2.5 架构,结合先进视觉编码器与语言生成能力,具备高效时空建模与多语言处理能力。适用于视频内容分析、视觉问答、字幕生成等场景,提供多种参数版本,支持灵活部署。

KTransformers

KTransformers是一款由清华大学KVCache.AI团队与趋境科技联合开发的开源工具,用于提升大语言模型的推理性能并降低硬件门槛。它支持在24GB显卡上运行671B参数模型,利用MoE架构和异构计算策略实现高效推理,预处理速度达286 tokens/s,推理速度达14 tokens/s。项目提供灵活的模板框架,兼容多种模型,并通过量化和优化技术减少存储需求,适合个人、企业及研究场景使用。

超算互联网

超算互联网是国家级算力服务平台,整合全国超算与智算资源,提供算力调度、AI模型服务、SaaS平台、数据支持及技术支持。支持DeepSeek、Qwen等AI模型的在线推理、API部署和私有化开发,适用于科研、工业、企业数字化、人工智能及教育等多个领域,推动算力普惠与科技创新。

Together AI

Together AI 是一家提供生成式 AI 云服务的平台,支持模型快速推理、微调及训练,具备高性能、低成本和可扩展性。平台提供无服务器或专用端点部署,支持企业级 VPC,确保数据安全。其 GPU 集群支持大规模 AI 计算,适用于内容创作、企业应用、网络安全等多个领域,满足从模型优化到定制开发的全流程需求。

AingDesk

AingDesk 是一款开源的 AI 模型部署工具,支持一键安装上百款 AI 模型,降低使用门槛。具备联网搜索功能,提升回答准确性;提供模型共享与多语言支持,便于团队协作与跨语言使用。内置模型管理器,优化本地资源利用,适用于学习、办公及学术研究等多种场景。

CorrDiff

CorrDiff是NVIDIA开发的生成式AI模型,用于将低分辨率天气数据提升至高分辨率,提升天气预测的精度和效率。采用UNet与扩散模型结合的两步法,显著提升计算速度并降低能耗。支持多变量预测和极端天气模拟,适用于灾害预警和高精度气象分析,具备良好的部署灵活性。