多模态

GTA

GTA是一项由上海交通大学与上海AI实验室合作研发的基准测试,专注于评估大型语言模型在真实世界环境中的工具调用能力。它包含229个精心设计的问题,涉及多个领域,并通过多模态输入输出和细粒度评估指标,全面衡量模型的工具使用效率与准确性。GTA可应用于智能助理开发、多模态交互、自动化客户服务、教育及科研等多个领域,助力提升人工智能系统的综合性能。

LiveKit Agents

LiveKit Agents 是一款基于 Python 的多模态 AI 工具框架,支持实时语音、视频和数据交互。其核心功能包括基于 WebRTC 的低延迟通信、与 OpenAI 等服务的深度集成、丰富的插件生态系统以及负载均衡与自动扩展能力。适用于虚拟助手、客户服务、实时翻译、视频内容审核等多个应用场景。

AgiBot Digital World

AgiBot Digital World 是一款基于 NVIDIA Isaac-Sim 的高保真机器人仿真框架,支持多模态大模型驱动的任务与场景自动生成,具备真实感强的视觉与物理模拟能力。其提供多样化专家轨迹生成、域随机化与数据增强功能,助力机器人技能训练与算法优化,并开源了包含多种场景和技能的数据集,适用于工业自动化、服务机器人开发及人工智能研究等领域。

探一下

探一下是一款依托于多模态大模型技术的AI视觉搜索工具,用户可通过其摄像头识别花草、宠物、潮玩等物体,获取旅游讲解、商品药品详情等信息,同时具备趣味解读图片的功能,支持文字翻译与场景触发滤镜,适用于多种生活场景。 ---

讯飞星辰MaaS

讯飞星辰MaaS是一个AI大模型定制微调平台,提供从数据管理到模型微调、评估、托管及推理服务的全流程支持。平台支持多种行业知名模型的零代码微调,具有高度灵活性和可扩展性,适用于逻辑推理、数据管理和多模态应用等场景,为企业提供高效、专业的AI解决方案。

西鲸AI

一个集成了几十款大模型的平台,西鲸AI免费提供文生文大模型的使用,支持midjourney、Dall-E、SD,以及RAG知识库功能。

MagicQuill

MagicQuill是一款基于AI的开源图像编辑工具,提供智能化的局部编辑功能。其核心功能包括AI驱动的智能建议、精确的像素级编辑(如添加、删除和颜色调整),以及多种定制化工具(如添加笔刷、减去笔刷和颜色笔刷)。此外,它还具备实时意图预测和参数调整能力,支持多模态大语言模型和扩散模型的协作,适用于个人娱乐、教育、专业设计及商业应用等多个领域。

GaussianAnything

GaussianAnything 是一款基于多模态输入的 3D 内容生成框架,支持点云、文本和图像等多种输入方式,能够生成高精度且可编辑的 3D 模型。其核心技术包括点云结构化潜空间和级联扩散模型,具备几何与纹理解耦特性,适用于游戏开发、影视制作、VR/AR、工业设计等多个场景。该工具在生成质量和一致性方面表现优异,为 3D 内容创作提供了高效解决方案。

MM

MM-StoryAgent是由上海交通大学X-LANCE实验室与阿里巴巴集团联合开发的开源多模态、多智能体框架,用于生成沉浸式有声故事绘本视频。它结合大型语言模型与多模态生成技术,通过多阶段写作流程和模态对齐优化,提升故事内容的质量与连贯性。支持灵活模块化设计,适用于儿童教育、数字内容创作、在线教育等多个场景,为故事创作提供高效、可定制的解决方案。

紫东太初大模型

紫东太初,中科院自动化所和武汉人工智能研究院推出新一代大模型,从三模态走向全模态,支持多轮问答、文本创作、图像生成、3D理解、信号分析等全面问答任务,拥有更强的认知、理解、创作能力,带来全新互动体验。