多模态

MME

MME-CoT 是一个用于评估大型多模态模型链式思维推理能力的基准测试框架,涵盖数学、科学、OCR、逻辑、时空和一般场景六大领域,包含1,130个问题,每题均附关键推理步骤和图像描述。该框架引入推理质量、鲁棒性和效率三大评估指标,全面衡量模型推理能力,并揭示当前模型在反思机制和感知任务上的不足,为模型优化和研究提供重要参考。

MultiFoley

MultiFoley是一款基于多模态控制的音效生成系统,能够根据文本、音频或视频输入生成与视频同步的高质量Foley声音效果。它支持文本驱动和音频驱动的音效生成,同时具备音频扩展和质量控制功能,广泛应用于电影、游戏、动画及虚拟现实等领域,为用户提供灵活且高效的声音设计解决方案。

浦语灵笔

浦语灵笔IXC-2.5是一款由上海人工智能实验室开发的多模态大模型,具备7B规模的大型语言模型后端,能够处理长上下文、超高分辨率图像和细粒度视频理解,支持多轮多图像对话。该模型可以自动生成网页代码和高质量图文内容,在多模态基准测试中表现出色,性能可与OpenAI的GPT-4V相媲美。

NodeTool

NodeTool是一款开源的AI工作流可视化构建工具,通过图形化界面和无代码开发环境,用户可以便捷地集成并运行多种AI模型。它支持本地GPU运行、云服务扩展以及多模态数据处理,适用于图像生成、音乐创作、音频转视觉艺术等多个领域,为非技术用户提供高效且灵活的AI解决方案。 ---

MemFree

MemFree是一款开源的混合AI搜索引擎,集成了多种AI技术和搜索引擎功能,支持文本、图像、文件和网页等多种输入形式,可提供文本、思维导图、图片和视频等多格式搜索结果。其核心功能涵盖图像处理、文档总结与提问、学术问题解答、代码解释与生成等,特别适用于学术研究、工作办公和日常生活场景,旨在优化知识管理、提升生产力并降低使用成本。

Valley

Valley是一款由字节跳动开发的多模态大语言模型,擅长处理文本、图像和视频数据,广泛应用于内容分析、图像和视频描述、电子商务及短视频平台等领域。其Eagle版本通过引入VisionEncoder增强了模型性能,支持灵活调整令牌数量,实现了更高效的多模态数据处理。Valley在多项基准测试中表现出色,尤其在参数规模较小的情况下依然保持优异的成绩。

EliGen

EliGen是由浙江大学与阿里巴巴集团联合开发的实体级可控图像生成框架,采用区域注意力机制实现对图像中实体的精确控制,支持多实体修复、风格化生成及交互式编辑。基于50万高质量注释样本训练,具备强大泛化能力,适用于虚拟场景、角色设计、数据合成及产品展示等场景。

通义星尘

基于通义大模型设计的一个能够快速创造独有人设、风格的角色对话扮演智能体,可在多种场景中进行多种形式的人工智能互动,广泛应用在角色扮演、教育&服务等领域。

Zulu

Zulu 是百度文心快码推出的多模态 AI 编程助手,支持从自然语言需求到代码的端到端生成。具备智能任务拆解、多文件编辑、实时预览、多模态输入及多 IDE 适配等功能,适用于开发者、学习者及各类技术岗位,有效提升开发效率和代码质量。

Moshi

Moshi是一款由法国Kyutai实验室开发的端到端实时音频多模态AI模型,具备听、说、看的能力,并能模拟70种不同的情绪和风格进行交流。Moshi具有多模态交互、情绪和风格表达、实时响应低延迟、语音理解与生成、文本和音频混合预训练以及本地设备运行等特点。它支持英语和法语,主要应用于虚拟助手、客户服务、语言学习、内容创作、辅助残障人士、研究和开发、娱乐和游戏等领域。