多模态
  1. 首页
  2. 多模态

列表

LongDocURL

LongDocURL

LongDocURL是一个由中国科学院自动化研究所和阿里巴巴联合发布的多模态长文档理解基准数据集，包含2,325组问答对，覆盖33,000页文档，涉及20个子任务。该数据集专注于评估AI模型在长文档理解、数值推理、跨元素定位及多样化任务中的性能，支持文本、图像和表格等多种模式，具有高质量和多样性的特点。
AI项目与工具 2025年06月12日
BALROG

BALROG

BALROG是一款用于评估大型语言模型（LLMs）和视觉语言模型（VLMs）在游戏环境中推理能力的框架。它通过程序化生成的游戏环境，测试模型的规划、空间推理及探索能力，并提供细粒度的性能指标和公开排行榜，以促进AI技术的发展，适用于游戏AI开发、机器人技术、虚拟现实等多个领域。
AI项目与工具 2025年06月12日
Dream

Dream

Dream-7B是由香港大学与华为诺亚方舟实验室联合开发的开源扩散模型，支持文本、数学和代码生成，具备双向上下文建模能力和灵活的生成控制。其在通用任务、数学推理和编程方面表现优异，适用于文本创作、数学求解、编程辅助及复杂任务规划等多种场景，提供高效且高质量的生成服务。
AI项目与工具 2025年06月12日
3D

3D

3D-Speaker是一个多模态开源项目，专注于通过结合声学、语义和视觉信息，实现高精度的说话人识别和语种识别。其主要功能包括说话人日志、说话人识别、语种识别、多模态识别以及重叠说话人检测。项目提供了工业级模型、训练与推理代码，以及多样化数据集，并支持复杂环境下的语音处理任务。应用场景涵盖会议记录、法庭记录、广播制作、电话客服和安全监控等领域。
AI项目与工具 2025年06月12日
CLaMP 3

CLaMP 3

CLaMP 3是由清华大学朱文武教授团队开发的多模态、多语言音乐信息检索框架，支持文本、图像、音频和乐谱等多种模态之间的跨模态检索。其基于对比学习技术，将不同模态数据与多语言文本对齐至统一语义空间，适用于文本到音乐、图像到音乐检索、零样本分类及音乐推荐等任务。支持27种语言，可扩展至100种，广泛应用于音乐创作、教育、分析及多媒体内容制作。
AI项目与工具 2025年06月12日
InfiMM

InfiMM

InfiMM-WebMath-40B是由字节跳动与中国科学院联合推出的大规模多模态数据集，涵盖大量数学和科学内容，包括文本、公式、符号及图像。该数据集通过筛选、清洗和标注优化，可显著提升多模态模型的数学推理能力。它适用于数学题库生成、学习工具开发、论文理解及科学研究等多个应用场景。 ---
AI项目与工具 2025年06月12日
MedGemma

MedGemma

MedGemma是谷歌推出的开源AI模型，专注于医疗图像与文本分析。它包含4B参数的多模态模型和27B参数的纯文本模型。4B模型擅长解读医疗图像并生成诊断报告，27B模型则用于医疗文本理解与临床推理。支持本地运行或通过Google Cloud部署，适用于医疗诊断、患者分诊、临床决策辅助等场景，提升医疗服务效率与准确性。
AI项目与工具 2025年06月11日
混元图像2.0

混元图像2.0

混元图像2.0是腾讯开发的AI图像生成工具，支持文本、语音、草图等多种输入方式，具备实时生成能力。其采用单双流DiT架构和多模态大语言模型，生成图像写实性强、细节丰富，且响应速度快，适用于创意设计、广告营销、教育、游戏等多个领域。用户可通过网页端直接操作，实现高效的图像创作体验。
AI项目与工具 2025年06月11日
SleepFM

SleepFM

SleepFM是一款由斯坦福大学开发的开源多模态睡眠分析模型，利用脑电图（EEG）、心电图（ECG）和呼吸信号等数据，实现睡眠阶段分类、睡眠呼吸障碍检测及人口统计属性预测等功能。它通过对比学习技术和自监督预训练方法提升分析精度，并支持临床诊断、药物开发、健康管理等多个应用场景，为睡眠医学研究提供重要工具。
AI项目与工具 2025年06月12日
MMedAgent

MMedAgent

MMedAgent是一款面向医疗领域的多模态AI平台，集成了指令优化的多模态大型语言模型（MLLM）及一系列定制化医疗工具，支持多种医学成像模式（如MRI、CT、X射线等），可高效处理视觉问答、分类、定位、分割、医学报告生成（MRG）及检索增强生成（RAG）等任务，显著提升了医疗数据处理效率与准确性。
AI项目与工具 2025年06月12日