多模态
  1. 首页
  2. 多模态

列表

The Language of Motion

The Language of Motion

The Language of Motion是一款由斯坦福大学李飞飞团队开发的多模态语言模型，能够处理文本、语音和动作数据，生成对应的输出模态。该模型在共同语音手势生成任务上表现出色，且支持情感预测等创新任务。它采用编码器-解码器架构，并通过端到端训练实现跨模态信息对齐。The Language of Motion广泛应用于游戏开发、电影制作、虚拟现实、增强现实及社交机器人等领域，推动了虚拟角色自
AI项目与工具 2025年06月12日
SleepFM

SleepFM

SleepFM是一款由斯坦福大学开发的开源多模态睡眠分析模型，利用脑电图（EEG）、心电图（ECG）和呼吸信号等数据，实现睡眠阶段分类、睡眠呼吸障碍检测及人口统计属性预测等功能。它通过对比学习技术和自监督预训练方法提升分析精度，并支持临床诊断、药物开发、健康管理等多个应用场景，为睡眠医学研究提供重要工具。
AI项目与工具 2025年06月12日
混元图像2.0

混元图像2.0

混元图像2.0是腾讯开发的AI图像生成工具，支持文本、语音、草图等多种输入方式，具备实时生成能力。其采用单双流DiT架构和多模态大语言模型，生成图像写实性强、细节丰富，且响应速度快，适用于创意设计、广告营销、教育、游戏等多个领域。用户可通过网页端直接操作，实现高效的图像创作体验。
AI项目与工具 2025年06月11日
MedGemma

MedGemma

MedGemma是谷歌推出的开源AI模型，专注于医疗图像与文本分析。它包含4B参数的多模态模型和27B参数的纯文本模型。4B模型擅长解读医疗图像并生成诊断报告，27B模型则用于医疗文本理解与临床推理。支持本地运行或通过Google Cloud部署，适用于医疗诊断、患者分诊、临床决策辅助等场景，提升医疗服务效率与准确性。
AI项目与工具 2025年06月11日
InfiMM

InfiMM

InfiMM-WebMath-40B是由字节跳动与中国科学院联合推出的大规模多模态数据集，涵盖大量数学和科学内容，包括文本、公式、符号及图像。该数据集通过筛选、清洗和标注优化，可显著提升多模态模型的数学推理能力。它适用于数学题库生成、学习工具开发、论文理解及科学研究等多个应用场景。 ---
AI项目与工具 2025年06月12日
3D

3D

3D-Speaker是一个多模态开源项目，专注于通过结合声学、语义和视觉信息，实现高精度的说话人识别和语种识别。其主要功能包括说话人日志、说话人识别、语种识别、多模态识别以及重叠说话人检测。项目提供了工业级模型、训练与推理代码，以及多样化数据集，并支持复杂环境下的语音处理任务。应用场景涵盖会议记录、法庭记录、广播制作、电话客服和安全监控等领域。
AI项目与工具 2025年06月12日
CLaMP 3

CLaMP 3

CLaMP 3是由清华大学朱文武教授团队开发的多模态、多语言音乐信息检索框架，支持文本、图像、音频和乐谱等多种模态之间的跨模态检索。其基于对比学习技术，将不同模态数据与多语言文本对齐至统一语义空间，适用于文本到音乐、图像到音乐检索、零样本分类及音乐推荐等任务。支持27种语言，可扩展至100种，广泛应用于音乐创作、教育、分析及多媒体内容制作。
AI项目与工具 2025年06月12日
Dream

Dream

Dream-7B是由香港大学与华为诺亚方舟实验室联合开发的开源扩散模型，支持文本、数学和代码生成，具备双向上下文建模能力和灵活的生成控制。其在通用任务、数学推理和编程方面表现优异，适用于文本创作、数学求解、编程辅助及复杂任务规划等多种场景，提供高效且高质量的生成服务。
AI项目与工具 2025年06月12日
高灯财务AI助手

高灯财务AI助手

高灯财务ai助手， 垂直财税领域，为各种场景需求提供解决方案的专业助手，一站式解决方案，包括财税咨询、文件解读、财务报告和智能问答伙伴，通过对话式智能输出分析结果，帮助用...
创作工具 2026年06月12日
LongDocURL

LongDocURL

LongDocURL是一个由中国科学院自动化研究所和阿里巴巴联合发布的多模态长文档理解基准数据集，包含2,325组问答对，覆盖33,000页文档，涉及20个子任务。该数据集专注于评估AI模型在长文档理解、数值推理、跨元素定位及多样化任务中的性能，支持文本、图像和表格等多种模式，具有高质量和多样性的特点。
AI项目与工具 2025年06月12日