多模态
  1. 首页
  2. 多模态

列表

NEXUS

NEXUS

NEXUS-O是一款由多家知名机构联合开发的多模态AI模型，能够处理音频、图像、视频和文本等多种输入，并以相应形式输出结果。它在视觉理解、音频问答、语音识别和翻译等方面表现出色，具备强大的跨模态对齐与交互能力。模型基于视觉语言预训练，结合高质量音频数据提升性能，并通过多模态任务联合训练增强泛化能力。适用于智能语音助手、视频会议、教育、智能驾驶、医疗健康等多个领域。
AI项目与工具 2025年06月12日
Lyra

Lyra

Lyra是一款由香港中文大学、SmartMore和香港科技大学联合研发的高效多模态大型语言模型（MLLM）。它通过整合视觉、语音和文本三种模态的信息，实现了强大的跨模态理解和推理能力。Lyra不仅擅长处理长语音数据，还支持流式文本-语音生成及跨模态信息交互，适用于智能助手、客户服务、教育培训、医疗健康等多个领域。
AI项目与工具 2025年06月12日
CLaMP 3

CLaMP 3

CLaMP 3是由清华大学朱文武教授团队开发的多模态、多语言音乐信息检索框架，支持文本、图像、音频和乐谱等多种模态之间的跨模态检索。其基于对比学习技术，将不同模态数据与多语言文本对齐至统一语义空间，适用于文本到音乐、图像到音乐检索、零样本分类及音乐推荐等任务。支持27种语言，可扩展至100种，广泛应用于音乐创作、教育、分析及多媒体内容制作。
AI项目与工具 2025年06月12日
The Language of Motion

The Language of Motion

The Language of Motion是一款由斯坦福大学李飞飞团队开发的多模态语言模型，能够处理文本、语音和动作数据，生成对应的输出模态。该模型在共同语音手势生成任务上表现出色，且支持情感预测等创新任务。它采用编码器-解码器架构，并通过端到端训练实现跨模态信息对齐。The Language of Motion广泛应用于游戏开发、电影制作、虚拟现实、增强现实及社交机器人等领域，推动了虚拟角色自
AI项目与工具 2025年06月12日
Versatile

Versatile

Versatile-OCR-Program是一款开源多模态OCR工具，支持从教育材料中提取文本、公式、表格等结构化数据，输出为JSON或Markdown格式，准确率高达90%-95%。它基于DocLayout-YOLO、Google Vision和MathPix等技术，支持多语言处理，适用于教育数据集制作、教学辅助、AI模型训练及个人学习等场景。
AI项目与工具 2025年06月11日
3D

3D

3D-Speaker是一个多模态开源项目，专注于通过结合声学、语义和视觉信息，实现高精度的说话人识别和语种识别。其主要功能包括说话人日志、说话人识别、语种识别、多模态识别以及重叠说话人检测。项目提供了工业级模型、训练与推理代码，以及多样化数据集，并支持复杂环境下的语音处理任务。应用场景涵盖会议记录、法庭记录、广播制作、电话客服和安全监控等领域。
AI项目与工具 2025年06月12日
狸谱

狸谱

狸谱是一款集AI图像处理与互动创作于一体的多功能工具，提供“灵魂提取器”功能用于生成物体相关人设形象，同时拥有AI壁纸漫画创作、跑团剧情互动及自定义画风等功能。狸谱凭借其多模态大模型技术和丰富的应用场景，满足用户在娱乐、创意、教育等多个领域的多样化需求。
AI项目与工具 2025年06月12日
SleepFM

SleepFM

SleepFM是一款由斯坦福大学开发的开源多模态睡眠分析模型，利用脑电图（EEG）、心电图（ECG）和呼吸信号等数据，实现睡眠阶段分类、睡眠呼吸障碍检测及人口统计属性预测等功能。它通过对比学习技术和自监督预训练方法提升分析精度，并支持临床诊断、药物开发、健康管理等多个应用场景，为睡眠医学研究提供重要工具。
AI项目与工具 2025年06月12日
PUMA

PUMA

PUMA是一款先进的多模态大型语言模型，专注于通过整合多粒度视觉特征提升视觉生成与理解能力。它支持文本到图像生成、图像编辑、条件图像生成及多粒度视觉解码等功能，适用于艺术创作、媒体娱乐、广告营销等多个领域，凭借其强大的多模态预训练和微调技术，成为多模态AI领域的前沿探索。
AI项目与工具 2025年06月12日
混元图像2.0

混元图像2.0

混元图像2.0是腾讯开发的AI图像生成工具，支持文本、语音、草图等多种输入方式，具备实时生成能力。其采用单双流DiT架构和多模态大语言模型，生成图像写实性强、细节丰富，且响应速度快，适用于创意设计、广告营销、教育、游戏等多个领域。用户可通过网页端直接操作，实现高效的图像创作体验。
AI项目与工具 2025年06月11日