多模态
  1. 首页
  2. 多模态

列表

MMRole

MMRole

MMRole是一个由中国人民大学高瓴人工智能学院研究团队开发的多模态角色扮演智能体（MRPA）框架。该框架通过整合图像和文本，使智能体能够以特定角色进行更为自然和沉浸式的对话。MMRole框架包括一个大规模、高质量的多模态数据集和一个全面的评估方法，用于开发和评估MRPAs的性能。该框架为创建能够理解和生成与图像相关对话内容的智能体提供了新的可能，并扩展了其在教育、娱乐、客户服务、社交模拟和内容创
AI项目与工具 2025年06月12日
OpenAI o1模型

OpenAI o1模型

OpenAI的最新推理系列AI大模型“Strawberry”，包括“o1-preview”和成本较低的“o1 mini”版本。该模型通过强化学习训练，具备复杂的推理能力和多模态理解能力。它采用了“思维链”机制，增强推理透明度，具备自我纠错功能。在国际数学奥林匹克等基准测试中表现出色，展现出强大的性能。设计时考虑了安全性、可靠性和成本效率。 ---
AI项目与工具 2025年06月12日
ImageBind

ImageBind

ImageBind是由Meta公司开发的开源多模态AI模型，能够整合文本、音频、视觉、温度和运动数据等多种模态的信息，并将其统一到一个嵌入空间中。该模型通过图像模态实现其他模态数据的隐式对齐，支持跨模态检索和零样本学习。它在增强现实（AR）、虚拟现实（VR）、内容推荐系统、自动标注和元数据生成等领域有广泛应用。
AI项目与工具 2025年06月12日
SleepFM

SleepFM

SleepFM是一款由斯坦福大学开发的开源多模态睡眠分析模型，利用脑电图（EEG）、心电图（ECG）和呼吸信号等数据，实现睡眠阶段分类、睡眠呼吸障碍检测及人口统计属性预测等功能。它通过对比学习技术和自监督预训练方法提升分析精度，并支持临床诊断、药物开发、健康管理等多个应用场景，为睡眠医学研究提供重要工具。
AI项目与工具 2025年06月12日
书生·筑梦2.0（Vchitect 2.0）

书生·筑梦2.0（Vchitect 2.0）

书生·筑梦2.0是一款由上海人工智能实验室开发的开源视频生成大模型，支持文本到视频和图像到视频的转换，生成高质量的2K分辨率视频内容。它具备灵活的宽高比选择、强大的超分辨率处理能力以及创新的视频评测框架，适用于广告、教育、影视等多个领域。
AI项目与工具 2025年06月12日
M2UGen

M2UGen

M2UGen是由腾讯PCG ARC实验室与新加坡国立大学共同研发的一款多模态音乐理解和生成框架，支持从文本、图像、视频等多种模态输入生成相应音乐。它具有强大的音乐理解能力、灵活的音乐编辑功能以及多样化的应用场景，适用于音乐制作、影视配乐、音乐教育等多个领域。凭借其创新的技术架构和卓越的表现力，M2UGen已成为当前最优秀的多模态音乐生成工具之一。
AI项目与工具 2025年06月12日
BeaGo

BeaGo

BeaGo是一款由零一万物开发的智能AI搜索助手，集文字与图像搜索于一体，具备强大的语义理解和个性化推荐功能。它能够快速生成简洁的信息摘要，提供可靠的搜索结果，并支持划词搜索和图文结合展示，广泛适用于日常生活、学术研究、工作辅助及学习辅导等多个场景。
AI项目与工具 2025年06月12日
华知大模型5.0

华知大模型5.0

华知大模型5.0是一款由同方知网与华为云联合开发的多模态人工智能平台，支持文本、图像等多种数据类型的处理与生成。其核心功能包括AIGC检测、学术搜问、图表解读、论文选题、文献理解以及知识推荐等，广泛应用于科技创新、学术研究、科学决策及数据分析等领域，致力于提升工作效率并促进智能化发展。
AI项目与工具 2025年06月12日
Reel.AI

Reel.AI

Reel.AI是一款利用AI技术生成短视频内容的应用程序，支持文本、图片等多种输入形式，生成高质量的短剧和视频内容。其核心功能包括文本到视频转换、多模态内容生成、情感共鸣驱动的短剧创作及交互式体验设计。Reel.AI基于自主研发的Reel Diffusion模型，广泛应用于娱乐消费、内容创作、广告营销及教育等领域。
AI项目与工具 2025年06月12日
Emu3

Emu3

Emu3是一款由北京智源人工智能研究院开发的原生多模态世界模型，结合了多模态自回归技术和单一Transformer架构，能够在图像、视频和文本之间实现无缝转换。它不仅能够根据文本生成高质量图像，还能预测视频发展并理解图文内容，广泛应用于内容创作、广告营销、教育、娱乐等多个领域。
AI项目与工具 2025年06月12日