多模态学习

1. 首页
2. 多模态学习

AutoGLM

AutoGLM-Web是一款基于大型语言模型开发的AI浏览器助手，具备网页浏览、信息检索、内容总结及邮件自动回复等功能。它通过自进化在线课程强化学习框架不断优化性能，支持多场景应用，适用于办公自动化、学术研究、电商运营及客户服务等领域。

AI项目与工具 2025年06月12日 74 点赞 0 评论 315 浏览

FakeShield

FakeShield是一款由北京大学研发的多模态大型语言模型框架，主要用于检测和定位图像篡改。它通过结合视觉与文本信息，生成篡改区域掩码并提供详细的判断依据。其核心模块包括领域标签引导的检测模块和多模态定位模块，支持多种篡改技术的分析，具有较高的准确性与可解释性。FakeShield广泛应用于社交媒体内容审核、法律取证、新闻媒体真实性验证以及版权保护等领域。

AI项目与工具 2025年06月12日 41 点赞 0 评论 334 浏览

EMMA

EMMA是一款基于Gemini模型的端到端自动驾驶多模态模型，可直接从原始相机传感器数据生成驾驶轨迹并执行多种任务，如3D对象检测、道路图元素识别及场景理解。该模型利用自然语言处理技术实现跨任务协作，并展现出强大的泛化能力，但在某些方面仍需改进。

AI项目与工具 2025年06月12日 38 点赞 0 评论 245 浏览

VideoTuna

VideoTuna是一款基于AI的开源视频生成工具，支持文本到视频、图像到视频以及文本到图像的转换。它提供预训练、微调和后训练对齐等功能，兼容U-Net和DiT架构，并计划引入3D视频生成能力。VideoTuna旨在简化视频内容创作流程，提升生成质量与可控性，适用于内容创作、电影制作、广告营销、教育培训等多个领域。

AI项目与工具 2025年06月12日 30 点赞 0 评论 254 浏览

Learn About

Learn About是一款由谷歌开发的对话式AI学习助手，基于Gemini模型，通过问答形式为用户提供简明答案并引导深入学习。它具备知识点梳理、参考资料推荐、内容大纲生成等功能，覆盖多学科领域，支持多模态学习资源，旨在提升用户的理解深度和学习效率。适合学术研究、备考复习、技能学习、家庭教育及终身学习等多种应用场景。

AI项目与工具 2025年06月12日 31 点赞 0 评论 430 浏览

VQAScore

VQAScore是一种基于视觉问答（VQA）模型的评估工具，用于衡量文本提示生成图像的质量。它通过计算回答“是”概率的方式评估图像与文本提示的对齐程度，无需额外标注，提供更精确的结果。VQAScore支持多种生成任务，包括图像、视频及3D模型，并能作为多模态学习的研究工具，在自动化测试和质量控制中发挥重要作用。

AI项目与工具 2025年06月12日 86 点赞 0 评论 454 浏览

Vidu 1.5

Vidu 1.5是一款基于多模态视频大模型的AI生成工具，支持参考生视频、图生视频和文生视频生成，通过精准的语义理解能力，在30秒内完成高质量视频创作，适用于影视、动漫、广告等多行业场景，助力创作者高效产出多样化内容。

AI项目与工具 2025年06月12日 80 点赞 0 评论 242 浏览

EyeDiff

EyeDiff是一款基于扩散模型的文本到图像生成工具，专为多模态眼科图像生成设计。通过自然语言提示，EyeDiff能够捕捉常见及罕见眼病的关键特征，显著提升诊断准确性。该工具采用CLIP文本编码器与交叉注意力机制，结合潜在扩散模型（LDM），生成高质量、与文本高度一致的图像，适用于数据增强、疾病筛查、数据共享及医学教育等场景。

AI项目与工具 2025年06月12日 89 点赞 0 评论 288 浏览

Optimus

Optimus-1是一款由哈尔滨工业大学（深圳）和鹏城实验室联合开发的智能体框架，专为开放世界环境中的长期任务设计。它结合结构化知识与多模态经验，通过混合多模态记忆模块（HDKG与AMEP）提升任务规划与执行能力。主要功能包括知识引导规划、经验驱动反思、行动控制及自我进化，已在游戏、虚拟助理、工业自动化等领域得到验证。

AI项目与工具 2025年06月12日 98 点赞 0 评论 461 浏览

MMAudio

MMAudio是一款基于多模态联合训练的音频合成工具，通过深度学习技术实现视频到音频、文本到音频的精准转换。它具备强大的同步模块，确保生成的音频与视频帧或文本描述时间轴完全对应，适用于影视制作、游戏开发、虚拟现实等多种场景，极大提升了跨模态数据处理的能力和应用效率。

AI项目与工具 2025年06月12日 68 点赞 0 评论 274 浏览