多模态

混元图生视频

混元图生视频是腾讯混元推出的开源图生视频模型,支持用户上传图片并输入描述生成5秒短视频,具备对口型、动作驱动和背景音效自动生成等功能。模型适用于多种风格与场景,参数量达130亿,已在腾讯云上线并开源,支持本地部署与定制开发,适用于创意视频、特效制作及动画开发等多个领域。

OpenBioMed

OpenBioMed是由清华大学智能产业研究院与水木分子联合开发的开源平台,专注于AI在生物医学中的应用。它支持多模态数据处理,涵盖分子、蛋白质、单细胞等多种类型,并提供20多个深度学习模型和计算工具,适用于药物研发、精准医疗、知识图谱构建等领域。平台具备统一的数据处理框架和预训练模型,支持快速迁移和智能体设计,助力科研人员提升研究效率。

FakeShield

FakeShield是一款由北京大学研发的多模态大型语言模型框架,主要用于检测和定位图像篡改。它通过结合视觉与文本信息,生成篡改区域掩码并提供详细的判断依据。其核心模块包括领域标签引导的检测模块和多模态定位模块,支持多种篡改技术的分析,具有较高的准确性与可解释性。FakeShield广泛应用于社交媒体内容审核、法律取证、新闻媒体真实性验证以及版权保护等领域。

KeySync

KeySync是一种高分辨率口型同步工具,由帝国理工学院和弗罗茨瓦夫大学联合开发。其采用两阶段生成框架,结合掩码策略和视频分割模型,实现音频与唇部动作的精准对齐。支持高清视频生成,具备遮挡处理、减少表情泄露等功能,在视觉质量、时间连贯性和同步精度上优于现有方法,适用于自动配音、虚拟形象、视频会议等多场景应用。

UNI

UNI-CourseHelper是一款基于AI技术的学习辅助工具,支持多模态问答、长文解析、思维链推理等功能,覆盖多个学科领域。通过Markdown格式展示答案,支持图片和文档提问,适用于学生、教师及研究人员,提升学习效率与理解深度。

Kanana

Kanana是一款由Kakao推出的生成式AI助手,具备强大的上下文理解和记忆能力。其核心功能包括群聊助手(Kana)和私人伴侣(Nana),前者专注于处理团队协作中的具体任务,后者则用于管理个人及集体事务。此外,该工具还支持多模态输入输出方式,可应用于商务、教育、社交等多个领域,并计划扩展至车载场景以提升用户体验。

Movie Gen

Movie Gen是Meta开发的一款AI视频生成与编辑工具,支持根据文本提示生成高清视频并提供同步音频配制。该工具具备强大的视频生成能力,可创建长达16秒的高清视频,并支持照片定制化视频生成和精准编辑功能。此外,它还拥有先进的音频生成技术,能够生成高质量的环境音效和背景音乐。当前,Movie Gen主要服务于Meta内部团队及部分合作伙伴,未来有望推广至更广泛的用户群体。 ---

ENEL

ENEL是一种无编码器架构的3D大型多模态模型,通过直接处理点云数据并结合LLM实现高效语义编码与几何结构理解。其核心技术包括LLM嵌入的语义编码和分层几何聚合策略,在3D对象分类、字幕生成和视觉问答等任务中表现出色,性能接近更大规模模型。该模型适用于工业自动化、虚拟现实及复杂3D结构分析等领域。

灵语文档

灵语文档(MindLink)是一款AI驱动的云文档编辑平台,为企业提供一站式文档编辑和共享服务。平台支持思维导图、原型白板、可视化图表等多种文档组件,具备版本历史管理、智能创作、全平台访问、权限控制和AI智能助手等功能。基于AI与多模态能力,灵语文档提升团队协作效率,打破部门壁垒,增强信息共享,确保文档安全,助力企业高效管理知识资产,赋能数字化转型。

NeMo

NeMo 是一款基于 NVIDIA 技术的端到端云原生框架,专为生成式 AI 模型的设计与部署而打造。它具备模块化架构、多模态支持、优化算法及分布式训练能力,可应用于语音识别、自然语言处理、文本到语音转换、对话式 AI 等多个领域,同时支持预训练模型微调和端到端开发流程,为企业提供高效灵活的解决方案。