多模态

Sa2VA

Sa2VA是由字节跳动联合多所高校开发的多模态大语言模型,结合SAM2与LLaVA技术,实现对图像和视频的密集、细粒度理解。它支持指代分割、视觉对话、视觉提示理解等多种任务,具备零样本推理能力和复杂场景下的高精度分割效果。适用于视频编辑、智能监控、机器人交互、内容创作及自动驾驶等多个领域。

文心智能体平台

百度推出的一个基于文心大模型的AI智能体(Agent)平台,文心智能体平台旨在支持广大开发者根据自身行业领域、应用场景,选取不同类型的开发方式,打造大模型时代的产品能力。

OmniAlign

OmniAlign-V是由多所高校联合开发的多模态大语言模型对齐数据集,包含约20万个多模态样本,涵盖自然图像和信息图表。其核心功能包括提供高质量训练数据、提升模型的开放式问答能力、增强推理与创造力,并支持模型持续优化。数据集通过图像筛选、任务设计及后处理优化确保数据质量,适用于多模态对话系统、图像辅助问答、创意生成等多个应用场景。

龙猫LongCat

龙猫LongCat是美团自主研发的生成式AI大模型,具备多模态处理能力,可支持文本、图像等内容生成任务。其核心功能涵盖智能编程、会议记录、文档编辑、图形设计与视频脚本生成等,适用于多种办公场景。通过大规模预训练与混合训练策略,龙猫在实际应用中展现出高效、精准的特点,有效提升工作效率与创新能力。

CogAgent

CogAgent是一款由清华大学与智谱AI联合开发的多模态视觉大模型,专注于图形用户界面(GUI)的理解与导航。它具备视觉问答、视觉定位、GUI Agent、高分辨率图像处理及多模态能力,可应用于自动化测试、智能交互、多模态人工智能应用开发、企业级AI Agent平台等多个领域。CogAgent在多个基准测试中表现出色,尤其在GUI操作数据集上显著超越现有模型。

Stable Diffusion 3.5

Stable Diffusion 3.5是一套由Stability AI开发的先进AI图像生成模型,包含多个版本以适应不同需求。它具备高定制性、高效的消费级硬件运行能力和开源许可,能够生成高质量、多样化的图像,支持多种风格和肤色表现。其核心技术基于多模态学习和优化的架构,适用于艺术创作、游戏开发、广告设计等多个领域。 ---

Emotion

Emotion-LLaMA是一款基于多模态输入的情绪识别与推理模型,结合音频、视觉和文本信息,提升情感理解的准确性与可解释性。模型采用改进版LLaMA架构,通过指令调整增强情感处理能力,并依托自建的MERR数据集进行训练与验证。在多个挑战赛中表现优异,适用于人机交互、教育、心理健康、客户服务等领域,具有广泛的应用前景。

HunyuanCustom

HunyuanCustom是腾讯混元团队开发的多模态视频生成框架,支持图像、音频、视频和文本等多种输入条件,生成高质量定制化视频。采用文本-图像融合与图像ID增强技术,提升身份一致性和视频真实性。适用于虚拟人广告、虚拟试穿、视频编辑等场景,具备音频驱动和视频驱动两种生成方式,展现强大可控性与灵活性。

MMRole

MMRole是一个由中国人民大学高瓴人工智能学院研究团队开发的多模态角色扮演智能体(MRPA)框架。该框架通过整合图像和文本,使智能体能够以特定角色进行更为自然和沉浸式的对话。MMRole框架包括一个大规模、高质量的多模态数据集和一个全面的评估方法,用于开发和评估MRPAs的性能。该框架为创建能够理解和生成与图像相关对话内容的智能体提供了新的可能,并扩展了其在教育、娱乐、客户服务、社交模拟和内容创

华知大模型5.0

华知大模型5.0是一款由同方知网与华为云联合开发的多模态人工智能平台,支持文本、图像等多种数据类型的处理与生成。其核心功能包括AIGC检测、学术搜问、图表解读、论文选题、文献理解以及知识推荐等,广泛应用于科技创新、学术研究、科学决策及数据分析等领域,致力于提升工作效率并促进智能化发展。