多模态
  1. 首页
  2. 多模态

列表

Pangea

Pangea

Pangea是一款由卡内基梅隆大学团队开发的多语言多模态大型语言模型，支持39种语言，具备多模态理解和跨文化覆盖能力。其主要功能包括多语言文本生成与理解、图像描述、视觉问答等，同时通过高质量指令和文化相关任务优化性能。Pangea基于丰富的数据集和先进的模型架构，适用于多语言客户服务、教育、跨文化交流等多个领域。
AI项目与工具 2025年06月12日
EMO2

EMO2

EMO2是一种由阿里巴巴智能计算研究院开发的音频驱动头像视频生成技术，通过音频输入和静态人像照片生成高质量、富有表现力的动态视频。其核心技术包括音频与手部动作的协同建模、扩散模型生成视频帧，以及高精度音频同步。该工具支持多样化动作生成，适用于虚拟现实、动画制作和跨语言内容创作等场景，具备自然流畅的视觉效果和丰富的应用场景。
AI项目与工具 2025年06月12日
Florence

Florence

Florence-2是微软Azure AI团队研发的多功能视觉模型，支持图像描述、目标检测、视觉定位和图像分割等功能。该模型基于Transformer架构，采用序列到序列学习方法，利用自注意力机制实现多模态信息融合。通过训练大规模数据集，Florence-2在多个应用场景中表现出色，包括图像和视频分析、内容审核、辅助驾驶、医疗影像分析以及零售和库存管理。
AI项目与工具 2025年06月12日
EmoLLM

EmoLLM

EmoLLM 是一款基于多模态技术的心理健康支持工具，能通过文本、图像和视频分析用户情绪，提供情绪识别、心理辅导和情感支持。其核心包括多视角视觉投影、情感引导提示和指令微调技术，支持个性化辅导、角色扮演及多轮对话，适用于心理健康评估与干预场景。
AI项目与工具 2025年06月12日
UniTok

UniTok

UniTok是由字节跳动联合高校研发的统一视觉分词器，支持视觉生成与理解任务。其采用多码本量化技术，将视觉特征分割并独立量化，显著提升离散token的表示能力。在ImageNet上实现78.6%的零样本分类准确率，图像重建质量达0.38。可作为多模态大语言模型的视觉输入模块，广泛应用于图像生成、视觉问答、内容创作及跨模态检索等场景。
AI项目与工具 2025年06月11日
MILS

MILS

MILS是由Meta AI开发的一种无需额外训练即可为大型语言模型（LLM）提供多模态能力的框架。它通过多步推理、评分反馈和迭代优化，实现图像、视频、音频等多模态内容的生成与理解。MILS支持零样本描述生成、风格迁移、跨模态推理等任务，适用于内容生成、多模态检索、视觉问答等多个场景，具备高效、灵活和无需训练的优势。
AI项目与工具 2025年06月12日
FLUX.1 Kontext

FLUX.1 Kontext

FLUX.1 Kontext是由Black Forest Labs推出的图像生成与编辑模型，支持上下文感知的图像处理。它基于文本和图像提示进行生成与编辑，具备对象修改、风格转换、背景替换、角色一致性保持和文本编辑等功能。FLUX.1 Kontext Pro版本支持快速迭代编辑，Kontext Max版本在提示词遵循和排版生成方面表现优异，而dev开源版本适合定制化开发。
AI项目与工具 2025年06月11日
飞书知识问答

飞书知识问答

飞书知识问答是一款基于AI技术的企业级知识管理工具，支持多数据源接入与实时搜索，提供结构化答案生成、智能问答、标准问答库管理等功能。支持多模态回答，兼容多种AI模型，适用于知识管理、智能客服、团队协作等场景，提升信息处理效率与准确性。
AI项目与工具 2025年06月12日
VideoLLaMA3

VideoLLaMA3

VideoLLaMA3 是阿里巴巴开发的多模态基础模型，支持视频与图像的深度理解和分析。基于 Qwen 2.5 架构，结合先进视觉编码器与语言生成能力，具备高效时空建模与多语言处理能力。适用于视频内容分析、视觉问答、字幕生成等场景，提供多种参数版本，支持灵活部署。
AI项目与工具 2025年06月12日
XMusic

XMusic

XMusic是腾讯多媒体实验室开发的AI作曲框架，支持多模态输入（如图片、文字、视频等）生成情绪、风格、节奏可控的高质量音乐。其核心技术包括多模态解析、符号音乐表示与生成优化，具备商用级音乐生成能力。适用于视频配乐、互动娱乐、音乐教育、辅助创作及音乐治疗等多个场景，有效降低音乐创作门槛，提升创作效率与个性化体验。
AI项目与工具 2025年06月12日