跨模态
  1. 首页
  2. 跨模态

列表

ParGo

ParGo

ParGo是一种由字节与中山大学联合开发的多模态大语言模型连接器，通过结合局部与全局token，提升视觉与语言模态的对齐效果。其核心模块PGP和CPP分别提取图像的局部和全局信息，增强细节感知能力。在多个基准测试中表现优异，尤其在文字识别和图像描述任务中优势明显。采用自监督学习策略，提高模型泛化能力，适用于视觉问答、图像字幕生成、跨模态检索等多种场景。
AI项目与工具 2025年06月12日
Skywork R1V

Skywork R1V

Skywork R1V是昆仑万维推出的首个工业级多模态思维链推理模型，具备强大的视觉链式推理能力，可处理数学问题、科学现象分析、医学影像诊断等复杂任务。其技术基于文本推理能力的多模态迁移与混合式训练方法，在多项基准测试中表现优异。模型开源，适用于教育、医疗、科研、内容审核等多个领域，推动多模态人工智能的发展。
AI项目与工具 2025年06月12日
Mini

Mini

Mini-Omni 是一个开源的端到端语音对话模型，具备实时语音输入和输出的能力，能在对话中实现“边思考边说话”的功能。模型设计无需额外的自动语音识别（ASR）或文本到语音（TTS）系统，直接进行语音到语音的对话。Mini-Omni 采用文本指导的语音生成方法，通过批量并行策略提高性能，同时保持了原始模型的语言能力。它支持实时语音交互、文本和语音并行生成、跨模态理解等功能，适用于智能助手、客户服务
AI项目与工具 2025年06月12日
SmoothCache

SmoothCache

SmoothCache是一种针对Diffusion Transformers（DiT）模型的推理加速技术，通过分析层输出的相似性实现自适应缓存和特征重用，有效减少计算成本并提升生成效率。该技术具有模型无关性、跨模态适用性和易于集成的特点，支持图像、视频、音频及3D模型生成，并在多种应用场景中展现出卓越的性能表现。
AI项目与工具 2025年06月12日
HumanOmni

HumanOmni

HumanOmni 是一款面向人类中心场景的多模态大模型，融合视觉与听觉信息，具备情感识别、面部描述、语音理解等功能。基于大量视频与指令数据训练，采用动态权重调整机制，支持多模态交互与场景理解。适用于影视分析、教育、广告及内容创作等领域，具备良好的可扩展性和灵活性。
AI项目与工具 2025年06月12日
TITAN

TITAN

TITAN是一款由哈佛医学院研究团队开发的多模态全切片病理基础模型，通过视觉自监督学习和视觉-语言对齐预训练，能够在无需微调或临床标签的情况下提取通用切片表示并生成病理报告。它在多种临床任务中表现出色，包括线性探测、少样本和零样本分类、罕见癌症检索、跨模态检索和病理报告生成，尤其适用于资源有限的临床场景。
AI项目与工具 2025年06月12日
OmniSearch

OmniSearch

OmniSearch是一款由阿里巴巴通义实验室开发的多模态检索增强生成框架，具备自适应规划能力。它能够动态解析复杂问题，根据检索结果和问题情境调整检索策略，模拟人类解决复杂问题的行为，提升检索效率和准确性。OmniSearch支持多模态信息处理，包括文本、图像等，并通过递归检索与推理流程逐步接近问题解答，显著提高多模态检索的灵活性和效果。
AI项目与工具 2025年06月12日
Spirit LM

Spirit LM

Spirit LM 是一种由 Meta AI 开发的多模态语言模型，能够处理文本和语音数据，支持跨模态学习。其基础版（BASE）和表达版（EXPRESSIVE）分别侧重于语义理解和情感表达。Spirit LM 可用于自动语音识别（ASR）、文本到语音（TTS）、语音分类及情感分析等任务，在语音助手、语音转写、有声读物等领域具有广泛应用前景。
AI项目与工具 2025年06月12日
UNO

UNO

UNO是字节跳动推出的AI图像生成框架，支持单主体和多主体图像生成，解决多主体一致性难题。采用扩散变换器和渐进式跨模态对齐技术，结合通用旋转位置嵌入（UnoPE），实现高一致性与可控性。适用于虚拟试穿、产品设计、创意设计等多个领域，具备强大泛化能力，已开源并提供完整技术文档。
AI项目与工具 2025年06月11日
VQAScore

VQAScore

VQAScore是一种基于视觉问答（VQA）模型的评估工具，用于衡量文本提示生成图像的质量。它通过计算回答“是”概率的方式评估图像与文本提示的对齐程度，无需额外标注，提供更精确的结果。VQAScore支持多种生成任务，包括图像、视频及3D模型，并能作为多模态学习的研究工具，在自动化测试和质量控制中发挥重要作用。
AI项目与工具 2025年06月12日