跨模态
  1. 首页
  2. 跨模态

列表

OmniSearch

OmniSearch

OmniSearch是一款由阿里巴巴通义实验室开发的多模态检索增强生成框架，具备自适应规划能力。它能够动态解析复杂问题，根据检索结果和问题情境调整检索策略，模拟人类解决复杂问题的行为，提升检索效率和准确性。OmniSearch支持多模态信息处理，包括文本、图像等，并通过递归检索与推理流程逐步接近问题解答，显著提高多模态检索的灵活性和效果。
AI项目与工具 2025年06月12日
Ichigo

Ichigo

Ichigo是一款开源的多模态AI语音助手，采用混合模态模型，支持实时处理语音和文本交织序列。它通过统一的Transformer架构实现跨模态联合推理，提供低延迟的实时性能，并支持多语言、多轮对话及模糊输入处理。Ichigo适用于智能家居、个人助理、客户服务、教育和健康咨询等多种应用场景，展现了高效、灵活的技术优势。
AI项目与工具 2025年06月12日
VQAScore

VQAScore

VQAScore是一种基于视觉问答（VQA）模型的评估工具，用于衡量文本提示生成图像的质量。它通过计算回答“是”概率的方式评估图像与文本提示的对齐程度，无需额外标注，提供更精确的结果。VQAScore支持多种生成任务，包括图像、视频及3D模型，并能作为多模态学习的研究工具，在自动化测试和质量控制中发挥重要作用。
AI项目与工具 2025年06月12日
PromptFix

PromptFix

PromptFix是一款基于扩散模型的开源AI图像修复工具，支持多种图像处理任务，如上色、物体移除、去雾、去模糊等。它通过20步去噪过程精确修复图像缺陷，同时保持图像结构完整性和泛化能力。PromptFix具备高频细节保护、辅助提示适配器、零样本学习能力和大规模数据集构建等特点，适用于个人照片编辑、专业摄影、数字艺术创作、媒体广告及电影制作等多个领域。
AI项目与工具 2025年06月12日
LongVU

LongVU

LongVU是一款由Meta AI团队研发的长视频理解工具，其核心在于时空自适应压缩机制，可有效减少视频标记数量并保留关键视觉细节。该工具通过跨模态查询与帧间依赖性分析，实现了对冗余帧的剔除及帧特征的选择性降低，并基于时间依赖性进一步压缩空间标记。LongVU支持高效处理长视频，适用于视频内容分析、搜索索引、生成描述等多种应用场景。
AI项目与工具 2025年06月12日
Janus

Janus

Janus是一种由DeepSeek AI开发的自回归框架，专注于多模态理解和生成任务的统一化。它通过分离视觉编码路径并使用单一Transformer架构来提升灵活性和性能，支持多种输入模态如图像、文本等，并在某些任务中表现出色。Janus具备多模态理解、图像生成及跨模态交互能力，适用于图像创作、自动标注、视觉问答等多个领域。
AI项目与工具 2025年06月12日
Spirit LM

Spirit LM

Spirit LM 是一种由 Meta AI 开发的多模态语言模型，能够处理文本和语音数据，支持跨模态学习。其基础版（BASE）和表达版（EXPRESSIVE）分别侧重于语义理解和情感表达。Spirit LM 可用于自动语音识别（ASR）、文本到语音（TTS）、语音分类及情感分析等任务，在语音助手、语音转写、有声读物等领域具有广泛应用前景。
AI项目与工具 2025年06月12日
T2V

T2V

T2V-Turbo 是一种高效的文本到视频生成模型，能够快速生成高质量视频，同时确保文本与视频的高度一致性。它通过一致性蒸馏技术和混合奖励机制优化生成过程，适用于电影制作、新闻报道、教育及营销等多个领域，支持从创意草图到成品视频的全流程加速。
AI项目与工具 2025年06月12日
StoryDiffusion

StoryDiffusion

StoryDiffusion 是一种基于 AI 的图像和视频生成框架，通过 Consistent Self-Attention 和 Semantic Motion Predictor 技术，实现从文本到连贯图像和视频的转化，支持用户高效生成高质量视觉内容，广泛应用于动漫、教育、广告及影视等领域。
AI项目与工具 2025年06月12日
ImageBind

ImageBind

ImageBind是由Meta公司开发的开源多模态AI模型，能够整合文本、音频、视觉、温度和运动数据等多种模态的信息，并将其统一到一个嵌入空间中。该模型通过图像模态实现其他模态数据的隐式对齐，支持跨模态检索和零样本学习。它在增强现实（AR）、虚拟现实（VR）、内容推荐系统、自动标注和元数据生成等领域有广泛应用。
AI项目与工具 2025年06月12日