跨模态
  1. 首页
  2. 跨模态

列表

Lipsync

Lipsync

Lipsync-2 是 Sync Labs 推出的全球首个零样本嘴型同步模型，无需预训练即可快速生成符合说话者风格的嘴型动作。支持多语言、个性化表达和温度参数调节，具备高精度、高真实感和高效处理能力，广泛应用于视频翻译、动画制作、多语言教育及 AI 内容生成等领域。
AI项目与工具 2025年06月12日
Motion Anything

Motion Anything

Motion Anything 是一款由多所高校与企业联合研发的多模态运动生成框架，可基于文本、音乐或两者结合生成高质量人类运动。其核心在于基于注意力的掩码建模和跨模态对齐技术，实现对运动序列的精细控制与动态优先级调整。该工具支持影视动画、VR/AR、游戏开发、人机交互及教育等多个应用场景，并配套提供 Text-Music-Dance (TMD) 数据集，推动多模态运动生成技术的发展。
AI项目与工具 2025年06月12日
k1.5

k1.5

k1.5 是月之暗面推出的多模态思考模型，具备强大的数学、代码、视觉推理能力。在 short-CoT 模式下，性能超越主流模型 550%，在 long-CoT 模式下达到 OpenAI o1 水平。支持文本与图像的联合处理，适用于复杂推理、跨模态分析、教育、科研等领域。通过长上下文扩展和策略优化，提升推理效率与准确性。
AI项目与工具 2025年06月12日
CoGenAV

CoGenAV

CoGenAV是一种先进的多模态学习模型，专注于音频和视觉信号的对齐与融合。通过对比特征对齐和生成文本预测的双重目标进行训练，利用同步音频、视频和文本数据，学习捕捉时间对应关系和语义信息。CoGenAV具备音频视觉语音识别、视觉语音识别、噪声环境下的语音处理、语音重建与增强、主动说话人检测等功能，适用于智能助手、视频内容分析、工业应用和医疗健康等多个场景。
AI项目与工具 2025年06月11日
NVLM

NVLM

NVLM是NVIDIA研发的多模态大型语言模型，涵盖图像理解、语言理解、跨模态融合、图像描述生成、视觉推理及多模态翻译等功能。它具备多种架构（NVLM-D、NVLM-X、NVLM-H），并采用动态高分辨率输入、1-D平铺标签设计及多模态预训练与微调技术，广泛应用于图像描述、视觉问答、文档理解、多模态搜索及辅助驾驶等领域。
AI项目与工具 2025年06月12日
Ola

Ola

Ola是一款由多机构联合开发的全模态语言模型，支持文本、图像、视频和音频等多种输入形式。通过渐进式模态对齐策略，逐步扩展模型的多模态理解能力，同时采用流式解码技术提升交互体验。其架构融合多种编码器与解码器，结合局部-全局注意力机制，实现高效多模态处理，在多项任务中表现优异。
AI项目与工具 2025年06月12日
Phantom

Phantom

Phantom是由字节跳动研发的视频生成框架，支持从参考图像中提取主体并生成符合文本描述的视频内容。它采用跨模态对齐技术，结合文本和图像提示，实现高质量、主体一致的视频生成。支持多主体交互、身份保留等功能，适用于虚拟试穿、数字人生成、广告制作等多种场景。模型基于文本-图像-视频三元组数据训练，具备强大的跨模态理解和生成能力。
AI项目与工具 2025年06月12日
StoryDiffusion

StoryDiffusion

StoryDiffusion 是一种基于 AI 的图像和视频生成框架，通过 Consistent Self-Attention 和 Semantic Motion Predictor 技术，实现从文本到连贯图像和视频的转化，支持用户高效生成高质量视觉内容，广泛应用于动漫、教育、广告及影视等领域。
AI项目与工具 2025年06月12日
LongVU

LongVU

LongVU是一款由Meta AI团队研发的长视频理解工具，其核心在于时空自适应压缩机制，可有效减少视频标记数量并保留关键视觉细节。该工具通过跨模态查询与帧间依赖性分析，实现了对冗余帧的剔除及帧特征的选择性降低，并基于时间依赖性进一步压缩空间标记。LongVU支持高效处理长视频，适用于视频内容分析、搜索索引、生成描述等多种应用场景。
AI项目与工具 2025年06月12日
ERA

ERA

ERA-42是一款由北京星动纪元开发的端到端原生机器人大模型，结合五指灵巧手星动XHAND1，可执行超过100种复杂灵巧操作任务。ERA-42无需预编程，具有快速学习能力，能在短时间内掌握新技能。该模型融合多模态信息，具备强大的跨模态能力和泛化能力，适用于工业自动化、医疗辅助、家庭服务、灾难救援和物流配送等多种场景。
AI项目与工具 2025年06月12日