跨模态

1. 首页
2. 跨模态

Lipsync

Lipsync-2 是 Sync Labs 推出的全球首个零样本嘴型同步模型，无需预训练即可快速生成符合说话者风格的嘴型动作。支持多语言、个性化表达和温度参数调节，具备高精度、高真实感和高效处理能力，广泛应用于视频翻译、动画制作、多语言教育及 AI 内容生成等领域。

AI项目与工具 2025年06月12日 85 点赞 0 评论 357 浏览

VMB

VMB是一个由多机构合作研发的多模态音乐生成框架，可从文本、图像和视频等多样化输入生成音乐。它通过文本桥接和音乐桥接优化跨模态对齐与可控性，显著提高了音乐生成的质量和定制化程度。VMB具有增强模态对齐、提升可控性、显式条件生成等特点，适用于电影、游戏、虚拟现实等多个领域。

AI项目与工具 2025年06月12日 84 点赞 0 评论 364 浏览

百度智能漫画

百度文库推出的一项AI漫画生成功能，它利用人工智能技术，让用户能够轻松创作漫画。用户只需输入一句话，即可在几分钟内生成完整的漫画故事分镜和脚本。

Ai绘画生成 2025年06月05日 66 点赞 0 评论 375 浏览

StoryDiffusion

StoryDiffusion 是一种基于 AI 的图像和视频生成框架，通过 Consistent Self-Attention 和 Semantic Motion Predictor 技术，实现从文本到连贯图像和视频的转化，支持用户高效生成高质量视觉内容，广泛应用于动漫、教育、广告及影视等领域。

AI项目与工具 2025年06月12日 48 点赞 0 评论 376 浏览

千影 QianYing

千影 QianYing 是一款由巨人网络推出的 AI 工具，包含游戏视频生成大模型 YingGame 和视频配音大模型 YingSound。YingGame 支持角色动作交互控制与物理仿真，YingSound 具备视频语义理解和时间对齐能力，两者结合可生成高质量的有声游戏视频。该工具旨在降低游戏开发门槛，促进创作平等，并推动游戏行业的创新发展。

AI项目与工具 2025年06月12日 100 点赞 0 评论 376 浏览

Janus

Janus是一种由DeepSeek AI开发的自回归框架，专注于多模态理解和生成任务的统一化。它通过分离视觉编码路径并使用单一Transformer架构来提升灵活性和性能，支持多种输入模态如图像、文本等，并在某些任务中表现出色。Janus具备多模态理解、图像生成及跨模态交互能力，适用于图像创作、自动标注、视觉问答等多个领域。

AI项目与工具 2025年06月12日 45 点赞 0 评论 385 浏览

MMaDA

MMaDA（Multimodal Large Diffusion Language Models）是由普林斯顿大学、清华大学、北京大学和字节跳动联合开发的多模态扩散模型，支持跨文本推理、多模态理解和文本到图像生成等多种功能。其采用统一的扩散架构和模态不可知设计，结合混合长链推理微调策略与UniGRPO强化学习算法，提升跨模态任务性能。MMaDA在多项任务中表现优异，适用于内容创作、教育辅助、智能客

AI项目与工具 2025年06月11日 80 点赞 0 评论 398 浏览

Mogao

Mogao是由字节跳动开发的多模态生成基础模型，结合双视觉编码器和先进位置嵌入技术，实现高质量的图像与文本生成。支持零样本图像编辑、多模态理解与生成、高分辨率图像输出以及优化的中文文本渲染。适用于内容创作、智能交互、医疗影像分析等多个领域，具备强大的跨模态处理能力和生成稳定性。

AI项目与工具 2025年06月11日 97 点赞 0 评论 414 浏览

万相首尾帧模型

万相首尾帧模型（Wan2.1-FLF2V-14B）是一款开源视频生成工具，基于DiT架构和交叉注意力机制，可根据用户提供的首帧和尾帧图像生成高质量、流畅的过渡视频。支持多种风格和特效，适用于创意视频制作、影视特效、广告营销等多个场景。模型具备细节复刻、动作自然、指令控制等功能，且提供GitHub和HuggingFace开源资源供用户使用。

AI项目与工具 2025年06月11日 100 点赞 0 评论 440 浏览

LatentLM

LatentLM是一款由微软与清华大学合作开发的多模态生成模型，能够统一处理文本、图像、音频等多种数据类型。它基于变分自编码器（VAE）和因果Transformer架构，支持自回归生成与跨模态信息共享，特别擅长图像生成、多模态语言模型及文本到语音合成等任务，其提出的σ-VAE进一步提升了模型的鲁棒性。

AI项目与工具 2025年06月12日 67 点赞 0 评论 455 浏览