多模态

1. 首页
2. 多模态

OmniCam

OmniCam 是一种基于多模态输入的高级视频生成框架，结合大型语言模型与视频扩散模型，实现高质量、时空一致的视频内容生成。支持文本、视频或图像作为输入，精确控制摄像机运动轨迹，具备帧级操作、复合运动、速度调节等功能。采用三阶段训练策略提升生成效果，并引入 OmniTr 数据集增强模型性能。适用于影视、广告、教育及安防等多个领域，提高视频创作效率与质量。

AI项目与工具 2025年06月12日 18 点赞 0 评论 836 浏览

TaoAvatar

TaoAvatar是阿里巴巴推出的高保真、轻量级3D全身虚拟人技术，基于3D高斯溅射（3DGS）实现照片级真实感的虚拟形象生成。支持多模态驱动，具备高帧率实时渲染能力，适用于AR、移动设备及高清显示平台。其轻量级架构结合深度学习优化，提升了运行效率与交互自然度，广泛应用于电商直播、全息通信、虚拟会议、在线教育及娱乐等领域。

AI项目与工具 2025年06月12日 29 点赞 0 评论 836 浏览

Migician

Migician是一款由多所高校联合开发的多模态大语言模型，专为多图像定位任务设计。它基于大规模数据集MGrounding-630k，采用端到端架构和两阶段训练方法，支持跨图像精准定位与多任务处理。Migician适用于自动驾驶、安防监控、医疗影像等多个领域，具有高效的推理能力和灵活的输入方式。

AI项目与工具 2025年06月12日 90 点赞 0 评论 837 浏览

SignGemma

SignGemma是由谷歌DeepMind团队开发的全球最强大的手语翻译AI模型，专注于将美国手语（ASL）实时翻译成英语文本。通过多模态训练方法，结合视觉和文本数据，实现高准确率和低延迟的翻译，响应时间低于0.5秒。支持端侧部署，保护用户隐私，适用于教育、医疗和公共服务等场景。

AI项目与工具 2025年06月11日 24 点赞 0 评论 837 浏览

PaliGemma 2

PaliGemma 2是一款由Google DeepMind研发的视觉语言模型（VLM），结合了SigLIP-So400m视觉编码器与Gemma 2语言模型，支持多种分辨率的图像处理。该模型具备强大的知识迁移能力和出色的学术任务表现，在OCR、音乐乐谱识别以及医学图像报告生成等方面实现了技术突破。它能够处理多模态任务，包括图像字幕生成、视觉推理等，并支持量化和CPU推理以提高计算效率。

AI项目与工具 2025年06月12日 10 点赞 0 评论 839 浏览

YuE

YuE 是一款由香港科技大学与 Multimodal Art Projection 联合开发的开源 AI 音乐生成模型，支持多语言和多种音乐风格，如流行、金属、爵士、嘻哈等。通过语义增强音频分词器、双分词技术和三阶段训练方案，解决长上下文处理与音乐生成难题，生成结构连贯、旋律优美的歌曲。模型完全开源，用户可自由使用和定制，适用于音乐创作、影视配乐、游戏音效及社交媒体内容制作等多个场景。

AI项目与工具 2025年06月12日 23 点赞 0 评论 839 浏览

觅果Migo

一款AI学习办公助手。为用户提供便捷、高效的文字处理、信息搜索、知识问答等支持，还能辅助论文阅读、润色学术写作，支持多模态交互。

AI写作对话 2025年06月05日 85 点赞 0 评论 839 浏览

Mogao

Mogao是由字节跳动开发的多模态生成基础模型，结合双视觉编码器和先进位置嵌入技术，实现高质量的图像与文本生成。支持零样本图像编辑、多模态理解与生成、高分辨率图像输出以及优化的中文文本渲染。适用于内容创作、智能交互、医疗影像分析等多个领域，具备强大的跨模态处理能力和生成稳定性。

AI项目与工具 2025年06月11日 97 点赞 0 评论 839 浏览

华为盘古AI大模型

华为的盘古ai大模型是华为云推出的一项人工智能技术。该大模型包含了多个领域的大型模型，包括自然语言处理（NLP）大模型、计算机视觉（CV）大模型、多模态大模型、预测大模型和科学计算大模型。

Ai平台模型 2025年06月05日 26 点赞 0 评论 841 浏览

SOLAMI

SOLAMI是一款基于VR环境的3D角色扮演AI系统，支持用户通过语音和肢体语言与虚拟角色进行沉浸式互动。系统采用社交视觉-语言-行为模型（Social VLA），可识别用户的多模态输入并生成相应响应，涵盖多种角色类型及互动场景，如游戏、舞蹈等。其核心技术涉及多任务预训练和指令微调，适用于虚拟社交、教育、心理治疗及娱乐等多个领域。

AI项目与工具 2025年06月12日 66 点赞 0 评论 841 浏览