多模态

1. 首页
2. 多模态

FastVLM

FastVLM是一款高效的视觉语言模型，采用FastViTHD混合视觉编码器，显著提升高分辨率图像处理速度并减少token数量。其在保持高性能的同时，降低了计算成本和模型复杂度。适用于视觉问答、图文匹配、文档理解、图像描述生成等多模态任务，具备良好的实用性和扩展性。

AI项目与工具 2025年06月11日 85 点赞 0 评论 600 浏览

Gemini

Gemini是Google DeepMind推出的全新AI模型，集成了多模态推理功能，超越了以往模型的性能，适用于科学文献洞察、竞争性编程等多种应用场景。

Ai平台模型 2025年06月05日 100 点赞 0 评论 600 浏览

YuE

YuE 是一款由香港科技大学与 Multimodal Art Projection 联合开发的开源 AI 音乐生成模型，支持多语言和多种音乐风格，如流行、金属、爵士、嘻哈等。通过语义增强音频分词器、双分词技术和三阶段训练方案，解决长上下文处理与音乐生成难题，生成结构连贯、旋律优美的歌曲。模型完全开源，用户可自由使用和定制，适用于音乐创作、影视配乐、游戏音效及社交媒体内容制作等多个场景。

AI项目与工具 2025年06月12日 23 点赞 0 评论 601 浏览

讯飞智能交互机

讯飞智能交互机是一款基于AI技术的交互设备，支持多模态感知与多维表达，提供沉浸式虚拟人交互体验。用户可自定义虚拟人形象和语音，接入讯飞星火大模型以增强交互能力。广泛应用于智能客服、导览讲解、政务服务等领域，提升服务效率与用户体验。

AI项目与工具 2025年06月12日 10 点赞 0 评论 601 浏览

KeySync

KeySync是一种高分辨率口型同步工具，由帝国理工学院和弗罗茨瓦夫大学联合开发。其采用两阶段生成框架，结合掩码策略和视频分割模型，实现音频与唇部动作的精准对齐。支持高清视频生成，具备遮挡处理、减少表情泄露等功能，在视觉质量、时间连贯性和同步精度上优于现有方法，适用于自动配音、虚拟形象、视频会议等多场景应用。

AI项目与工具 2025年06月11日 32 点赞 0 评论 602 浏览

MVoT

MVoT是一种多模态推理框架，通过生成图像形式的推理痕迹，增强多模态大语言模型在复杂空间推理任务中的表现。其核心技术包括多模态推理范式、token discrepancy loss以及递归生成机制，有效提升推理准确性和可解释性。该工具适用于机器人导航、自动驾驶、智能教育、医疗影像分析及VR/AR交互等多个领域，具有广泛的应用潜力。

AI项目与工具 2025年06月12日 57 点赞 0 评论 602 浏览

PaliGemma 2

PaliGemma 2是一款由Google DeepMind研发的视觉语言模型（VLM），结合了SigLIP-So400m视觉编码器与Gemma 2语言模型，支持多种分辨率的图像处理。该模型具备强大的知识迁移能力和出色的学术任务表现，在OCR、音乐乐谱识别以及医学图像报告生成等方面实现了技术突破。它能够处理多模态任务，包括图像字幕生成、视觉推理等，并支持量化和CPU推理以提高计算效率。

AI项目与工具 2025年06月12日 10 点赞 0 评论 603 浏览

AnimeGamer

AnimeGamer是一款由腾讯PCG与香港城市大学联合开发的动漫生活模拟系统，基于多模态大语言模型（MLLM），支持玩家通过自然语言指令操控动漫角色，沉浸于动态游戏世界中。系统能生成高一致性的动态动画视频，并实时更新角色状态，如体力、社交和娱乐值。其核心技术包括多模态表示、视频扩散模型及上下文一致性机制，适用于个性化娱乐、创意激发、教育辅助及游戏开发等多种场景。

AI项目与工具 2025年06月12日 49 点赞 0 评论 603 浏览

优雅AI创作平台

中科闻歌发布的一款多模态内容智能生成平台，用户只需输入关键词或简单指令，能够自动生成文本、图片、音视频等多种形式的内容。

Ai视频生成 2025年06月05日 66 点赞 0 评论 605 浏览

CDial

CDial-GPT是一项由清华大学研发的基于大型中文对话数据集LCCC的预训练对话生成模型。该模型提供LCCC-base和LCCC-large两个版本的数据集，并具备预训练、微调、多模态学习等功能，能够生成高质量的对话回应。其应用场景涵盖客户服务、智能助手、在线教育等多个领域。

AI项目与工具 2025年06月12日 63 点赞 0 评论 605 浏览