多模态
  1. 首页
  2. 多模态

列表

UNI

UNI

UNI-CourseHelper是一款基于AI技术的学习辅助工具，支持多模态问答、长文解析、思维链推理等功能，覆盖多个学科领域。通过Markdown格式展示答案，支持图片和文档提问，适用于学生、教师及研究人员，提升学习效率与理解深度。
AI项目与工具 2025年06月12日
Movie Gen

Movie Gen

Movie Gen是Meta开发的一款AI视频生成与编辑工具，支持根据文本提示生成高清视频并提供同步音频配制。该工具具备强大的视频生成能力，可创建长达16秒的高清视频，并支持照片定制化视频生成和精准编辑功能。此外，它还拥有先进的音频生成技术，能够生成高质量的环境音效和背景音乐。当前，Movie Gen主要服务于Meta内部团队及部分合作伙伴，未来有望推广至更广泛的用户群体。 ---
AI项目与工具 2025年06月12日
KeySync

KeySync

KeySync是一种高分辨率口型同步工具，由帝国理工学院和弗罗茨瓦夫大学联合开发。其采用两阶段生成框架，结合掩码策略和视频分割模型，实现音频与唇部动作的精准对齐。支持高清视频生成，具备遮挡处理、减少表情泄露等功能，在视觉质量、时间连贯性和同步精度上优于现有方法，适用于自动配音、虚拟形象、视频会议等多场景应用。
AI项目与工具 2025年06月11日
StreamBridge

StreamBridge

StreamBridge是一款由苹果与复旦大学联合开发的端侧视频大语言模型框架，支持实时视频流的理解与交互。通过内存缓冲区和轮次衰减压缩策略，实现长上下文处理与主动响应。项目配套发布Stream-IT数据集，包含60万样本，适用于多种视频理解任务，展现出在视频交互、自动驾驶、智能监控等领域的应用前景。
AI项目与工具 2025年06月11日
Mogao

Mogao

Mogao是由字节跳动开发的多模态生成基础模型，结合双视觉编码器和先进位置嵌入技术，实现高质量的图像与文本生成。支持零样本图像编辑、多模态理解与生成、高分辨率图像输出以及优化的中文文本渲染。适用于内容创作、智能交互、医疗影像分析等多个领域，具备强大的跨模态处理能力和生成稳定性。
AI项目与工具 2025年06月11日
MoshiVis

MoshiVis

MoshiVis是一款由Kyutai开发的开源多模态语音模型，支持图像与语音的自然交互。它基于Moshi 7B架构，集成了视觉编码器和跨注意力机制，实现低延迟、自然流畅的对话体验。支持多种后端部署，适用于无障碍应用、智能家居、教育及工业场景，提升人机交互的智能化水平。
AI项目与工具 2025年06月12日
Light

Light

Light-A-Video 是一种无需训练的视频重照明技术，由多所高校和研究机构联合开发。它通过 CLA 和 PLF 模块实现高质量、时间一致的光照调整，支持前景与背景分离处理，并具备零样本生成能力。适用于影视、游戏、视频创作等多种场景，兼容多种视频生成模型，提升视频表现力与创作效率。
AI项目与工具 2025年06月12日
Talkie

Talkie

Talkie是一款基于人工智能技术打造的虚拟伴侣应用，主打高度定制化虚拟角色和沉浸式互动体验。它支持用户通过文本、语音及图像与AI角色交流，并提供角色创建、卡牌收集、智能推荐等功能。自推出以来，Talkie迅速获得了全球用户的青睐，在个性化聊天、情感陪伴及沉浸式叙事方面展现出强大潜力。
AI项目与工具 2025年06月12日
Agent

Agent

Agent-S 是一款基于图形用户界面（GUI）的人机交互自动化框架，通过经验增强的分层规划和代理-计算机接口（ACI），实现了复杂任务的自动化分解与执行。它结合多模态大型语言模型（MLLMs）进行推理和控制，并具备持续学习和跨操作系统通用性的特点，适用于办公自动化、网页交互、个人助理、客户服务和教育等多个场景。
AI项目与工具 2025年06月12日
PaliGemma 2

PaliGemma 2

PaliGemma 2是一款由Google DeepMind研发的视觉语言模型（VLM），结合了SigLIP-So400m视觉编码器与Gemma 2语言模型，支持多种分辨率的图像处理。该模型具备强大的知识迁移能力和出色的学术任务表现，在OCR、音乐乐谱识别以及医学图像报告生成等方面实现了技术突破。它能够处理多模态任务，包括图像字幕生成、视觉推理等，并支持量化和CPU推理以提高计算效率。
AI项目与工具 2025年06月12日