多模态

1. 首页
2. 多模态

FastVLM

FastVLM是一款高效的视觉语言模型，采用FastViTHD混合视觉编码器，显著提升高分辨率图像处理速度并减少token数量。其在保持高性能的同时，降低了计算成本和模型复杂度。适用于视觉问答、图文匹配、文档理解、图像描述生成等多模态任务，具备良好的实用性和扩展性。

AI项目与工具 2025年06月11日 85 点赞 0 评论 360 浏览

Chinese

Chinese-LiPS是由智源研究院与南开大学联合开发的高质量中文多模态语音识别数据集，包含100小时语音、视频及手动转录文本。其创新性融合唇读视频与幻灯片内容，显著提升语音识别性能，实验表明可降低字符错误率约35%。适用于教学、科普、虚拟讲解等复杂语境，为多模态语音识别研究提供丰富数据支持。

AI项目与工具 2025年06月11日 47 点赞 0 评论 157 浏览

StreamBridge

StreamBridge是一款由苹果与复旦大学联合开发的端侧视频大语言模型框架，支持实时视频流的理解与交互。通过内存缓冲区和轮次衰减压缩策略，实现长上下文处理与主动响应。项目配套发布Stream-IT数据集，包含60万样本，适用于多种视频理解任务，展现出在视频交互、自动驾驶、智能监控等领域的应用前景。

AI项目与工具 2025年06月11日 41 点赞 0 评论 360 浏览

OpenVision

OpenVision是加州大学圣克鲁兹分校推出的多模态视觉编码器系列，具备从5.9M到632.1M参数的多种模型，适用于不同硬件环境。其采用渐进式多阶段分辨率训练策略，训练效率比同类模型高2至3倍，在多模态任务中表现优异。支持可变大小patch输入，兼具灵活性与高效性，广泛应用于工业检测、机器人视觉、自动驾驶及科研教育等领域。

AI项目与工具 2025年06月11日 58 点赞 0 评论 223 浏览

MCA

MCA-Ctrl是由中科院计算所与国科大联合开发的图像定制生成框架，通过引入SAGI和SALQ注意力控制策略及主体定位模块，提升图像生成质量与一致性。支持零样本图像生成，适用于主体特征保持、背景一致性维护等多种任务，广泛应用于数字内容创作、广告设计、艺术创作等领域。

AI项目与工具 2025年06月11日 82 点赞 0 评论 128 浏览

DreamFit

DreamFit是由字节跳动与高校联合研发的虚拟试衣框架，专注于轻量级服装图像生成。通过优化文本提示与特征融合技术，提升图像质量与一致性，降低模型复杂度和训练成本。支持姿势控制、多主题服装迁移等功能，适用于虚拟试穿、服装设计、广告制作等多个场景，具备良好的泛化能力和易用性。

AI项目与工具 2025年06月11日 89 点赞 0 评论 441 浏览

Dust

Dust 是一款面向企业用户的 AI 代理构建平台，支持无代码开发，可快速部署定制化 AI 代理，实现业务流程自动化。其核心功能包括多平台集成、实时数据同步、语义搜索、多模态交互及团队协作等，适用于市场营销、销售、技术支持等多个应用场景，有效提升工作效率和数据利用率。

AI项目与工具 2025年06月11日 98 点赞 0 评论 206 浏览

Being

Being-M0是由北京大学、中国人民大学等机构联合研发的首个大规模人形机器人通用动作生成模型。基于百万级动作数据集 MotionLib 和 MotionBook 编码技术，实现动作序列的高效表示与生成。该模型支持文本驱动动作生成、动作迁移及多模态数据处理，可应用于人形机器人控制、动画制作、VR/AR、人机交互及运动康复等多个领域，显著提升动作生成的多样性和语义对齐精度。

AI项目与工具 2025年06月11日 13 点赞 0 评论 282 浏览

DanceGRPO

DanceGRPO 是由字节跳动与香港大学联合开发的视觉生成强化学习框架，支持文本到图像、文本到视频、图像到视频等多种任务，兼容多种生成模型与奖励机制。其通过强化学习优化生成过程，提升视觉内容质量与一致性，降低显存压力，提高训练效率与稳定性，适用于视频生成和多模态内容创作。

AI项目与工具 2025年06月11日 45 点赞 0 评论 430 浏览

DICE

DICE-Talk是由复旦大学与腾讯优图实验室联合开发的动态肖像生成框架，能够根据音频和参考图像生成具有情感表达的高质量视频。其核心在于情感与身份的解耦建模，结合情感关联增强和判别机制，确保生成内容的情感一致性与视觉质量。该工具支持多模态输入，具备良好的泛化能力和用户自定义功能，适用于数字人、影视制作、VR/AR、教育及心理健康等多个领域。

AI项目与工具 2025年06月11日 87 点赞 0 评论 193 浏览