多模态
  1. 首页
  2. 多模态

列表

ShowUI

ShowUI

ShowUI是一款由新加坡国立大学Show Lab与微软合作开发的视觉-语言-行动模型，旨在提升图形用户界面（GUI）助手的工作效率。该模型通过UI引导的视觉令牌选择、交错视觉-语言-行动流以及高质量数据集的运用，实现了高效的零样本截图定位和GUI自动化功能，广泛应用于网页自动化、移动应用测试、桌面软件自动化及游戏自动化等领域。
AI项目与工具 2025年06月12日
NoteLLM

NoteLLM

NoteLLM 是一款基于多模态大型语言模型的笔记推荐框架，支持文本与图像信息的融合处理。通过自动生成标签、压缩嵌入、对比学习和指令微调等技术，提升推荐准确性与相关性。其升级版 NoteLLM-2 引入多模态上下文学习与晚期融合机制，增强视觉信息处理能力，适用于个性化推荐、冷启动优化及内容创作辅助等场景。
AI项目与工具 2025年06月11日
AnimeGamer

AnimeGamer

AnimeGamer是一款由腾讯PCG与香港城市大学联合开发的动漫生活模拟系统，基于多模态大语言模型（MLLM），支持玩家通过自然语言指令操控动漫角色，沉浸于动态游戏世界中。系统能生成高一致性的动态动画视频，并实时更新角色状态，如体力、社交和娱乐值。其核心技术包括多模态表示、视频扩散模型及上下文一致性机制，适用于个性化娱乐、创意激发、教育辅助及游戏开发等多种场景。
AI项目与工具 2025年06月12日
Webdraw

Webdraw

Webdraw 是一款无代码 AI 应用开发平台，支持图像生成、视频制作、聊天助手等功能，用户可通过自然语言或可视化工具快速构建应用。平台集成多种 AI 模型，支持多模态内容创作，具备文件共享、实时协作和一键部署能力，适用于创意设计、个性化工具开发、教育及企业场景，降低 AI 技术使用门槛。
AI项目与工具 2025年06月12日
ViDoRAG

ViDoRAG

ViDoRAG是阿里巴巴通义实验室联合高校开发的视觉文档检索增强生成框架，采用多智能体协作与动态迭代推理技术，提升复杂文档的检索与理解能力。通过高斯混合模型优化多模态信息整合，支持精准检索与高质量生成，适用于教育、金融、医疗等多个领域，显著提升文档处理效率与准确性。
AI项目与工具 2025年06月12日
KeySync

KeySync

KeySync是一种高分辨率口型同步工具，由帝国理工学院和弗罗茨瓦夫大学联合开发。其采用两阶段生成框架，结合掩码策略和视频分割模型，实现音频与唇部动作的精准对齐。支持高清视频生成，具备遮挡处理、减少表情泄露等功能，在视觉质量、时间连贯性和同步精度上优于现有方法，适用于自动配音、虚拟形象、视频会议等多场景应用。
AI项目与工具 2025年06月11日
Pixtral Large

Pixtral Large

Pixtral Large是一款由Mistral AI开源的超大规模多模态模型，具备1240亿参数，支持文本、图像和图表的理解与生成。它拥有128K的上下文窗口，能在多语言环境中处理复杂文档和多图像场景，广泛应用于教育、医疗、客服和内容审核等领域。
AI项目与工具 2025年06月12日
TableGPT2

TableGPT2

TableGPT2是一种由浙江大学开发的多模态人工智能模型，专注于结构化数据的处理与分析。它具备强大的表格数据理解能力，支持SQL查询执行、数据分析以及数据增删改查等功能。通过创新的表格编码器和双维注意力机制，TableGPT2在处理不规则表格和模糊查询方面表现优异。其应用场景广泛，涵盖商业智能、财务分析、市场研究及供应链管理等领域。
AI项目与工具 2025年06月12日
TinyVLA

TinyVLA

TinyVLA是一种轻量级的视觉-语言-动作（VLA）模型，专为机器人操控设计。它通过结合多模态模型和扩散策略解码器，实现了快速推理、数据高效和多任务学习的能力，并在泛化性能上表现优异。TinyVLA可应用于家庭、工业、服务等多个领域，具有广泛的实用价值。
AI项目与工具 2025年06月12日
Flex.2

Flex.2

Flex.2-preview是Ostris开发的开源文本到图像生成模型，具备80亿参数规模。支持长文本输入、图像修复和多模态控制输入，适用于创意设计、图像修复和内容生成等多种场景。模型基于扩散框架，采用多通道输入处理和高效推理算法，可通过ComfyUI或Diffusers库集成使用，适合实验性开发和个性化定制。
AI项目与工具 2025年06月11日