多模态
  1. 首页
  2. 多模态

列表

ILLUME

ILLUME

ILLUME是一款基于大型语言模型的统一多模态大模型，集成了视觉理解与生成能力，采用“连续图像输入 + 离散图像输出”架构，通过语义视觉分词器和三阶段训练流程，实现了高效的数据利用和多模态任务处理能力。模型能够无缝整合视觉理解与生成功能，广泛应用于视频分析、医疗诊断、自动驾驶及艺术创作等领域。
AI项目与工具 2025年06月12日
TITAN

TITAN

TITAN是一款由哈佛医学院研究团队开发的多模态全切片病理基础模型，通过视觉自监督学习和视觉-语言对齐预训练，能够在无需微调或临床标签的情况下提取通用切片表示并生成病理报告。它在多种临床任务中表现出色，包括线性探测、少样本和零样本分类、罕见癌症检索、跨模态检索和病理报告生成，尤其适用于资源有限的临床场景。
AI项目与工具 2025年06月12日
MMedAgent

MMedAgent

MMedAgent是一款面向医疗领域的多模态AI平台，集成了指令优化的多模态大型语言模型（MLLM）及一系列定制化医疗工具，支持多种医学成像模式（如MRI、CT、X射线等），可高效处理视觉问答、分类、定位、分割、医学报告生成（MRG）及检索增强生成（RAG）等任务，显著提升了医疗数据处理效率与准确性。
AI项目与工具 2025年06月12日
LongDocURL

LongDocURL

LongDocURL是一个由中国科学院自动化研究所和阿里巴巴联合发布的多模态长文档理解基准数据集，包含2,325组问答对，覆盖33,000页文档，涉及20个子任务。该数据集专注于评估AI模型在长文档理解、数值推理、跨元素定位及多样化任务中的性能，支持文本、图像和表格等多种模式，具有高质量和多样性的特点。
AI项目与工具 2025年06月12日
RenderNet

RenderNet

RenderNet是一个基于AI技术的生成式平台，支持图像和视频创作，提供角色一致性控制、姿势调整、面部锁定等功能，适用于影视、游戏、广告及教育等多个领域。其开放API支持开发者构建定制化应用，提升内容创作效率与质量。
AI项目与工具 2025年06月12日
LAM

LAM

LAM是由微软开发的大型行动模型，能够理解和执行真实世界中的操作任务。它不仅能解析用户输入，还能生成具体行动指令，如启动程序或控制设备。LAM在Office等Windows应用中表现出色，任务完成率高于GPT-4。具备多模态输入理解、动态规划、环境交互和自主执行能力，适用于办公自动化、智能家居、客户服务等多个场景，显著提升任务执行效率和智能化水平。
AI项目与工具 2025年06月12日
FlexRAG

FlexRAG

FlexRAG 是一个高效的检索增强生成（RAG）框架，通过压缩编码器和选择性压缩机制优化长上下文处理，提升计算效率与生成质量。支持多模态数据、多种检索器和多数据类型，适用于开放域问答、对话系统、文档摘要等知识密集型任务，具备灵活配置和可扩展性。
AI项目与工具 2025年06月12日
InstructMove

InstructMove

InstructMove是由东京大学与Adobe合作开发的图像编辑模型，基于视频帧对变化学习如何根据指令进行图像操作。它能够执行非刚性编辑、视角调整和元素重排等任务，同时支持精确的局部编辑。该模型采用真实视频数据训练，提升编辑自然性与真实性，适用于影视、广告、设计等多个领域。其技术基于多模态语言模型和扩散模型，结合掩码和ControlNet等控制机制，实现灵活高效的图像编辑。
AI项目与工具 2025年06月12日
AddressCLIP

AddressCLIP

AddressCLIP 是一种基于 CLIP 技术的端到端图像地理定位模型，由中科院自动化所与阿里云联合开发。它通过图像与地址文本对齐和地理匹配技术，实现街道级别的精确定位，无需依赖 GPS。模型在多个数据集上表现优异，适用于城市管理、社交媒体、旅游导航等多个场景，具备良好的灵活性和多模态结合潜力。
AI项目与工具 2025年06月12日
CreatiLayout

CreatiLayout

CreatiLayout 是一种先进的布局到图像生成技术，由复旦大学与字节跳动联合开发。它基于大规模布局数据集 LayoutSAM，结合 SiamLayout 框架和 MM-DiT 架构，实现高质量、细粒度可控的图像生成。同时，其 LayoutDesigner 工具支持多种输入方式，帮助用户优化布局设计。适用于海报制作、室内设计、视觉创作及教学等多个领域。
AI项目与工具 2025年06月12日