多模态
OpenBioMed
OpenBioMed是由清华大学智能产业研究院与水木分子联合开发的开源平台,专注于AI在生物医学中的应用。它支持多模态数据处理,涵盖分子、蛋白质、单细胞等多种类型,并提供20多个深度学习模型和计算工具,适用于药物研发、精准医疗、知识图谱构建等领域。平台具备统一的数据处理框架和预训练模型,支持快速迁移和智能体设计,助力科研人员提升研究效率。
PaliGemma 2
PaliGemma 2是一款由Google DeepMind研发的视觉语言模型(VLM),结合了SigLIP-So400m视觉编码器与Gemma 2语言模型,支持多种分辨率的图像处理。该模型具备强大的知识迁移能力和出色的学术任务表现,在OCR、音乐乐谱识别以及医学图像报告生成等方面实现了技术突破。它能够处理多模态任务,包括图像字幕生成、视觉推理等,并支持量化和CPU推理以提高计算效率。
