指令微调

xGen

xGen-MM是一款由Salesforce开发的开源多模态AI模型,具备处理文本和图像等数据类型的能力。该模型通过学习大量图像和文字信息,在视觉语言任务中表现出色,并通过开源模型、数据集和微调代码库促进模型性能的提升。xGen-MM具有多模态理解、大规模数据学习、高性能生成、开源可访问和微调能力等特点。其应用场景广泛,包括图像描述生成、视觉问答、文档理解、内容创作和信息检索等。

AgentGen

AgentGen是一款由香港大学与微软联合研发的AI项目框架,旨在通过自动生成多样化环境和任务,显著提升大语言模型(LLM)的规划能力。其核心技术包括环境生成、任务生成和动态难度调节,支持零样本生成和指令微调,适用于机器人控制、智能家居等多个领域。

OpenCoder

OpenCoder是一个开源代码大型语言模型(LLM),具备代码生成、审查、补全、错误调试等功能,支持多种编程语言,通过预训练、指令微调及优化策略提升性能,推动代码AI研究的透明化与可重复性,广泛应用于开发效率提升、代码质量保障及编程教育等领域。

Maya

Maya是一款开源多语言多模态模型,基于LLaVA框架开发,支持中文、法语、西班牙语等多种语言,专注于提升低资源语言的AI内容生成能力。它结合图像和文本数据,实现跨模态对齐和指令微调,广泛应用于跨语言内容理解、图像分析、教育和电子商务等领域。

MetaMorph

MetaMorph是一款基于多模态大模型的工具,通过Visual-Predictive Instruction Tuning(VPiT)技术实现文本和视觉token的生成。它在视觉理解和生成领域表现优异,能够克服其他生成模型的常见失败模式,同时有效处理专业术语和复杂语义问题。MetaMorph展示了统一建模方法的优势,支持多模态数据的高效处理,并在视觉生成与理解基准测试中取得竞争力表现。

EmoLLM

EmoLLM 是一款基于多模态技术的心理健康支持工具,能通过文本、图像和视频分析用户情绪,提供情绪识别、心理辅导和情感支持。其核心包括多视角视觉投影、情感引导提示和指令微调技术,支持个性化辅导、角色扮演及多轮对话,适用于心理健康评估与干预场景。

NoteLLM

NoteLLM 是一款基于多模态大型语言模型的笔记推荐框架,支持文本与图像信息的融合处理。通过自动生成标签、压缩嵌入、对比学习和指令微调等技术,提升推荐准确性与相关性。其升级版 NoteLLM-2 引入多模态上下文学习与晚期融合机制,增强视觉信息处理能力,适用于个性化推荐、冷启动优化及内容创作辅助等场景。

CodeGemma

CodeGemma是由Google开发的大型语言模型系列,专注于代码生成和理解。它包含三种不同规模的模型:2B预训练模型、7B预训练模型和7B指令微调模型。CodeGemma支持多种编程语言,能够提供代码补全、生成和自然语言理解等功能。经过大量英语编程和数学数据的训练,CodeGemma具备高准确性,能够在多种编程语言中表现出色,并能集成到各种开发环境中,提高开发效率。

BenTsao本草

BenTsao本草是一个专注于中文医学领域的大语言模型,它通过指令微调和丰富的医学知识库,为医疗健康专业人士提供了一个强大的信息处理和决策支持工具。