多模态

Finedefics

Finedefics是由北京大学彭宇新教授团队开发的细粒度多模态大模型,专注于提升多模态大语言模型在细粒度视觉识别任务中的表现。该模型通过引入对象的细粒度属性描述,结合对比学习方法,实现视觉对象与类别名称的精准对齐。在多个权威数据集上表现出色,准确率达76.84%。其应用场景涵盖生物多样性监测、智能交通、零售管理及工业检测等领域。

Gemini 2.0 Flash

Gemini 2.0 Flash是Google推出的多模态AI模型,支持文本与图像生成及对话式编辑,能根据自然语言生成连贯图像,并保持上下文一致性。其在长文本渲染方面表现优异,适用于广告、社交媒体、教育等领域。开发者可通过Google AI Studio或Gemini API进行测试和集成,广泛应用于创意插图、互动故事、设计辅助等场景。

LLaVA

LLaVA-OneVision是字节跳动开发的开源多模态AI模型,主要功能包括多模态理解、任务迁移、跨场景能力、开源贡献及高性能。该模型采用多模态架构,集成了视觉和语言信息,通过Siglip视觉编码器和Qwen-2语言模型,实现高效特征映射和任务迁移学习。广泛应用于图像和视频分析、内容创作辅助、聊天机器人、教育和培训以及安全监控等领域。

ChatEDU

多模态教育工具,通过借助生成式 AI成为学生的 “第二大脑”。提供包括知识图谱、动态知识档案和任务型学习代理三大核心功能。

西湖大模型

西湖大模型西湖心辰开发的多模态大模型,既具备通过跨领域的知识解决问题的超高智商,也具备通过情感感知、长期记忆形成的超高情商。

Codex CLI

Codex CLI 是一款基于 OpenAI 模型的轻量级 AI 编程工具,支持通过自然语言指令生成代码、执行文件操作、进行数据库迁移等。它具备代码重构、测试生成、解读及多模态处理能力,适用于开发者在终端中高效完成多种编程任务。工具兼容主流操作系统,提供安全的沙盒执行环境,并支持个性化配置。

Hummingbird

Hummingbird-0 是一款基于深度学习的 AI 口型同步工具,支持零样本学习,无需额外训练即可快速生成高质量口型同步视频。它兼容多种格式,支持最长 5 分钟视频处理,1 分钟内生成 10 秒视频,适用于影视制作、广告、本地化翻译及 AI 内容创作等场景。通过多模态融合技术,实现音频与视频的精准匹配,提升内容表现力。

Spirit LM

Spirit LM 是一种由 Meta AI 开发的多模态语言模型,能够处理文本和语音数据,支持跨模态学习。其基础版(BASE)和表达版(EXPRESSIVE)分别侧重于语义理解和情感表达。Spirit LM 可用于自动语音识别(ASR)、文本到语音(TTS)、语音分类及情感分析等任务,在语音助手、语音转写、有声读物等领域具有广泛应用前景。

LobeChat

LobeChat 是一款开源的 AI 聊天框架,支持多供应商集成,提供知识库管理、多模态交互(视觉识别和文本转语音)、插件扩展等功能。用户可通过一键部署创建私有 AI 聊天服务,并支持文件上传与管理。其应用场景广泛,包括客户服务、个人助理、教育、企业沟通、内容创作和语言学习等领域。

LAM

LAM是由微软开发的大型行动模型,能够理解和执行真实世界中的操作任务。它不仅能解析用户输入,还能生成具体行动指令,如启动程序或控制设备。LAM在Office等Windows应用中表现出色,任务完成率高于GPT-4。具备多模态输入理解、动态规划、环境交互和自主执行能力,适用于办公自动化、智能家居、客户服务等多个场景,显著提升任务执行效率和智能化水平。