多模态

Graphiti

Graphiti 是一个为动态环境设计的 AI 知识图谱生成框架,支持实时摄取和处理结构化与非结构化数据,具备时间感知能力、动态数据整合、混合检索、状态推理与自动化等功能。它适用于 AI 智能体记忆层、实时交互系统和企业知识管理等场景,提供强大的动态记忆和推理能力,助力实现更智能、高效的 AI 应用。

TEN Agent

TEN Agent 是一款开源的实时多模态 AI 框架,集成了 OpenAI 实时 API 和 RTC 技术,支持语音、文本和图像的多模态交互。它具备天气查询、网络搜索、视觉识别及 RAG 等功能,支持高性能实时通信和模块化扩展,适用于智能客服、语音助手、教育辅助、智能家居控制和健康咨询等多个领域。

Mobvoi MCP Server

Mobvoi MCP Server是出门问问推出的一站式AI工具,集成语音生成、声音克隆、图片驱动数字人、视频配音等多模态能力。用户可通过简单输入文本调用功能,支持多客户端和多场景应用。基于标准化接口和开源生态,提供高效、灵活的数字生产力解决方案,适用于内容创作、虚拟主播、在线教育等多个领域。

灵犀 X2

灵犀 X2 是智元机器人推出的双足人形机器人,具备 28 个自由度和高灵活性,可完成跳舞、奔跑、骑车等复杂动作。搭载 Diffusion 动作生成引擎和多模态交互系统,支持情感识别与毫秒级响应。适用于家庭服务、教育、医疗护理、工业协作及娱乐场景,具备强大的环境感知与任务执行能力。

LongVILA

LongVILA是一款专为长视频理解设计的视觉语言AI模型,由多家知名研究机构共同开发。它具备强大的长上下文处理能力和多模态序列并行性,能在大量GPU上高效训练,无需梯度检查点。LongVILA通过五阶段训练流程,结合大规模数据集构建和高性能推理,显著提升了长视频字幕的准确性和处理效率。此外,它还支持多种应用场景,包括视频字幕生成、内容分析、视频问答系统等。

Insert Anything

Insert Anything是由多所高校联合开发的图像插入框架,支持多种场景下的对象无缝融合,如艺术创作、虚拟试穿和影视特效等。基于大规模数据集训练,具备高分辨率输出与语义一致性保障。用户可通过掩码或文本指令实现精准控制,适用于创意设计与数字内容生成领域。

FlagevalMM

FlagEvalMM是一个由北京智源人工智能研究院开发的开源多模态模型评测框架,专注于评估处理文本、图像、视频等多模态任务的模型性能。它支持多种任务和指标,采用解耦评测与推理的设计,提供统一的评测流程,集成丰富模型库并兼容多种后端引擎。该工具适用于学术研究、工业应用、模型开发、教育领域及内容创作等多个场景。

腾讯乐享AI助手

腾讯乐享AI助手,基于腾讯的大模型等 AIGC 能力开发,该助手集成了腾讯乐享的多项产品能力,包括智能知识问答、多模态智能搜索、AI 辅助创作、智能生成考题等功能。

FLORA

FLORA是一款面向创意工作者的AI工具平台,通过节点式画布整合文本、图像和视频生成功能,支持故事分析、角色设计、分镜脚本生成及团队协作,提升创意流程效率,适用于视频创作、游戏开发、设计及教育等领域。

VARGPT

VARGPT是一款多模态大语言模型,整合了视觉理解和生成任务于统一的自回归框架中。它通过next-token和next-scale预测机制,支持文本与图像的混合输入和输出,具备高效的视觉生成能力。模型采用三阶段训练策略,提升了在视觉问答、推理及图像生成任务中的表现。适用于多模态内容创作、指令到图像合成等场景。