多模态

MiniCPM

MiniCPM-o 2.6 是一款高性能的多模态大模型,具备 8B 参数量,支持视觉、语音及多模态直播等多种功能。其在图像处理、语音识别和实时交互方面表现优异,采用高效的 token 技术提升推理速度,可在端侧设备上运行。支持多种语言和音色配置,适用于智能助手、内容创作、教育、客服和医疗等多个领域。

Go Charlie

一款AI营销助手,帮助企业家和企业快速轻松地创建和发布内容,Go Charlie可帮助您在几秒钟内创建图像、博客、广告、影响者帖子等。

Step

覆盖了从个人使用到企业级应用的多个方面的多模态大模型。

NoteLLM

NoteLLM 是一款基于多模态大型语言模型的笔记推荐框架,支持文本与图像信息的融合处理。通过自动生成标签、压缩嵌入、对比学习和指令微调等技术,提升推荐准确性与相关性。其升级版 NoteLLM-2 引入多模态上下文学习与晚期融合机制,增强视觉信息处理能力,适用于个性化推荐、冷启动优化及内容创作辅助等场景。

Embodied Reasoner

Embodied Reasoner是由多家科研机构联合开发的具身交互推理模型,通过视觉搜索、推理与行动协同完成复杂任务。采用模仿学习、自我探索和自我修正三阶段训练方法,生成多样化思考过程,提升任务规划效率。在长时序任务中表现优异,减少重复搜索和逻辑错误。适用于智能家居、仓储物流、医疗辅助等多个场景,具备多模态交互和强推理能力。

TheoremExplainAgent

TheoremExplainAgent(TEA)是一款基于多模态技术的AI工具,可生成超过5分钟的数学与科学定理解释视频,涵盖多个STEM领域。它结合文本、动画和语音,提升抽象概念的理解效果,并具备自动错误诊断功能。通过TheoremExplainBench基准评估,TEA在准确性、逻辑性和视觉表现上均表现优异,适用于在线教育、课堂教学和学术研究等多种场景。

AgentRefine

AgentRefine 是由北京邮电大学与美团联合开发的智能体合成框架,采用“精炼调整”方法提升基于大语言模型的智能体在多样化任务中的泛化能力。它通过轨迹中的观察实现错误纠正与自我优化,增强智能体在复杂环境中的适应性和鲁棒性。该框架支持多样化推理路径,广泛应用于自动化决策、游戏 AI、代码生成及自然语言处理等领域。

VLOGGER

VLOGGER AI是一款由谷歌研究团队开发的多模态扩散模型,主要用于从单一输入图像和音频样本生成逼真的、连贯的人像动态视频。该工具能够根据音频控制人物动作,包括面部表情、唇部动作、头部运动、眼神、眨眼及上身和手部动作,实现音频驱动的视频合成。VLOGGER生成的视频具有高度的真实性和多样性,能够展示原始主体的不同动作和表情。此外,VLOGGER还可以用于编辑现有视频和跨语言视频内容适配。

Heyboss

Heyboss 是一款面向非技术人员的 AI 开发工具,支持通过自然语言或文件上传快速生成 AI 应用、网页、游戏等。具备多模态内容生成、全流程集成开发、模板化创作等功能,适用于个人创意实现、教育、企业开发及专业开发者场景,显著降低技术门槛,提升开发效率。

MnnLlmApp

MnnLlmApp 是阿里巴巴基于 MNN-LLM 框架开发的开源 Android 应用,支持多种大语言模型在本地运行。具备多模态交互能力,可处理文本、图像、音频等多种输入输出任务。应用经过 CPU 推理优化,运行效率高,支持离线使用,保障数据安全。内置 Qwen、Gemma、Llama 等主流模型,适用于内容创作、智能助手、语言学习及创意设计等多种场景。