多模态

Step1X

Step1X-Edit 是由阶跃星辰团队推出的通用图像编辑框架,结合多模态大语言模型与扩散模型,支持多样化的图像编辑任务,如主体修改、背景更换、风格转换等。用户可通过自然语言指令进行操作,系统能精准理解并生成高质量图像。该工具基于大规模数据集训练,具备强大的真实场景适应能力,适用于创意设计、影视制作、社交媒体等多个领域。

OmniSearch

OmniSearch是一款由阿里巴巴通义实验室开发的多模态检索增强生成框架,具备自适应规划能力。它能够动态解析复杂问题,根据检索结果和问题情境调整检索策略,模拟人类解决复杂问题的行为,提升检索效率和准确性。OmniSearch支持多模态信息处理,包括文本、图像等,并通过递归检索与推理流程逐步接近问题解答,显著提高多模态检索的灵活性和效果。

Zulu

Zulu 是百度文心快码推出的多模态 AI 编程助手,支持从自然语言需求到代码的端到端生成。具备智能任务拆解、多文件编辑、实时预览、多模态输入及多 IDE 适配等功能,适用于开发者、学习者及各类技术岗位,有效提升开发效率和代码质量。

​LobeChat

一个开源、高性能的聊天机器人框架,支持语音合成、多模态和可扩展(函数调用)插件系统。支持一键免费部署您的私人 ChatGPT/LLM Web 应用程序。

GTA

GTA是一项由上海交通大学与上海AI实验室合作研发的基准测试,专注于评估大型语言模型在真实世界环境中的工具调用能力。它包含229个精心设计的问题,涉及多个领域,并通过多模态输入输出和细粒度评估指标,全面衡量模型的工具使用效率与准确性。GTA可应用于智能助理开发、多模态交互、自动化客户服务、教育及科研等多个领域,助力提升人工智能系统的综合性能。

URM

URM是由阿里妈妈开发的通用推荐模型,结合大语言模型与电商领域知识,提升推荐效果。其采用多模态融合与Sequence-In-Set-Out生成方式,支持多场景、多目标、长尾及发现性推荐。具备高效率、零样本学习能力,适用于工业级推荐系统,已应用于阿里妈妈展示广告场景,优化用户体验与商家投放效果。

GaussianAnything

GaussianAnything 是一款基于多模态输入的 3D 内容生成框架,支持点云、文本和图像等多种输入方式,能够生成高精度且可编辑的 3D 模型。其核心技术包括点云结构化潜空间和级联扩散模型,具备几何与纹理解耦特性,适用于游戏开发、影视制作、VR/AR、工业设计等多个场景。该工具在生成质量和一致性方面表现优异,为 3D 内容创作提供了高效解决方案。

LLaVA

LLaVA-OneVision是字节跳动开发的开源多模态AI模型,主要功能包括多模态理解、任务迁移、跨场景能力、开源贡献及高性能。该模型采用多模态架构,集成了视觉和语言信息,通过Siglip视觉编码器和Qwen-2语言模型,实现高效特征映射和任务迁移学习。广泛应用于图像和视频分析、内容创作辅助、聊天机器人、教育和培训以及安全监控等领域。

Gemini Live

Gemini Live是一款由谷歌开发的智能语音助手,拥有自然语言理解和多模态识别能力,支持语音、图像和视频交互。其主要功能包括自然语言对话、多模态识别、个性化语音选择、任务自动化以及智能打断和续接。此外,Gemini Live还与谷歌的原生应用深度集成,提升用户体验。目标用户包括商务人士、技术探索者、多语言用户、创意人士和老年人。

纳米搜索

纳米搜索是一款由360集团开发的多功能AI搜索引擎,支持文字、语音、拍照和视频等多种搜索方式,涵盖从简单到复杂的全方位解答方案。它整合了16款顶尖大模型能力,配备了智能工具,如写作、翻译和旅游规划助手,旨在提升多场景下的操作效率。此外,其独特的AI脱口秀功能,能将搜索结果转化为视频内容,为用户提供更直观的知识获取体验。