多模态
  1. 首页
  2. 多模态

列表

VITA

VITA

VITA-Audio 是一款开源的端到端多模态语音大模型，具备低延迟、高推理效率和多模态交互能力。其核心创新包括轻量级 MCTP 模块和四阶段渐进式训练策略，使模型在语音识别、文本转语音和口语问答等任务中表现优异。支持实时对话、智能客服、教育辅助、医疗辅助及内容创作等多种应用场景，适用于各类语音交互系统。
AI项目与工具 2025年06月11日
Amazon Nova

Amazon Nova

Amazon Nova是亚马逊云服务推出的一套强大的AI基础模型系列，涵盖文本、图像和视频生成等多个领域。其核心产品包括Amazon Nova Micro（专注文本处理）、Amazon Nova Lite（多模态低成本模型）、Amazon Nova Pro（多模态平衡型模型）、Amazon Nova Premier（复杂推理模型）、Amazon Nova Canvas（图像生成模型）和Amazon
AI项目与工具 2025年06月12日
探一下

探一下

探一下是一款依托于多模态大模型技术的AI视觉搜索工具，用户可通过其摄像头识别花草、宠物、潮玩等物体，获取旅游讲解、商品药品详情等信息，同时具备趣味解读图片的功能，支持文字翻译与场景触发滤镜，适用于多种生活场景。 ---
AI项目与工具 2025年06月12日
Long

Long

Long-VITA是一款由腾讯优图实验室、南京大学和厦门大学联合开发的多模态AI模型，支持处理超长文本（超过100万tokens）及多模态输入（图像、视频、文本）。通过分阶段训练提升上下文理解能力，结合动态分块编码器与并行推理技术，实现高效处理长文本和高分辨率图像。模型基于开源数据训练，适用于视频分析、图像识别、长文本生成等场景，性能在多个基准测试中表现突出。
AI项目与工具 2025年06月12日
《Manus没有秘密》70页PPT解读AI Agent（PDF文件）

《Manus没有秘密》70页PPT解读AI Agent（PDF文件）

本文详细解读了AI Agent技术从L1到L3的发展历程，涵盖了定义、实现原理、用户体验及未来趋势。文章以Manus为例，探讨了Agent技术的通用性、技术实现路径及用户感知变化，强调了提升通用性、性能和用户体验的重要性。同时，文章提出了对未来发展的期望和建议。
AI项目与工具 2025年06月12日
Fourier N1

Fourier N1

Fourier N1是一款由傅利叶推出的开源人形机器人，具备23个自由度，可完成复杂动作如单足站立、坡道通行和楼梯攀爬。搭载自研控制系统和FSA 2.0执行器，支持高速稳定运行。支持多模态交互，适用于教学、康复辅助、物流搬运、家务服务及灾难救援等领域，提供全面的开源资源以支持开发与研究。
AI项目与工具 2025年06月11日
GigaTok

GigaTok

GigaTok 是一款基于语义正则化的高参数视觉分词器，支持自回归图像生成，具备优异的图像重建与生成能力。通过一维架构和非对称扩展策略，实现高效计算与稳定训练。适用于图像生成、编辑、数据增强及多模态应用，具有广泛的技术拓展性。
AI项目与工具 2025年06月11日
Agentic Object Detection

Agentic Object Detection

Agentic Object Detection是由吴恩达团队研发的新型目标检测技术，通过智能代理系统实现无需标注数据的目标识别。用户输入文字提示后，AI可精准定位图像中的目标及其属性，支持内在属性、上下文关系及动态状态的识别。该技术无需复杂训练流程，适用于装配验证、作物检测、医疗影像分析、危险物品识别和商品管理等多种场景，显著提升了检测效率和准确性。
AI项目与工具 2025年06月12日
VRAG

VRAG

VRAG-RL是阿里巴巴通义大模型团队推出的视觉感知驱动的多模态RAG推理框架，旨在提升视觉语言模型在处理视觉丰富信息时的检索、推理和理解能力。通过定义视觉感知动作空间，实现从粗粒度到细粒度的信息获取，并结合强化学习和综合奖励机制优化模型性能。该框架支持多轮交互推理，具备良好的可扩展性，适用于智能文档问答、视觉信息检索、多模态内容生成等多种场景。
AI项目与工具 2025年06月11日
HumanOmni

HumanOmni

HumanOmni 是一款面向人类中心场景的多模态大模型，融合视觉与听觉信息，具备情感识别、面部描述、语音理解等功能。基于大量视频与指令数据训练，采用动态权重调整机制，支持多模态交互与场景理解。适用于影视分析、教育、广告及内容创作等领域，具备良好的可扩展性和灵活性。
AI项目与工具 2025年06月12日