多模态交互
  1. 首页
  2. 多模态交互

列表

TEN Agent

TEN Agent

TEN Agent 是一款开源的实时多模态 AI 框架，集成了 OpenAI 实时 API 和 RTC 技术，支持语音、文本和图像的多模态交互。它具备天气查询、网络搜索、视觉识别及 RAG 等功能，支持高性能实时通信和模块化扩展，适用于智能客服、语音助手、教育辅助、智能家居控制和健康咨询等多个领域。
AI项目与工具 2025年06月12日
Project Astra

Project Astra

Project Astra是一款由谷歌DeepMind研发的多模态虚拟助手，支持自然语言和视觉交互。它具备实时对话、记忆功能及工具集成能力，可帮助用户处理日常任务、旅行规划、健康咨询等多种场景需求。当前版本仍在测试中，致力于提升用户体验并保障技术的可靠性。
AI项目与工具 2025年06月12日
Multimodal Live API

Multimodal Live API

Multimodal Live API是谷歌推出的一种支持文本、音频和视频交互的AI接口，具备低延迟、实时双向通信和自然语言处理能力。它允许用户通过多种输入方式与AI互动，并支持会话记忆和外部功能调用，广泛应用于客户服务、在线教育、远程医疗、视频会议和娱乐等领域。
AI项目与工具 2025年06月12日
Megrez

Megrez

Megrez-3B-Omni是一款具备全模态理解能力的开源模型，支持图像、音频和文本的综合处理，具备强大的推理效率和多模态交互功能。它能够在多个权威测试集中展现卓越性能，尤其擅长场景理解、OCR识别及语言生成等任务，同时通过智能WebSearch调用增强问题解答能力，适用于个人助理、智能家居、车载系统等多种应用场景。
AI项目与工具 2025年06月12日
OCTAVE

OCTAVE

OCTAVE是一款由Hume AI研发的语音语言处理工具，融合了多种领先AI技术，具备强大的个性化语音生成能力，支持从文字到语音的即时转化，并能精准模仿不同说话者的声线与情感表达。其主要功能包括多角色对话生成、复杂指令理解与响应，以及实时语音处理等。此外，OCTAVE可应用于客户服务、虚拟助手、教育培训、娱乐游戏等多个领域，为用户带来更加自然、生动的交互体验。
AI项目与工具 2025年06月12日
理想同学

理想同学

理想同学是一款基于AI技术打造的智能助手，集成了知识问答、视觉识别、绘画创作和播客等多种功能。它支持多领域的信息查询、语言翻译、文本生成及视觉分析，通过跨平台协作实现数据同步与连续对话。此外，用户可根据需求选择不同模型以优化推理能力，广泛适用于日常生活、学习和工作场景。
AI项目与工具 2025年06月12日
Mind GPT

Mind GPT

Mind GPT-3o是一款由理想汽车推出的大规模多模态端到端人工智能模型，集成了语音、视觉与语言理解技术，具备记忆、规划、工具集成及表达能力。它不仅能理解复杂信息，还能提供个性化服务，如智能驾驶辅助、家居设备控制、日程管理和健康咨询等。通过强化逻辑推理与上下文理解，该模型实现了从感知到表达的智能化跨越，为用户提供全面的支持。
AI项目与工具 2025年06月12日
LAM

LAM

LAM是由微软开发的大型行动模型，能够理解和执行真实世界中的操作任务。它不仅能解析用户输入，还能生成具体行动指令，如启动程序或控制设备。LAM在Office等Windows应用中表现出色，任务完成率高于GPT-4。具备多模态输入理解、动态规划、环境交互和自主执行能力，适用于办公自动化、智能家居、客户服务等多个场景，显著提升任务执行效率和智能化水平。
AI项目与工具 2025年06月12日
CreatiLayout

CreatiLayout

CreatiLayout 是一种先进的布局到图像生成技术，由复旦大学与字节跳动联合开发。它基于大规模布局数据集 LayoutSAM，结合 SiamLayout 框架和 MM-DiT 架构，实现高质量、细粒度可控的图像生成。同时，其 LayoutDesigner 工具支持多种输入方式，帮助用户优化布局设计。适用于海报制作、室内设计、视觉创作及教学等多个领域。
AI项目与工具 2025年06月12日
VideoRefer

VideoRefer

VideoRefer是由浙江大学与阿里达摩院联合开发的视频对象感知与推理系统，基于增强型视频大型语言模型，实现对视频中对象的细粒度理解与分析。其核心包括大规模视频数据集、多功能空间-时间编码器和全面评估基准，支持对象识别、关系分析、推理预测及多模态交互等功能，适用于视频剪辑、教育、安防、机器人控制和电商等多个领域。
AI项目与工具 2025年06月12日