多模态

1. 首页
2. 多模态

Multimodal Live API

Multimodal Live API是谷歌推出的一种支持文本、音频和视频交互的AI接口，具备低延迟、实时双向通信和自然语言处理能力。它允许用户通过多种输入方式与AI互动，并支持会话记忆和外部功能调用，广泛应用于客户服务、在线教育、远程医疗、视频会议和娱乐等领域。

AI项目与工具 2025年06月12日 51 点赞 0 评论 217 浏览

Awesome Chinese LLM

整理了开源的中文大语言模型（LLM），主要关注规模较小、可私有化部署且训练成本较低的模型，目前已收录了100多个相关资源。

Ai学习资源 2025年06月05日 44 点赞 0 评论 217 浏览

Ichigo

Ichigo是一款开源的多模态AI语音助手，采用混合模态模型，支持实时处理语音和文本交织序列。它通过统一的Transformer架构实现跨模态联合推理，提供低延迟的实时性能，并支持多语言、多轮对话及模糊输入处理。Ichigo适用于智能家居、个人助理、客户服务、教育和健康咨询等多种应用场景，展现了高效、灵活的技术优势。

AI项目与工具 2025年06月12日 96 点赞 0 评论 216 浏览

GO

GO-1是智元机器人推出的首个通用具身基座模型，采用ViLLA架构，结合多模态大模型与混合专家系统，具备场景感知、动作理解和精细执行能力。支持小样本快速泛化、跨本体部署与持续进化，广泛应用于零售、制造、家庭及科研等领域，推动具身智能技术发展。

AI项目与工具 2025年06月12日 74 点赞 0 评论 216 浏览

Video

Video-LLaVA2是一款由北京大学ChatLaw课题组开发的开源多模态智能理解系统。该系统通过时空卷积（STC）连接器和音频分支，显著提升了视频和音频的理解能力。其主要功能包括视频理解、音频理解、多模态交互、视频问答和视频字幕生成。时空建模和双分支框架是其核心技术原理。Video-LLaVA2广泛应用于视频内容分析、视频字幕生成、视频问答系统、视频搜索和检索、视频监控分析及自动驾驶等领域。

AI项目与工具 2025年06月12日 50 点赞 0 评论 216 浏览

LMMs

LMMs-Eval 是一个用于多模态AI模型的统一评估框架，提供标准化、广泛覆盖且成本效益高的性能评估解决方案。它支持超过50个任务和10多个模型，并通过透明和可复现的评估流程帮助研究者和开发者全面了解模型能力。LMMs-Eval 还引入了 LMMs-Eval Lite 和 LiveBench，分别通过精简数据集降低评估成本并动态更新评估数据集，以确保模型泛化能力的有效评估。

AI项目与工具 2025年06月12日 86 点赞 0 评论 216 浏览

WorldSense

WorldSense是由小红书与上海交通大学联合开发的多模态基准测试工具，用于评估大型语言模型在现实场景中对视频、音频和文本的综合理解能力。该平台包含1662个同步视频、3172个问答对，覆盖8大领域及26类认知任务，强调音频与视频信息的紧密耦合。所有数据经专家标注并多重验证，确保准确性。适用于自动驾驶、智能教育、监控、客服及内容创作等多个领域，推动AI模型在多模态场景下的性能提升。

AI项目与工具 2025年06月12日 61 点赞 0 评论 215 浏览

星野app

星野app是一款功能强大的AI聊天机器人和智能对话工具，有趣的开放剧情和逼真的AI聊天，让你体验真正的聊天互动。

3D&游戏 2025年06月05日 83 点赞 0 评论 215 浏览

心绪云脑AI

一款专注于情绪健康管理的AI智能工具，提供情绪记录、实时情绪识别与疏导、心理健康课程等服务，帮助用户更好地管理情绪，提升心理健康。

生活创意 2025年06月05日 31 点赞 0 评论 215 浏览

Transfusion

Transfusion是由Meta公司开发的多模态AI模型，能够同时生成文本和图像，并支持图像编辑功能。该模型通过结合语言模型的下一个token预测和扩散模型，在单一变换器架构上处理混合模态数据。Transfusion在预训练阶段利用了大量的文本和图像数据，表现出强大的扩展性和优异的性能。其主要功能包括多模态生成、混合模态序列训练、高效的注意力机制、模态特定编码、图像压缩、高质量图像生成、文本生成

AI项目与工具 2025年06月12日 26 点赞 0 评论 215 浏览