多模态

1. 首页
2. 多模态

HumanOmni

HumanOmni 是一款面向人类中心场景的多模态大模型，融合视觉与听觉信息，具备情感识别、面部描述、语音理解等功能。基于大量视频与指令数据训练，采用动态权重调整机制，支持多模态交互与场景理解。适用于影视分析、教育、广告及内容创作等领域，具备良好的可扩展性和灵活性。

AI项目与工具 2025年06月12日 92 点赞 0 评论 996 浏览

谷觅AI

支持AI文章自动生成，谷觅AI提供自动写作和批量创作能力，AI写作生成器系统工具。

AI写作对话 2025年06月05日 87 点赞 0 评论 996 浏览

Finedefics

Finedefics是由北京大学彭宇新教授团队开发的细粒度多模态大模型，专注于提升多模态大语言模型在细粒度视觉识别任务中的表现。该模型通过引入对象的细粒度属性描述，结合对比学习方法，实现视觉对象与类别名称的精准对齐。在多个权威数据集上表现出色，准确率达76.84%。其应用场景涵盖生物多样性监测、智能交通、零售管理及工业检测等领域。

AI项目与工具 2025年06月12日 10 点赞 0 评论 996 浏览

Ultravox

Ultravox 是一种多模态大型语言模型（LLM），能够直接处理文本和语音输入，无需额外的语音识别步骤。其核心技术包括多模态投影器，用于将音频数据转换为高维空间表示，显著提升语音理解和处理效率。该模型支持实时语音对话、多语言扩展及领域特定知识的学习，适用于智能客服、虚拟助手、语言学习、实时翻译及教育等领域。

AI项目与工具 2025年06月12日 51 点赞 0 评论 994 浏览

MultiFoley

MultiFoley是一款基于多模态控制的音效生成系统，能够根据文本、音频或视频输入生成与视频同步的高质量Foley声音效果。它支持文本驱动和音频驱动的音效生成，同时具备音频扩展和质量控制功能，广泛应用于电影、游戏、动画及虚拟现实等领域，为用户提供灵活且高效的声音设计解决方案。

AI项目与工具 2025年06月12日 78 点赞 0 评论 992 浏览

Agent K v1.0

Agent K v1.0 是一款端到端自主数据科学智能体，由华为诺亚方舟实验室与伦敦大学学院团队联合开发。该工具能够自动化处理数据科学生命周期中的各个环节，支持多模态数据处理，具备动态多步骤问题解决能力，并通过结构化推理和动态记忆管理实现自我学习与优化。Agent K v1.0 在Kaggle多模态挑战赛中表现优异，广泛应用于金融、医疗、零售、制造及客户服务等领域。

AI项目与工具 2025年06月12日 68 点赞 0 评论 992 浏览

Flame

Flame是一款开源的多模态AI模型，能够将UI设计截图转换为高质量的现代前端代码。它支持React等主流框架，具备动态交互、组件化开发和高代码质量的特点。Flame通过创新的数据合成方法提升代码多样性与准确性，适用于快速原型开发、提升开发效率及辅助学习等多种场景。其训练数据、模型和测试集均已开源，为前端开发提供了高效的工具支持。

AI项目与工具 2025年06月12日 87 点赞 0 评论 991 浏览

Pipecat

Pipecat是一款开源Python框架，用于构建语音和多模态对话系统。它整合了语音识别、文本转语音及对话处理功能，支持与主流AI平台集成，采用模块化管道架构，提升开发效率。基于帧的实时处理机制确保流畅交互，适用于语音助手、企业服务、教育、医疗及多模态应用等多种场景。

AI项目与工具 2025年06月12日 78 点赞 0 评论 990 浏览

TheoremExplainAgent

TheoremExplainAgent（TEA）是一款基于多模态技术的AI工具，可生成超过5分钟的数学与科学定理解释视频，涵盖多个STEM领域。它结合文本、动画和语音，提升抽象概念的理解效果，并具备自动错误诊断功能。通过TheoremExplainBench基准评估，TEA在准确性、逻辑性和视觉表现上均表现优异，适用于在线教育、课堂教学和学术研究等多种场景。

AI项目与工具 2025年06月12日 13 点赞 0 评论 987 浏览

Jodi

Jodi是由中国科学院计算技术研究所和中国科学院大学推出的扩散模型框架，基于联合建模图像域和多个标签域，实现视觉生成与理解的统一。它支持联合生成、可控生成和图像感知三种任务，利用线性扩散Transformer和角色切换机制，提升生成效率和跨领域一致性。Jodi使用Joint-1.6M数据集进行训练，包含20万张高质量图像和7个视觉域标签，适用于创意内容生成、多模态数据增强、图像编辑与修复等场景。

AI项目与工具 2025年06月11日 32 点赞 0 评论 986 浏览