多模态

1. 首页
2. 多模态

MultiFoley

MultiFoley是一款基于多模态控制的音效生成系统，能够根据文本、音频或视频输入生成与视频同步的高质量Foley声音效果。它支持文本驱动和音频驱动的音效生成，同时具备音频扩展和质量控制功能，广泛应用于电影、游戏、动画及虚拟现实等领域，为用户提供灵活且高效的声音设计解决方案。

AI项目与工具 2025年06月12日 78 点赞 0 评论 979 浏览

Finedefics

Finedefics是由北京大学彭宇新教授团队开发的细粒度多模态大模型，专注于提升多模态大语言模型在细粒度视觉识别任务中的表现。该模型通过引入对象的细粒度属性描述，结合对比学习方法，实现视觉对象与类别名称的精准对齐。在多个权威数据集上表现出色，准确率达76.84%。其应用场景涵盖生物多样性监测、智能交通、零售管理及工业检测等领域。

AI项目与工具 2025年06月12日 10 点赞 0 评论 979 浏览

谷觅AI

支持AI文章自动生成，谷觅AI提供自动写作和批量创作能力，AI写作生成器系统工具。

AI写作对话 2025年06月05日 87 点赞 0 评论 978 浏览

Ultravox

Ultravox 是一种多模态大型语言模型（LLM），能够直接处理文本和语音输入，无需额外的语音识别步骤。其核心技术包括多模态投影器，用于将音频数据转换为高维空间表示，显著提升语音理解和处理效率。该模型支持实时语音对话、多语言扩展及领域特定知识的学习，适用于智能客服、虚拟助手、语言学习、实时翻译及教育等领域。

AI项目与工具 2025年06月12日 51 点赞 0 评论 978 浏览

ChatEDU

多模态教育工具，通过借助生成式 AI成为学生的 “第二大脑”。提供包括知识图谱、动态知识档案和任务型学习代理三大核心功能。

教育学习 2025年06月05日 10 点赞 0 评论 975 浏览

TheoremExplainAgent

TheoremExplainAgent（TEA）是一款基于多模态技术的AI工具，可生成超过5分钟的数学与科学定理解释视频，涵盖多个STEM领域。它结合文本、动画和语音，提升抽象概念的理解效果，并具备自动错误诊断功能。通过TheoremExplainBench基准评估，TEA在准确性、逻辑性和视觉表现上均表现优异，适用于在线教育、课堂教学和学术研究等多种场景。

AI项目与工具 2025年06月12日 13 点赞 0 评论 974 浏览

Pipecat

Pipecat是一款开源Python框架，用于构建语音和多模态对话系统。它整合了语音识别、文本转语音及对话处理功能，支持与主流AI平台集成，采用模块化管道架构，提升开发效率。基于帧的实时处理机制确保流畅交互，适用于语音助手、企业服务、教育、医疗及多模态应用等多种场景。

AI项目与工具 2025年06月12日 78 点赞 0 评论 973 浏览

Flame

Flame是一款开源的多模态AI模型，能够将UI设计截图转换为高质量的现代前端代码。它支持React等主流框架，具备动态交互、组件化开发和高代码质量的特点。Flame通过创新的数据合成方法提升代码多样性与准确性，适用于快速原型开发、提升开发效率及辅助学习等多种场景。其训练数据、模型和测试集均已开源，为前端开发提供了高效的工具支持。

AI项目与工具 2025年06月12日 87 点赞 0 评论 972 浏览

Agent K v1.0

Agent K v1.0 是一款端到端自主数据科学智能体，由华为诺亚方舟实验室与伦敦大学学院团队联合开发。该工具能够自动化处理数据科学生命周期中的各个环节，支持多模态数据处理，具备动态多步骤问题解决能力，并通过结构化推理和动态记忆管理实现自我学习与优化。Agent K v1.0 在Kaggle多模态挑战赛中表现优异，广泛应用于金融、医疗、零售、制造及客户服务等领域。

AI项目与工具 2025年06月12日 68 点赞 0 评论 972 浏览

LatentLM

LatentLM是一款由微软与清华大学合作开发的多模态生成模型，能够统一处理文本、图像、音频等多种数据类型。它基于变分自编码器（VAE）和因果Transformer架构，支持自回归生成与跨模态信息共享，特别擅长图像生成、多模态语言模型及文本到语音合成等任务，其提出的σ-VAE进一步提升了模型的鲁棒性。

AI项目与工具 2025年06月12日 67 点赞 0 评论 970 浏览