多模态

Soundwave

Soundwave是由香港中文大学(深圳)开发的开源语音理解大模型,专注于语音与文本的智能对齐与处理。它采用对齐适配器和压缩适配器技术,提升语音特征压缩效率,支持语音翻译、语音问答、情绪识别及多模态交互等功能。适用于智能语音助手、语言学习、内容创作等多个领域,具有广泛的应用前景。

OCTAVE

OCTAVE是一款由Hume AI研发的语音语言处理工具,融合了多种领先AI技术,具备强大的个性化语音生成能力,支持从文字到语音的即时转化,并能精准模仿不同说话者的声线与情感表达。其主要功能包括多角色对话生成、复杂指令理解与响应,以及实时语音处理等。此外,OCTAVE可应用于客户服务、虚拟助手、教育培训、娱乐游戏等多个领域,为用户带来更加自然、生动的交互体验。

Ola

Ola是一款由多机构联合开发的全模态语言模型,支持文本、图像、视频和音频等多种输入形式。通过渐进式模态对齐策略,逐步扩展模型的多模态理解能力,同时采用流式解码技术提升交互体验。其架构融合多种编码器与解码器,结合局部-全局注意力机制,实现高效多模态处理,在多项任务中表现优异。

OmniTalker

OmniTalker 是一款由阿里巴巴开发的实时多模态交互技术,支持文本、图像、音频和视频的同步处理,并能生成自然流畅的语音响应。其核心技术包括 Thinker-Talker 架构和 TMRoPE 时间对齐技术,实现音视频精准同步与高效流式处理。适用于智能语音助手、内容创作、教育、客服及工业质检等场景,具有高实时性与稳定性。

冒泡鸭AI

一个基于多模态大模型技术的AI聊天机器人和AI智能体平台,冒泡鸭AI内部载有众多由大模型技术驱动的智能对话实体,这些"智能体"不仅致力于为用户解答疑惑、激发创意,还能深度聊天,旨在与用户建立情感纽带。

MultiBooth

MultiBooth是一种由多所高校和研究机构联合开发的多概念图像生成工具,能够根据文本提示生成包含多个指定概念的高质量图像。其核心技术包括单概念学习和多概念整合,采用多模态编码器、自适应归一化和区域定制化模块,实现高效、精准的图像生成。支持插件式架构,具备良好的扩展性和灵活性,适用于创意设计、广告、教育、电商及科研等多个领域。

InstructMove

InstructMove是由东京大学与Adobe合作开发的图像编辑模型,基于视频帧对变化学习如何根据指令进行图像操作。它能够执行非刚性编辑、视角调整和元素重排等任务,同时支持精确的局部编辑。该模型采用真实视频数据训练,提升编辑自然性与真实性,适用于影视、广告、设计等多个领域。其技术基于多模态语言模型和扩散模型,结合掩码和ControlNet等控制机制,实现灵活高效的图像编辑。

文心智能体平台

百度推出的一个基于文心大模型的AI智能体(Agent)平台,文心智能体平台旨在支持广大开发者根据自身行业领域、应用场景,选取不同类型的开发方式,打造大模型时代的产品能力。

书生

书生通用大模型体系是一套全面、高效的AI解决方案,涵盖了语言处理、多模态分析、气象预报、翼型设计和三维建模等多个领域。

云从科技从容大模型

云从科技从容大模型是一个多功能、跨行业的AI大模型,它通过集成云从科技的核心技术,为用户提供个性化、智能化的服务和解决方案。