多模态

Emu3

Emu3是一款由北京智源人工智能研究院开发的原生多模态世界模型,结合了多模态自回归技术和单一Transformer架构,能够在图像、视频和文本之间实现无缝转换。它不仅能够根据文本生成高质量图像,还能预测视频发展并理解图文内容,广泛应用于内容创作、广告营销、教育、娱乐等多个领域。

MultiBooth

MultiBooth是一种由多所高校和研究机构联合开发的多概念图像生成工具,能够根据文本提示生成包含多个指定概念的高质量图像。其核心技术包括单概念学习和多概念整合,采用多模态编码器、自适应归一化和区域定制化模块,实现高效、精准的图像生成。支持插件式架构,具备良好的扩展性和灵活性,适用于创意设计、广告、教育、电商及科研等多个领域。

TextHarmony

TextHarmony是一款由华东师范大学与字节跳动联合开发的多模态生成模型,擅长视觉与文本信息的生成与理解。该模型基于Slide-LoRA技术,支持视觉文本生成、编辑、理解及感知等功能,广泛应用于文档分析、场景文本识别、视觉问题回答、图像编辑与增强以及信息检索等领域。通过高质量数据集的构建与多模态预训练,TextHarmony在视觉与语言生成任务中表现出色。

悟道大模型

北京智源研究院开发的一系列超大规模智能模型系统,悟道大模型旨在在语言处理领域达到或超越国际先进水平。

华为盘古AI大模型

华为的盘古ai大模型是华为云推出的一项人工智能技术。该大模型包含了多个领域的大型模型,包括自然语言处理(NLP)大模型、计算机视觉(CV)大模型、多模态大模型、预测大模型和科学计算大模型。

OmniTalker

OmniTalker 是一款由阿里巴巴开发的实时多模态交互技术,支持文本、图像、音频和视频的同步处理,并能生成自然流畅的语音响应。其核心技术包括 Thinker-Talker 架构和 TMRoPE 时间对齐技术,实现音视频精准同步与高效流式处理。适用于智能语音助手、内容创作、教育、客服及工业质检等场景,具有高实时性与稳定性。

YuE

YuE 是一款由香港科技大学与 Multimodal Art Projection 联合开发的开源 AI 音乐生成模型,支持多语言和多种音乐风格,如流行、金属、爵士、嘻哈等。通过语义增强音频分词器、双分词技术和三阶段训练方案,解决长上下文处理与音乐生成难题,生成结构连贯、旋律优美的歌曲。模型完全开源,用户可自由使用和定制,适用于音乐创作、影视配乐、游戏音效及社交媒体内容制作等多个场景。

EMOVA

EMOVA是一款由多所高校与企业联合研发的多模态全能型AI助手,具备处理图像、文本和语音的能力,支持情感化语音对话,并通过轻量级情感控制模块增强了人机交互的自然性。其核心技术包括连续视觉编码器、语义-声学分离的语音分词器及全模态对齐机制,广泛应用于客户服务、教育辅助、智能家居控制等多个领域。

Instella

Instella是AMD推出的30亿参数开源语言模型,基于自回归Transformer架构,支持4096标记序列,具备强大的自然语言理解、指令跟随和多轮对话能力。通过多阶段训练和高效优化技术,Instella在多个任务中表现优异,适用于智能客服、内容创作、教育辅导、编程辅助和企业知识管理等多个场景。AMD全面开放了模型资源,促进AI技术发展与社区合作。

童语故事iMageStoryAi

一个基于数字分身和故事模型的AI儿童故事生成类Al产品,童语故事iMageStoryAi通过Al能力创造无限的潜能,让每个孩子健康快乐成长。