多模态

TextHarmony

TextHarmony是一款由华东师范大学与字节跳动联合开发的多模态生成模型,擅长视觉与文本信息的生成与理解。该模型基于Slide-LoRA技术,支持视觉文本生成、编辑、理解及感知等功能,广泛应用于文档分析、场景文本识别、视觉问题回答、图像编辑与增强以及信息检索等领域。通过高质量数据集的构建与多模态预训练,TextHarmony在视觉与语言生成任务中表现出色。

YuE

YuE 是一款由香港科技大学与 Multimodal Art Projection 联合开发的开源 AI 音乐生成模型,支持多语言和多种音乐风格,如流行、金属、爵士、嘻哈等。通过语义增强音频分词器、双分词技术和三阶段训练方案,解决长上下文处理与音乐生成难题,生成结构连贯、旋律优美的歌曲。模型完全开源,用户可自由使用和定制,适用于音乐创作、影视配乐、游戏音效及社交媒体内容制作等多个场景。

MinerU

MinerU是一款开源智能数据提取工具,专注于复杂PDF文档的高效解析与提取。它能够将包含多种内容类型的PDF文档转换为结构化的Markdown格式,支持图像、公式、表格和文本等多种内容处理,保留原始文档结构和格式,支持公式识别与转换成LaTeX格式,自动删除页眉、页脚、脚注和页码等非内容元素,适用于学术、财务、法律等多个领域。

AI推理模型有哪些?13个支持深度思考的推理模型

本文介绍了13款支持深度思考的AI推理模型,涵盖数学、代码、自然语言推理等多个领域。这些模型通过强化学习和大数据分析,能够高效处理复杂问题,提供精准的决策支持。部分模型具备多模态处理能力、透明推理过程及开源特性,适用于不同应用场景,如教育、医疗和科研等。

冒泡鸭AI

一个基于多模态大模型技术的AI聊天机器人和AI智能体平台,冒泡鸭AI内部载有众多由大模型技术驱动的智能对话实体,这些"智能体"不仅致力于为用户解答疑惑、激发创意,还能深度聊天,旨在与用户建立情感纽带。

TaoAvatar

TaoAvatar是阿里巴巴推出的高保真、轻量级3D全身虚拟人技术,基于3D高斯溅射(3DGS)实现照片级真实感的虚拟形象生成。支持多模态驱动,具备高帧率实时渲染能力,适用于AR、移动设备及高清显示平台。其轻量级架构结合深度学习优化,提升了运行效率与交互自然度,广泛应用于电商直播、全息通信、虚拟会议、在线教育及娱乐等领域。

NeMo

NeMo 是一款基于 NVIDIA 技术的端到端云原生框架,专为生成式 AI 模型的设计与部署而打造。它具备模块化架构、多模态支持、优化算法及分布式训练能力,可应用于语音识别、自然语言处理、文本到语音转换、对话式 AI 等多个领域,同时支持预训练模型微调和端到端开发流程,为企业提供高效灵活的解决方案。

SUPIR

SUPIR是一种创新的图像修复和画质增强方法,基于大规模生成模型StableDiffusion-XL(SDXL)和模型扩展技术。它通过深度学习和多模态方法实现低质量图像的高质量恢复,支持通过文本提示进行图像恢复的精细控制。SUPIR适用于多种应用场景,如老照片修复、模糊图像增强、噪点去除和色彩校正与增强。

AnimeGamer

AnimeGamer是一款由腾讯PCG与香港城市大学联合开发的动漫生活模拟系统,基于多模态大语言模型(MLLM),支持玩家通过自然语言指令操控动漫角色,沉浸于动态游戏世界中。系统能生成高一致性的动态动画视频,并实时更新角色状态,如体力、社交和娱乐值。其核心技术包括多模态表示、视频扩散模型及上下文一致性机制,适用于个性化娱乐、创意激发、教育辅助及游戏开发等多种场景。

Gemini 2.0 Pro

Gemini 2.0 Pro是Google推出的高性能AI模型,具备200万tokens的上下文窗口,支持复杂任务处理、多语言理解和代码生成。它能调用外部工具如Google搜索和代码执行环境,提升信息获取与问题解决能力。适用于编程辅助、数据分析、学术研究、教育及创意内容生成等多个领域,是当前Google系列模型中的佼佼者。