多模态
  1. 首页
  2. 多模态

列表

MMaDA

MMaDA

MMaDA（Multimodal Large Diffusion Language Models）是由普林斯顿大学、清华大学、北京大学和字节跳动联合开发的多模态扩散模型，支持跨文本推理、多模态理解和文本到图像生成等多种功能。其采用统一的扩散架构和模态不可知设计，结合混合长链推理微调策略与UniGRPO强化学习算法，提升跨模态任务性能。MMaDA在多项任务中表现优异，适用于内容创作、教育辅助、智能客
AI项目与工具 2025年06月11日
LazyLLM

LazyLLM

LazyLLM 是一款开源的低代码平台，用于高效构建多智能体大语言模型应用。它支持低代码开发、多智能体架构、模型微调、一键部署、跨平台运行及多模态扩展等功能，适用于聊天机器人、RAG、故事创作和AI绘画等多种场景。其核心采用数据流驱动和模块化设计，提升开发效率和灵活性。
AI项目与工具 2025年06月12日
Pipecat

Pipecat

Pipecat是一款开源Python框架，用于构建语音和多模态对话系统。它整合了语音识别、文本转语音及对话处理功能，支持与主流AI平台集成，采用模块化管道架构，提升开发效率。基于帧的实时处理机制确保流畅交互，适用于语音助手、企业服务、教育、医疗及多模态应用等多种场景。
AI项目与工具 2025年06月12日
讯飞智能交互机

讯飞智能交互机

讯飞智能交互机是一款基于AI技术的交互设备，支持多模态感知与多维表达，提供沉浸式虚拟人交互体验。用户可自定义虚拟人形象和语音，接入讯飞星火大模型以增强交互能力。广泛应用于智能客服、导览讲解、政务服务等领域，提升服务效率与用户体验。
AI项目与工具 2025年06月12日
Voyage Multimodal

Voyage Multimodal

Voyage Multimodal-3 是一款多模态嵌入模型，能够处理文本、图像以及它们的混合数据，无需复杂文档解析即可提取关键视觉特征。它在多模态检索任务中的准确率显著高于现有最佳模型，支持语义搜索和文档理解，适用于法律、金融、医疗等多个领域的复杂文档检索任务。
AI项目与工具 2025年06月12日
Granite 3.2

Granite 3.2

Granite 3.2是IBM推出的开源多模态AI模型系列，具备强大的推理、视觉理解和预测能力。其核心功能包括链式推理、多模态融合、稀疏嵌入和时间序列预测，适用于复杂任务自动化、文档理解、安全监控等领域。Granite 3.2通过优化资源利用和安全性设计，提升了模型性能与实用性。
AI项目与工具 2025年06月12日
Flex.2

Flex.2

Flex.2-preview是Ostris开发的开源文本到图像生成模型，具备80亿参数规模。支持长文本输入、图像修复和多模态控制输入，适用于创意设计、图像修复和内容生成等多种场景。模型基于扩散框架，采用多通道输入处理和高效推理算法，可通过ComfyUI或Diffusers库集成使用，适合实验性开发和个性化定制。
AI项目与工具 2025年06月11日
TaoAvatar

TaoAvatar

TaoAvatar是阿里巴巴推出的高保真、轻量级3D全身虚拟人技术，基于3D高斯溅射（3DGS）实现照片级真实感的虚拟形象生成。支持多模态驱动，具备高帧率实时渲染能力，适用于AR、移动设备及高清显示平台。其轻量级架构结合深度学习优化，提升了运行效率与交互自然度，广泛应用于电商直播、全息通信、虚拟会议、在线教育及娱乐等领域。
AI项目与工具 2025年06月12日
OmniAudio

OmniAudio

OmniAudio-2.6B是一款专为边缘设备设计的高性能音频语言模型，具备语音识别、转录、问答、对话生成及内容创作等核心功能。其技术优势在于多模态架构的高效集成、稀疏性利用以及三阶段训练流程，支持FP16和Q4_K_M量化版本，确保在资源受限的环境下仍能稳定运行。OmniAudio-2.6B可应用于智能助手、车载系统、会议记录、教育和医疗等多个领域，为用户提供便捷、高效的语音交互体验。
AI项目与工具 2025年06月12日
AnimeGamer

AnimeGamer

AnimeGamer是一款由腾讯PCG与香港城市大学联合开发的动漫生活模拟系统，基于多模态大语言模型（MLLM），支持玩家通过自然语言指令操控动漫角色，沉浸于动态游戏世界中。系统能生成高一致性的动态动画视频，并实时更新角色状态，如体力、社交和娱乐值。其核心技术包括多模态表示、视频扩散模型及上下文一致性机制，适用于个性化娱乐、创意激发、教育辅助及游戏开发等多种场景。
AI项目与工具 2025年06月12日