MM

MM-StoryAgent简介

MM-StoryAgent是由上海交通大学X-LANCE实验室与阿里巴巴集团联合开发的开源多模态、多智能体框架，旨在生成沉浸式的有声故事绘本视频。该框架结合大型语言模型（LLMs）和多种模态生成工具（如文本、图像、音频），通过多阶段写作流程和模态特定的提示修订机制，提升故事内容的吸引力和沉浸感。其模块化设计支持灵活替换不同的生成模型和API，为故事创作提供高效、灵活且富有表现力的解决方案。

MM-StoryAgent的核心功能

• 高质量故事生成：通过多智能体协作与多阶段写作流程，生成具有吸引力、教育性和情感共鸣的故事内容。
• 多模态内容生成：整合文本、图像、语音、音乐和音效等多种形式，打造沉浸式体验。
• 角色一致性保障：利用角色提取和提示修订技术，确保图像中角色在多帧画面中的视觉统一。
• 模态对齐优化：基于对比学习模型和提示修订机制，增强文本与图像、音频之间的协调性。
• 模块化架构设计：支持不同生成模块的灵活替换，便于开发者根据需求进行定制与优化。

MM-StoryAgent的技术实现

• 多智能体协作架构：模拟作者与专家间的对话，生成故事大纲与章节内容，通过“修订者-审核者”机制持续优化提示质量。
• 多模态生成技术：
  • 文本生成：基于大型语言模型生成故事情节。
  • 图像生成：使用扩散模型生成与文本匹配的图像，并保持角色一致性。
  • 音频生成：通过TTS模型生成旁白，结合AudioLDM2或MusicGen生成音效与背景音乐。
  • 视频合成：将生成的图像、音频与文本整合为完整的有声故事视频。
• 模态对齐优化：借助CLIP、CLAP等对比学习模型评估并优化各模态内容之间的对齐效果。
• 模块化设计：支持不同生成模型和API的替换，便于系统扩展与性能提升。

MM-StoryAgent项目资源

• GitHub仓库：https://github.com/X-PLUG/MM_StoryAgent
• arXiv技术论文：https://arxiv.org/pdf/2503.05242
• 在线体验Demo：https://huggingface.co/spaces/wsntxxn/MM-StoryAgent

MM-StoryAgent的应用领域

• 儿童教育与娱乐：生成兼具趣味性与教育意义的有声故事视频。
• 数字内容创作：辅助创作者快速生成多模态故事内容。
• 在线教育：以故事形式增强知识讲解的趣味性。
• 多媒体出版：自动化生成有声绘本，提升内容制作效率。
• 智能设备集成：适配智能音箱、平板等设备，提供个性化故事服务。