DiffSensei

DiffSensei是由北京大学、上海AI实验室及南洋理工大学的研究团队共同研发的漫画生成框架，专注于生成高质量的黑白漫画面板。该框架融合了基于扩散的图像生成技术和多模态大型语言模型（MLLM），实现了对漫画中多角色外观与互动的精准控制。通过掩码交叉注意力机制和MLLM适配器，DiffSensei能够根据文本提示动态调整角色的细节，如表情、姿势和动作，从而生成连贯且具有视觉吸引力的作品。此外，该框架还引入了MangaZero数据集，支持多角色、多状态的漫画生成任务。