多模态
MultiBooth
MultiBooth是一种由多所高校和研究机构联合开发的多概念图像生成工具，能够根据文本提示生成包含多个指定概念的高质量图像。其核心技术包括单概念学习和多概念整合，采用多模态编码器、自适应归一化和区域定制化模块，实现高效、精准的图像生成。支持插件式架构，具备良好的扩展性和灵活性，适用于创意设计、广告、教育、电商及科研等多个领域。
InstructMove
InstructMove是由东京大学与Adobe合作开发的图像编辑模型，基于视频帧对变化学习如何根据指令进行图像操作。它能够执行非刚性编辑、视角调整和元素重排等任务，同时支持精确的局部编辑。该模型采用真实视频数据训练，提升编辑自然性与真实性，适用于影视、广告、设计等多个领域。其技术基于多模态语言模型和扩散模型，结合掩码和ControlNet等控制机制，实现灵活高效的图像编辑。
Deepfake Defenders
Deepfake Defenders 是一个由中国科学院自动化研究所的 VisionRush 团队开发的开源 AI 模型，主要用于检测和防御 Deepfake 技术生成的伪造图像和视频。它通过分析媒体内容中的细微像素变化来识别伪造内容，并提供像素级分析、实时检测等功能。该模型采用卷积神经网络（CNN）、生成对抗网络（GAN）等技术，支持多模态分析，具备开源协作特性，广泛应用于社交媒体监控、新闻验证
OmniTalker
OmniTalker 是一款由阿里巴巴开发的实时多模态交互技术，支持文本、图像、音频和视频的同步处理，并能生成自然流畅的语音响应。其核心技术包括 Thinker-Talker 架构和 TMRoPE 时间对齐技术，实现音视频精准同步与高效流式处理。适用于智能语音助手、内容创作、教育、客服及工业质检等场景，具有高实时性与稳定性。
Voyage Multimodal
Voyage Multimodal-3 是一款多模态嵌入模型，能够处理文本、图像以及它们的混合数据，无需复杂文档解析即可提取关键视觉特征。它在多模态检索任务中的准确率显著高于现有最佳模型，支持语义搜索和文档理解，适用于法律、金融、医疗等多个领域的复杂文档检索任务。
