特征融合

AnimateAnything

AnimateAnything是一项由浙江大学与北京航空航天大学联合研发的统一可控视频生成技术。它能够根据相机轨迹、文本提示及用户动作注释等多样化控制信号生成高质量视频,并通过多尺度特征融合网络将这些信号转化为逐帧光流进行精准引导。此外,为解决大范围运动带来的视频闪烁问题,该技术采用了基于频率的稳定模块,显著增强了视频的时间稳定性。主要应用于影视制作、虚拟现实、游戏开发以及教育培训等多个领域。

IFAdapter

IFAdapter是一种由腾讯与新加坡国立大学联合开发的文本到图像生成模型,专为提高多实例图像生成时的空间定位与特征表达准确性而设计。它通过“外观标记”与“实例语义图”两大关键技术解决了传统方法中的定位与特征问题,并支持以即插即用的形式融入现有扩散模型,无需重新训练即可实现高效的空间控制。

IMAGPose

IMAGPose是由南京理工大学开发的统一条件框架,用于人体姿态引导的图像生成。其核心功能包括多场景适应、细节与语义融合、灵活对齐及全局一致性保障。通过FLC、ILC和CVA模块,解决了传统方法在生成多样姿态图像时的局限性,适用于虚拟现实、影视制作、电商展示等多个领域。

Eagle

Eagle是一个由英伟达开发的多模态大模型,专长于处理高分辨率图像,提高视觉问答和文档理解能力。该模型采用多专家视觉编码器架构,通过简单的特征融合策略实现图像内容的深入理解。Eagle模型已开源,适用于多个行业,具有高分辨率图像处理、多模态理解、多专家视觉编码器、特征融合策略和预对齐训练等特点。

FantasyID

FantasyID是由阿里巴巴集团与北京邮电大学联合开发的视频生成框架,基于扩散变换器和3D面部几何先验,实现高质量、身份一致的视频生成。其通过多视角增强和分层特征注入技术,提升面部动态表现,同时保持身份稳定性。支持多种应用场景,如虚拟形象、内容创作和数字人交互,具备无需微调的高效生成能力。

POINTS 1.5

POINTS 1.5 是腾讯微信开发的多模态大模型,基于LLaVA架构设计,包含视觉编码器、投影器和大型语言模型。它在复杂场景OCR、推理、关键信息提取、数学问题解析及图片翻译等方面表现突出,适用于票据识别、自动客服、新闻摘要、学术论文处理、旅游翻译和在线教育等多个领域。该模型通过高效的数据处理和特征融合技术,实现了跨模态任务的精准处理与高效输出。

BrushEdit

BrushEdit是一款基于多模态大型语言模型和双分支图像修复模型的先进图像编辑框架,支持用户通过自然语言指令进行自由形式的多轮交互式编辑操作。其核心功能包括指令引导的图像编辑、多轮交互式编辑、自由形式掩码编辑、背景与前景处理以及图像修复。该工具通过特征融合、零卷积层和混合微调策略,实现了对编辑区域的精准控制和背景的无缝衔接,适用于内容创作、影视修复、广告设计、社交媒体分享及电商产品图片优化等多个