自然语言指令

AGUVIS

AGUVIS是一款由香港大学与Salesforce联合开发的纯视觉框架,专为自主GUI智能体设计。它支持跨平台操作,通过图像观察与自然语言指令的关联,以及显式规划和推理能力,提高了代理在复杂数字环境中的交互效率。AGUVIS采用大规模数据集及两阶段训练方法,实现了在离线与在线场景中的高效性能,成为首个不依赖外部闭源模型即可独立完成任务的纯视觉GUI代理。

BrushEdit

BrushEdit是一款基于多模态大型语言模型和双分支图像修复模型的先进图像编辑框架,支持用户通过自然语言指令进行自由形式的多轮交互式编辑操作。其核心功能包括指令引导的图像编辑、多轮交互式编辑、自由形式掩码编辑、背景与前景处理以及图像修复。该工具通过特征融合、零卷积层和混合微调策略,实现了对编辑区域的精准控制和背景的无缝衔接,适用于内容创作、影视修复、广告设计、社交媒体分享及电商产品图片优化等多个