UFO²

UFO²是什么

UFO² 是微软开发的一款面向 Windows 桌面的多智能体操作系统（AgentOS），通过深度系统集成与自然语言交互技术，实现复杂桌面任务的自动化处理。该系统采用中央 HostAgent 协调多个应用专用的 AppAgent 执行操作，结合图形界面交互与原生 API 调用，提升任务执行的效率与稳定性。UFO² 引入混合控制检测、持续知识整合及非干扰式用户体验设计，支持在隔离的虚拟桌面中运行，避免对用户日常操作造成影响。在多种实际应用场景中，UFO² 显示出良好的性能表现，有效提高了自动化任务的成功率和执行效率。

UFO²的主要功能

• 深度操作系统集成：能够深入集成至 Windows 系统，实现对桌面应用的精细控制。
• 非干扰式用户体验：支持在独立虚拟桌面中运行，确保用户与智能体操作互不干扰。
• 多轮交互支持：允许用户在任务执行过程中逐步细化指令或进行干预。
• 安全保障机制：具备风险检测能力，在执行潜在危险操作前提示用户确认，保障数据与系统安全。

UFO²的技术原理

• 多智能体架构：
  • HostAgent：作为核心控制模块，负责解析用户指令、分解任务并调度 AppAgent，协调跨应用的操作流程。
  • AppAgent：针对特定应用的功能模块，具备专属 API、知识库及 GUI/API 混合操作接口，实现高效任务执行。
• 混合控制检测：融合 Windows UI Automation（UIA）APIs 提供的结构化信息与视觉识别模型，实现对标准与自定义 UI 元素的准确识别。
• 统一 GUI/API 动作层：基于 Puppeteer 技术，动态选择 GUI 操作或原生 API 调用，优化执行路径，降低 GUI 操作的脆弱性。
• 持续知识整合：利用检索增强型记忆（RAG）技术，将外部文档和历史执行记录整合到智能体的知识库中，实现动态学习与改进。
• 推测性多动作执行：通过一次推理预测多个操作步骤，并在执行前验证其可行性，减少推理次数，提升执行效率。

UFO²的项目地址

• 项目官网：https://microsoft.github.io/UFO/
• GitHub仓库：https://github.com/microsoft/UFO
• arXiv技术论文：https://arxiv.org/pdf/2504.14603

UFO²的应用场景

• 办公自动化：支持 Excel 数据处理、Word 文档编辑、PowerPoint 制作等任务。
• 跨应用工作流：可协调多个应用程序完成复杂任务，如从 Excel 导入数据至 Outlook。
• 企业任务自动化：减少人工操作，提高数据录入与文件处理的效率。
• 智能客服：通过自然语言交互快速响应用户问题。
• 教育与培训：辅助教学过程，自动演示操作或生成学习报告。