AutoDroid

AutoDroid-V2简介

AutoDroid-V2是由清华大学人工智能产业研究院研发的基于小型语言模型（SLM）的移动端GUI自动化脚本代理工具。该工具通过代码生成技术提升设备端GUI代理的性能，能够分析应用的探索历史，自动生成详细的应用文档，为SLM生成多步骤脚本提供支持。相比传统GUI代理方式，AutoDroid-V2在任务完成率和执行效率方面有显著提升，同时减少了对大型云模型的依赖，从而降低用户隐私风险和集中服务成本。在多个基准测试中，AutoDroid-V2展现出良好的性能，具备在终端设备上全面部署GUI代理的潜力。

AutoDroid-V2的核心功能

• 自动化UI任务执行：通过生成和执行多步骤脚本，自动完成移动设备上的各类UI操作，如启动应用、输入文本、点击按钮等。
• 代码生成与执行：将UI自动化问题转化为代码生成任务，利用设备上的小型语言模型（SLM）生成可执行代码，并由代码解释器高效运行。
• 应用文档生成：根据应用的交互历史自动生成详细的文档，记录GUI状态、关键元素及其交互关系，辅助脚本生成。

AutoDroid-V2的技术基础

• arXiv技术论文：https://arxiv.org/pdf/2412.18116

AutoDroid-V2的应用场景

• 日常辅助：在用户忙碌时，根据消息内容自动回复，如工作邮件或朋友问候，避免遗漏重要信息。
• 办公场景：会议期间自动记录内容并提取关键信息，生成会议纪要，提高会议效率。
• 应用测试：在应用更新后自动执行回归测试，验证功能完整性，及时发现并修复潜在问题。
• 智能家居：根据用户习惯和环境条件自动调节灯光亮度和色温，提升居住舒适度。
• 医疗健康：在患者出院后自动发送随访提醒和健康问卷，协助医生掌握康复情况。