UI

UI-TARS是由字节跳动研发的新型原生图形用户界面（GUI）代理模型，能够通过自然语言对桌面、移动设备及网页界面进行自动化交互。该模型具备感知、推理、行动和记忆能力，可实时理解动态界面，并通过多模态输入（如文本和图像）完成复杂任务。其核心优势在于跨平台的标准化操作定义，支持多种环境下的交互，同时结合了快速响应与复杂任务规划的能力，具备多步推理、反思和错误纠正机制。此外，UI-TARS还支持短期和长期记忆功能，以适应动态任务需求。 在功能方面，UI-TARS涵盖多模态感知、自然语言交互、跨平台操作、视觉识别与交互、记忆与上下文管理、自动化任务执行以及灵活部署等特性。它既支持云端部署，也支持本地部署，满足不同使用场景的需求。开发者可通过丰富的API和工具进行二次开发和集成。 技术层面，UI-TARS基于大规模GUI截图数据集训练，实现对界面元素的精准描述与定位。其统一的行动建模机制支持跨平台交互，并引入系统化推理能力，提升任务分解与决策效率。此外，模型通过迭代训练与在线反思不断优化性能，减少人工干预。 项目已开源，相关代码、模型和论文可在GitHub、HuggingFace及arXiv获取。