项泳彪-淘宝闪购AI 驱动 UI 自动化提效实践.pdf

1、淘宝闪购AI 驱动 UI 自动化提效实践项泳彪|资深测试开发专家目录010203040605传统UI自动化困境AI+UI自动化业界方案调研淘宝闪购AIUI自动化方案AIUI平台技术实现落地效果及创新用法尝试一点思考传统UI自动化困境传统UI自动化局限性随着产品迭代速度加快，UI 界面变化较频繁，传统的 UI 自动化测试高度依赖元素定位，需要持续投入大量时间和精力来维护和更新脚本，实际的落地运用效果不尽如人意产品 UI 变更频繁传统UI自动化测试主要依赖于元素定位 和 脚本编写来实现自动化测试。在一些简单、稳定的业务场景中表现良好，但在面对以下挑战时显得力不从心不同平台（如 Web、H5、iOS

2、、Android 等）的 UI 自动化框架存在差异，即使产品在不同平台上的操作相差无几，传统的自动化测试也需要针对不同平台分别编写和维护脚本，这导致大大增加了测试工作量跨平台兼容性问题复杂的 UI 界面和交互元素（如：动态生成的内容、图片中的文字、iframe 框架、画布等），传统的元素定位方法难以准确识别，需要特殊处理，导致测试结果不可靠复杂界面元素识别复杂页面的 UI 交互逻辑可能导致自动化脚本冗长、结构混乱，降低了自动化脚本的可读性，同时也增加了后续理解和维护脚本的难度。可读性和可维护性AI+UI自动化业界方案调研AI带来新的可能UI 元素智能识别基于页面截图进行识别和操作，在不同平台上

3、的自动化脚本编写调试体验一致针对不同平台的细微 UI 差异，实现一次编写、多平台运行，极大地简化跨平台测试的工作量利用 AI 视觉技术，智能识别 UI 界面中的各种元素，包括文本、图片、图标等。即使产品界面发生变化，也能快速准确地找到对应的元素，极大提升测试的灵活性和准确性，降低人工维护的成本。跨平台通用性高精度与鲁棒性AI 视觉技术具有强大的图像处理和模式识别能力，能够处理各种复杂的 UI 场景（如：动态内容、模糊图片等），确保测试结果的高精度和鲁棒性。可读性和可维护性基于自然语言描述的自动化脚本，可读性和可维护性较好共性 UI 问题检测定制的 Prompt 提示词，可实现共性 UI 问题的

4、巡检发现。例如：UI 样式问题诸如白屏、报错、空坑、元素堆叠、异常内容NaN等；页面数据问题诸如：小数点精度。探索引入基于AI的UI自动化测试方案，通过 AI 视觉理解与自然语言处理能力，动态解析 UI 元素逻辑关系，自动生成可执行的脚本指令大模型 AI+UI 自动化具有以下几个核心优势：业界方案1|OmniParser+Qwen2.5-VL+Playwright 利用 OmniParser 对页面元素预识别和标注，以辅助大模型（Qwen2.5-VL）进行决策，并最终通过Playwright 执行操作优势：OmniParser 加速大模型对元素的定位速度，在简单场景下识别准确性较高；执行层（P

5、laywright）与识别层（OmniParser+Qwen2.5-VL）解耦，具备较高的灵活性。局限与挑战：识别精度与鲁棒性：Omni Parser 在复杂场景下（如下拉筛选、自定义组件）存在元素遗漏、定位偏差、假阳性（不该被打标的被标记）等问题。调整参数，仍难以完全解决，影响大模型分析执行的准确性开发成本高：引入 Omni Parser 需额外开发资源用于图片解析、模型调试，增加了方案复杂度大模型决策依赖性：Qwen2.5-VL 的执行操作准确性高度依赖 OmniParser 的打标质量数据安全问题：OmniParser 对元素标注时，会调用外部开源模型交互，可能有数据泄露风险业界方案2|

6、Midscene 框架+Qwen2.5-VL+Playwright以 Midscene 作为核心 SDK，集成元素识别与基础操作，并通过 Qwen2.5-VL 提升元素识别能力，最终通过 Playwright 进行底层操作执行优势Midscene 结合 Qwen2.5-VL 在基础场景下元素识别准确性较高集成元素识别与基础操作功能，相较于分离方案，可降低初期开发成本调试交互与可视化报告体验较好 扩展性不足：Midscene 的元素识别与操作强绑定，导致在处理复杂操作（如拖拽、文件上传）和动态断言方面存在局限，需要大量二次开发才能满足需求 能力受限：Midscene 现有能力较为基础，在执行调度