控件识别
SmartAuto客户端提供了具有自主学习能力的控件识别技术,可以精准定位并识别UI元素,同时对于无法识别的元素,提供了截图识别的保障方案
元素识别
对于需要操作的控件,可点击 控件识别
按钮对设备界面进行结构分析,选取结构树中的元素进行控件名称识别。
- 识别结果为正确的语义时:可在编写自动化脚本时直接采用该名称进行操作
- 识别结果为错误的语义/未识别成功时:可以人工设定语义,并在自动化脚本中采用新设定的名称进行操作
- 识别结果存在控件与文字赋义相同时:可以通过
#OCR
开启ocr模式主动去除部分结构的获取(具体使用见 ocr使用说明 )
截图识别
对于结构树中无法抓取的元素,可以采用截图赋义的方式进行操作。
- 裁取的图片不要过大,也不要太小,尽量选取合适的范围,使有效区域占比最大
- 不要选择动态或者背景繁杂的页面截图
- 编辑图片属性中置信度与颜色对比请谨慎变更