论文标题：Automated GUI widgets classification（自动化 GUI 控件分类）

期刊：Frontiers of Computer Science

作者：Kabir Sulaiman SAID, Liming NIE, Yuanchang LIN, Yaowen ZHENG, Zuohua DING

DOI：10.1007/s11704-022-2076-7

微信链接：点击此处阅读微信文章

图形用户界面 (GUI)的控件在移动应用程序 (apps) 中是必不可少的。它们被用于与用户交互并帮助用户在活动之间导航。由于大多数应用程序通过 GUI与其用户交互，因此应用程序开发过程的几个方面（例如 GUI 设计和测试）成为关键任务。这些任务通常需要自动化识别这些控件的类型（例如 CheckBox 和 EditText）。因此，能否获得更好的控件分类性能成为这些任务成功的关键之一。近年来，研究人员提出了许多提高控件分类性能的技术。然而，先前的工作在很大程度上依赖于模型架构的手动设计。这涉及许多手动工作来设计精美的模型架构，并且通常需要专业技能。它需要经历多次试验和错误，而且试验既费时又昂贵。此外，GUI控件的类内差异大和跨类相似等特点，对准确检测和分类控件类型提出了一些挑战。因此，一种可以使架构设计自动化的方法会很有帮助。研究人员和从业者可以利用这种方法来减少设计良好训练模型架构的时间。此外，在数据集上生成模型架构将有助于提高性能。

本文提出了NASW方法来自动搜索良好架构，并基于标记的控件数据集生成分类模型。NASW 利用神经架构搜索 (NAS) 的能力来减少设计良好架构的时间消耗并提高性能。为了达到上述目标，我们首先设计了一个基于单元的搜索空间，其中包含了多种架构。其次，我们使用连续松弛技术，将我们的搜索空间转换为连续搜索空间。然后，我们使用梯度下降算法，从该搜索空间中搜索一个最好的单元格作为架构的核心元素。被搜索出的最好单元被堆叠以创建候选架构。而后，根据搜索后的验证性能选择性能最佳的候选架构。最后，我们在大型训练集上，对该架构重新训练，以获得用于控件分类的 NASWm 模型。

我们的实验结果表明：（i）本文提出的方法 NASW 可以在不到1小时的时间内，获得用于控件分类的最佳模型架构，（ii）NASW的性能优于使用手动设计的模型架构。该模型将能在GUI代码生成和测试等任务中，发挥重要作用。

文章精要

相关内容推荐：

文章精要 | VenomAttack: Android系统中自动化和自适应的活动劫持攻击 2022 16(6): 171301

NTRU问题的困难性 2022 16(6): 166822

一种基于云模型的LDoS攻击检测方法 2022 16(6): 166821

本地化差分隐私技术下主要项值识别的有效方法 2022 16(5): 165825

基于格的 Fiat-Shamir 类签名的（完全）泄漏容忍安全性研究 2022 16(5): 165819

Frontiers of Computer Science

Frontiers of Computer Science （FCS）是由教育部主管、高等教育出版社和北京航空航天大学共同主办、SpringerNature 公司海外发行的英文学术期刊。本刊于 2007 年创刊，双月刊，全球发行。主要刊登计算机科学领域具有创新性的综述论文、研究论文等。本刊主编为周志华教授，共同主编为熊璋教授。编委会及青年 AE 团队由国内外知名学者及优秀青年学者组成。本刊被 SCI、Ei、DBLP、INSPEC、SCOPUS 和中国科学引文数据库（CSCD）核心库等收录，为 CCF 推荐期刊；两次入选“中国科技期刊国际影响力提升计划”；入选“第4届中国国际化精品科技期刊”；入选“中国科技期刊卓越行动计划项目”。

《前沿》系列英文学术期刊

由教育部主管、高等教育出版社主办的《前沿》（Frontiers）系列英文学术期刊，于2006年正式创刊，以网络版和印刷版向全球发行。系列期刊包括基础科学、 、工程技术和人文社会科学四个主题，是我国覆盖学科最广泛的英文学术期刊群，其中13种被SCI收录，其他也被A&HCI、Ei、MEDLINE或相应学科国际权威检索系统收录，具有一定的国际学术影响力。系列期刊采用在线优先出版方式，保证文章以最快速度发表。

中国学术前沿期刊网

http://journal.hep.com.cn