【技術實現步驟摘要】
本專利技術涉及軟件應用，尤其涉及一種基于視覺理解的全自動定位ui顯示問題的檢測方法。
技術介紹
1、圖形用戶界面(graphical?user?interface，簡稱gui，也簡稱ui)在幾乎所有現代桌面軟件和移動應用程序中扮演著重要的角色。在軟件應用程序和最終用戶之間提供了一個可視化的橋梁，通過他們可以彼此進行交互。
2、隨著移動設備的升級和審美的發展，gui的視覺效果越來越吸引人，用戶更加關注應用程序的可訪問性和可用性。然而，這樣的gui復雜性給gui實現帶來了巨大的調整。根據我們對眾測錯誤報告的初步研究，由于軟件或者硬件的兼容性，在不同設備上進行gui渲染時，總是會出現文本重疊、組件遮擋、圖像缺失等顯示問題。他們會對應用程序的可用性產生負面影響，導致用戶體驗不佳。為了檢測這些問題，故提出一種基于視覺理解的全自動定位ui顯示問題的檢測方法。
技術實現思路
1、本專利技術的目的是解決現有技術中存在的缺點，而提出的一種基于視覺理解的全自動定位ui顯示問題的檢測方法，通過對ui屏幕截圖的視覺信息進行建模，能夠在大規模的ui集合中快速發現存在顯示問題的ui，極大地節省時間和人力成本。
2、本專利技術解決其技術問題所采用的技術方案是：一種基于視覺理解的全自動定位ui顯示問題的檢測方法，包括以下步驟：
3、數據收集：收集不同ui界面的樣本數據，所述ui界面樣本數據通過屏幕截圖獲取；
4、ui顯示問題分類：根據ui顯示問題的類型，定義合適的問
5、組件遮擋、文本重疊、圖像缺失、空值以及屏幕模糊；
6、特征提取：通過計算機視覺技術，對收集到的ui顯示數據進行處理并提取ui界面中的特征；
7、訓練模型與測試：根據定義的問題模型，使用及其學習或者深度學習算法訓練模型，使用已訓練好的模型對新的ui顯示數據進行測試，并判斷新的ui顯示數據是否存在問題；
8、問題定位：若檢測到相關ui顯示問題，則通過模型輸出的結果定位問題所在的具體位置，利用檢測算法提取到的特征信息，與預期的ui顯示進行對比，找出差一點并在ui截圖上添加邊框來定位詳細的問題位置，以指導開發人員修復bug。
9、進一步地，所述屏幕截圖數據通過基于啟發式的訓練數據自動生成算法自動生成。
10、進一步地，所述特征提取是將處理后的圖像通過卷積神經網絡resnet50算法提取特征圖，卷積層的參數由一組可學習的濾波器組成，通過卷積運算提取截圖輸入的不同特性，卷積層之后，截圖被抽象為特征圖。
11、進一步地，所述卷積神經網絡rennet50算法引入深度殘差學習框架；
12、所述卷積神經網絡rennet50算法的公式為：
13、輸入：x
14、輸出：f(x)＝h(x)+x
15、其中，h(x)表示殘差塊的映射函數，殘差塊的計算過程如下：
16、第一層卷積層：
17、y1＝conv2d(x)
18、y1＝batchnormalization(y1)
19、y1＝relu(y1)
20、第二層卷積層：
21、y2＝conv2d(y1)
22、y2＝batchnormalization(y2)
23、y2＝relu(y2)
24、第三層卷積層：
25、y3＝conv2d(y2)
26、y3＝batchnormalization(y3)
27、短接連接：
28、x＝conv2d(x)
29、殘差計算：
30、f(x)＝h(x)+y3
31、其中，conv2d表示卷積操作，batchnormalization是批歸一化操作，relu是激活函數。
32、進一步地，所述訓練模型與測試具體包括以下步驟：
33、s1、將獲取特征圖輸入到區域建議網絡rpn模塊，生成一組目標提議框，每個提議框都有一個對象性分數；
34、s2、使用3＊3滑動窗口遍歷整個特征圖，并在每個窗口中心按照速率和尺度生成9個錨點，對每個錨點應用全連接層進行分類和初步包圍盒表達式；
35、s3、根據包圍盒表達式修正錨點位置以獲得準確的提議框；
36、s4、利用特征提取模塊獲得的特征圖和rpn模塊獲得的提議框，對輸入圖像進行分類；
37、s5、將分類層之后的結果輸入roi?pooling層，計算提議框，的特征圖；
38、s6、將提議框的特征圖輸入到分類模塊中，通過全連接神經網絡fc和softmax層計算具體類別的概率向量；
39、s7、再次使用包圍盒表達式得到各方案的位置偏移量進行回歸，以獲得更精確的目標檢測楨。
40、與現有技術相比，本專利技術的有益效果是：
41、1、自動化檢測，通過對ui屏幕截圖的視覺信息進行建模，能夠在大規模的ui集合中快速發現存在顯示問題的ui，相比于人工逐一檢查，該方式能夠極大地節省時間和人力成本。
42、2、定位問題區域，ui截圖建模能夠定位問題的詳細區域，幫助開發人員快速準確定位和修復具體的顯示問題，有助于加快問題解決的速度，提高開發效率。
43、3、提前發現潛在問題，通過對ui截圖進行檢測和分析，能夠提前發現潛在的顯示問題，并幫助開發人員在發布錢修復相關的bug，有助于提高軟件的可靠性和用戶體驗。
本文檔來自技高網...【技術保護點】
1.一種基于視覺理解的全自動定位UI顯示問題的檢測方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于視覺理解的全自動定位UI顯示問題的檢測方法，其特征在于，所述屏幕截圖數據通過基于啟發式的訓練數據自動生成算法自動生成。
3.根據權利要求1所述的基于視覺理解的全自動定位UI顯示問題的檢測方法，其特征在于，所述特征提取是將處理后的圖像通過卷積神經網絡ResNet50算法提取特征圖，卷積層的參數由一組可學習的濾波器組成，通過卷積運算提取截圖輸入的不同特性，卷積層之后，截圖被抽象為特征圖。
4.根據權利要求3所述的基于視覺理解的全自動定位UI顯示問題的檢測方法，其特征在于，所述卷積神經網絡RenNet50算法引入深度殘差學習框架；
5.根據權利要求1所述的基于視覺理解的全自動定位UI顯示問題的檢測方法，其特征在于，所述訓練模型與測試具體包括以下步驟：
【技術特征摘要】
1.一種基于視覺理解的全自動定位ui顯示問題的檢測方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于視覺理解的全自動定位ui顯示問題的檢測方法，其特征在于，所述屏幕截圖數據通過基于啟發式的訓練數據自動生成算法自動生成。
3.根據權利要求1所述的基于視覺理解的全自動定位ui顯示問題的檢測方法，其特征在于，所述特征提取是將處理后的圖像通過卷積神經網絡resnet50算法提...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。