【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及軟件測(cè)試，尤其涉及一種基于視覺注意力機(jī)制的軟件自動(dòng)化測(cè)試方法及系統(tǒng)。
技術(shù)介紹
1、現(xiàn)代軟件開發(fā)和測(cè)試面臨著復(fù)雜和多變的挑戰(zhàn)。傳統(tǒng)的軟件測(cè)試方法往往依賴于手動(dòng)設(shè)計(jì)和執(zhí)行測(cè)試用例，這種方法在面對(duì)大規(guī)模、復(fù)雜度高和功能繁多的軟件系統(tǒng)時(shí)效率低下且難以覆蓋所有可能的使用場(chǎng)景和異常情況。
2、隨著人工智能和機(jī)器學(xué)習(xí)技術(shù)的發(fā)展，視覺注意力機(jī)制被引入到軟件自動(dòng)化測(cè)試中，以改善測(cè)試效率和覆蓋范圍。視覺注意力機(jī)制模仿人類視覺系統(tǒng)的工作原理，能夠在復(fù)雜的軟件界面中自動(dòng)識(shí)別和關(guān)注重要的視覺元素和控件。這種技術(shù)使得自動(dòng)化測(cè)試可以更精準(zhǔn)地模擬用戶的視覺和操作行為，從而更全面地檢查軟件的功能和性能。
3、綜上所述，軟件自動(dòng)化測(cè)試方法不僅提高了測(cè)試的效率和覆蓋率，還能夠更好地適應(yīng)現(xiàn)代軟件系統(tǒng)復(fù)雜性和多樣性的挑戰(zhàn)，能夠解決現(xiàn)有技術(shù)中的問題。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)實(shí)施例提供一種基于視覺注意力機(jī)制的軟件自動(dòng)化測(cè)試方法及系統(tǒng)，能夠解決現(xiàn)有技術(shù)中的問題。
2、本專利技術(shù)實(shí)施例的第一方面，
3、提供一種基于視覺注意力機(jī)制的軟件自動(dòng)化測(cè)試方法，包括：
4、獲取待測(cè)軟件的初始界面并進(jìn)行預(yù)處理，得到增強(qiáng)界面圖像，將所述增強(qiáng)界面圖像輸入界面檢測(cè)模型，通過解析所述增強(qiáng)界面圖像，識(shí)別控件信息，所述控件信息包括控件類型、控件屬性和控件位置；
5、將所述控件信息輸入預(yù)訓(xùn)練的注意力機(jī)制模型中，基于所述控件信息，生成控件之間的語義關(guān)聯(lián)和上下文信息，確
6、在每一個(gè)所述測(cè)試操作執(zhí)行完成后，獲取待測(cè)軟件的界面反饋信息，基于文字識(shí)別算法提取所述界面反饋信息中的文本內(nèi)容，結(jié)合預(yù)先構(gòu)建的語義理解模型，確定所述文本內(nèi)容對(duì)應(yīng)的語義，與預(yù)設(shè)的預(yù)期結(jié)果進(jìn)行比對(duì)，生成所述測(cè)試操作對(duì)應(yīng)的測(cè)試結(jié)論。
7、在一種可選的實(shí)施例中，
8、將所述增強(qiáng)界面圖像輸入界面檢測(cè)模型，通過解析所述增強(qiáng)界面圖像，識(shí)別控件信息包括：
9、所述界面檢測(cè)模型基于語義分割模型構(gòu)建，通過空洞卷積擴(kuò)大所述增強(qiáng)界面圖像的感受野，捕捉每個(gè)像素的多尺度上下文信息，進(jìn)行像素級(jí)分類，為每個(gè)像素分配語義標(biāo)簽，并通過條件隨機(jī)場(chǎng)后處理，進(jìn)行邊界平滑操作，生成語義分割圖；
10、基于所述語義分割圖，通過區(qū)域分水嶺算法進(jìn)行實(shí)例分割，將屬于同一控件的像素組合成獨(dú)立的控件實(shí)例，生成控件實(shí)例分割圖；
11、基于所述控件實(shí)例分割圖，提取每個(gè)控件實(shí)例對(duì)應(yīng)的控件屬性，構(gòu)建控件節(jié)點(diǎn)，解析控件節(jié)點(diǎn)之間的空間位置關(guān)系，建立有向邊，生成控件關(guān)系圖，所述控件關(guān)系圖輸入預(yù)訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)模型中，提取控件拓?fù)浣Y(jié)構(gòu)和空間節(jié)點(diǎn)特征，生成控件關(guān)系圖屬性；
12、基于所述語義分割圖、所述控件實(shí)例分割圖和所述控件關(guān)系圖屬性，構(gòu)建結(jié)構(gòu)化控件信息表示，生成控件信息。
13、在一種可選的實(shí)施例中，
14、基于所述語義分割圖，通過區(qū)域分水嶺算法進(jìn)行實(shí)例分割，將屬于同一控件的像素組合成獨(dú)立的控件實(shí)例，生成控件實(shí)例分割圖包括：
15、基于多尺度sobel算子，對(duì)所述語義分割圖的每個(gè)語義類別分別計(jì)算水平方向梯度和垂直方向梯度，對(duì)所述水平方向梯度和所述垂直方向梯度分別平方并相加開方，得到梯度幅值圖；
16、遍歷所述梯度幅值圖中的每一個(gè)像素點(diǎn)，基于當(dāng)前像素點(diǎn)，比較所述當(dāng)前像素點(diǎn)與周圍8鄰域像素點(diǎn)的梯度幅值大小，如果當(dāng)前像素點(diǎn)的梯度幅值為領(lǐng)域最小值，且小于預(yù)設(shè)的梯度幅值閾值，標(biāo)記當(dāng)前像素點(diǎn)為種子點(diǎn)；否則，跳過當(dāng)前像素點(diǎn)；重復(fù)迭代比較，直到遍歷完成所述梯度幅值圖中的所有像素點(diǎn)；
17、將所述種子點(diǎn)對(duì)應(yīng)的梯度幅值從小到大排序形成優(yōu)先隊(duì)列，從優(yōu)先隊(duì)列中選取第一個(gè)種子點(diǎn)，作為當(dāng)前種子點(diǎn)，開始區(qū)域擴(kuò)展：
18、以當(dāng)前種子點(diǎn)為當(dāng)前處理區(qū)域，并創(chuàng)建空的擴(kuò)展隊(duì)列，從所述當(dāng)前種子點(diǎn)對(duì)應(yīng)的周圍8鄰域像素點(diǎn)中選取未標(biāo)記像素點(diǎn)，如果所述未標(biāo)記像素點(diǎn)的梯度幅值小于預(yù)設(shè)的梯度幅值閾值，將所述未標(biāo)記像素點(diǎn)作為擴(kuò)展像素點(diǎn)，加入擴(kuò)展隊(duì)列，同時(shí)擴(kuò)展當(dāng)前處理區(qū)域，并標(biāo)記，對(duì)所述擴(kuò)展隊(duì)列中的每個(gè)擴(kuò)展像素點(diǎn)重復(fù)進(jìn)行擴(kuò)展，并移除出擴(kuò)展隊(duì)列，直到所述擴(kuò)展隊(duì)列為空，當(dāng)前處理區(qū)域擴(kuò)展完成，生成擴(kuò)展完成區(qū)域；
19、依次處理優(yōu)先隊(duì)列中的每個(gè)種子點(diǎn)，直到處理完成所有種子點(diǎn)，確定一系列擴(kuò)展完成區(qū)域；
20、計(jì)算每一個(gè)擴(kuò)展完成區(qū)域的幾何屬性，按照預(yù)設(shè)的區(qū)域無效規(guī)則，保留有效區(qū)域，為每一個(gè)有效區(qū)域生成唯一標(biāo)識(shí)號(hào)，并提取對(duì)應(yīng)的外接矩形邊界框，輸出控件實(shí)例分割圖。
21、在一種可選的實(shí)施例中，
22、基于多尺度sobel算子，對(duì)所述語義分割圖的每個(gè)語義類別分別計(jì)算水平方向梯度和垂直方向梯度，對(duì)所述水平方向梯度和所述垂直方向梯度分別平方并相加開方，得到梯度幅值圖包括：
23、所述多尺度sobel算子，其公式如下：
24、；
25、其中， s表示尺度， g x s表示尺度 s下水平方向梯度， g y s表示尺度 s下垂直方向梯度， k表示算子半徑， m表示水平偏移量， n表示垂直偏移量， x表示像素點(diǎn)的水平坐標(biāo)， y表示像素點(diǎn)的垂直坐標(biāo)， i(·)表示像素值， s x( m,n,s)表示尺度 s的sobel水平方向算子模板， s y( m,n, s)表示尺度 s的sobel垂直方向算子模板。
26、在一種可選的實(shí)施例中，
27、將所述控件信息輸入預(yù)訓(xùn)練的注意力機(jī)制模型中，基于所述控件信息，生成控件之間的語義關(guān)聯(lián)和上下文信息，確定測(cè)試動(dòng)作的執(zhí)行順序和執(zhí)行參數(shù)包括：
28、所述注意力機(jī)制模型基于transformer架構(gòu)構(gòu)建，所述注意力機(jī)制模型中的編碼器通過自注意力機(jī)制計(jì)算控件之間的相關(guān)性和注意力權(quán)重，提取高級(jí)特征表示，通過前饋神經(jīng)網(wǎng)絡(luò)對(duì)所述高級(jí)特征表示進(jìn)行非線性變換，建模控件之間的語義關(guān)聯(lián)和上下文信息，將控件信息轉(zhuǎn)換為低維稠密向量表示；
29、在每個(gè)時(shí)間步，所述注意力機(jī)制模型中的解碼器接收上一時(shí)間步生本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.基于視覺注意力機(jī)制的軟件自動(dòng)化測(cè)試方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，將所述增強(qiáng)界面圖像輸入界面檢測(cè)模型，通過解析所述增強(qiáng)界面圖像，識(shí)別控件信息包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，基于所述語義分割圖，通過區(qū)域分水嶺算法進(jìn)行實(shí)例分割，將屬于同一控件的像素組合成獨(dú)立的控件實(shí)例，生成控件實(shí)例分割圖包括：
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，基于多尺度Sobel算子，對(duì)所述語義分割圖的每個(gè)語義類別分別計(jì)算水平方向梯度和垂直方向梯度，對(duì)所述水平方向梯度和所述垂直方向梯度分別平方并相加開方，得到梯度幅值圖包括：
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，將所述控件信息輸入預(yù)訓(xùn)練的注意力機(jī)制模型中，基于所述控件信息，生成控件之間的語義關(guān)聯(lián)和上下文信息，確定測(cè)試動(dòng)作的執(zhí)行順序和執(zhí)行參數(shù)包括：
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，在每一個(gè)所述測(cè)試操作執(zhí)行完成后，獲取待測(cè)軟件的界面反饋信息，基于文字識(shí)別算法提取所述界面反饋信息中的文本內(nèi)容，結(jié)合預(yù)先構(gòu)建的語義理解模型，確定所述文本
7.基于視覺注意力機(jī)制的軟件自動(dòng)化測(cè)試系統(tǒng)，用于實(shí)現(xiàn)前述權(quán)利要求1-6中任一項(xiàng)所述的方法，其特征在于，包括：
8.一種電子設(shè)備，其特征在于，包括：
9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序指令，其特征在于，所述計(jì)算機(jī)程序指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至6中任意一項(xiàng)所述的方法。
...【技術(shù)特征摘要】
1.基于視覺注意力機(jī)制的軟件自動(dòng)化測(cè)試方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，將所述增強(qiáng)界面圖像輸入界面檢測(cè)模型，通過解析所述增強(qiáng)界面圖像，識(shí)別控件信息包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，基于所述語義分割圖，通過區(qū)域分水嶺算法進(jìn)行實(shí)例分割，將屬于同一控件的像素組合成獨(dú)立的控件實(shí)例，生成控件實(shí)例分割圖包括：
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，基于多尺度sobel算子，對(duì)所述語義分割圖的每個(gè)語義類別分別計(jì)算水平方向梯度和垂直方向梯度，對(duì)所述水平方向梯度和所述垂直方向梯度分別平方并相加開方，得到梯度幅值圖包括：
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，將所述控件信息輸入預(yù)訓(xùn)練的注意力機(jī)制模型中，基...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：孫洲，
申請(qǐng)(專利權(quán))人：天津賽威工業(yè)技術(shù)有限公司，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。