【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及軟件測試，具體涉及一種桌面系統(tǒng)自動化測試系統(tǒng)及其應(yīng)用方法。
技術(shù)介紹
1、隨著linux個人電腦設(shè)備在市場占比的不斷增多，基于linux個人電腦場景所開發(fā)的桌面環(huán)境也在不斷增多，完善基于桌面環(huán)境的自動化測試方法成為了質(zhì)量保證的基礎(chǔ)。在現(xiàn)有l(wèi)inux的技術(shù)條件下，一般linux桌面測試方案均基于本機(jī)狀態(tài)進(jìn)行測試，缺少鍵鼠模擬能力，且適用的軟件數(shù)量基本聚焦于特定應(yīng)用，缺少普適性方案。總而言之，傳統(tǒng)自動化測試方案局限性強(qiáng)，用戶操作模擬度相對較差。
技術(shù)實現(xiàn)思路
1、本專利技術(shù)要解決的技術(shù)問題：針對現(xiàn)有技術(shù)的上述問題，提供一種桌面系統(tǒng)自動化測試系統(tǒng)及其應(yīng)用方法，本專利技術(shù)旨在解決桌面環(huán)境下系統(tǒng)內(nèi)測試用例對測試的干擾問題，提高實際測試的真實程度，提升測試用例的覆蓋程度。
2、為了解決上述技術(shù)問題，本專利技術(shù)采用的技術(shù)方案為：
3、一種桌面系統(tǒng)自動化測試系統(tǒng)，包括測試操作設(shè)備和待測試設(shè)備，所述測試操作設(shè)備包含視頻輸入端口和usb端口，且通過視頻輸入端口與待測試設(shè)備的顯示輸出端口相連以用于識別顯示輸出端口輸出的桌面系統(tǒng)的顯示輸出rgb信號中的控件及點(diǎn)擊或輸入位置并確定自動化測試所需的模擬測試操作、通過usb端口與待測試設(shè)備的usb端口相連以用于模擬hid設(shè)備對待測試設(shè)備發(fā)送模擬測試操作事件，所述模擬測試操作事件包括模擬鼠標(biāo)點(diǎn)擊操作、模擬鍵盤按鍵操作中的至少一種。
4、可選地，所述待測試設(shè)備的顯示輸出端口為hdmi端口、vga接口、dp接口或者ty
5、可選地，所述測試操作設(shè)備為具備內(nèi)置編碼模塊的計算機(jī)終端設(shè)備，所述內(nèi)置編碼模塊用于將待測試設(shè)備的顯示輸出端口輸出的顯示輸出rgb信號轉(zhuǎn)換為圖像。
6、可選地，所述測試操作設(shè)備為具有ai加速模塊的計算設(shè)備，所述ai加速模塊是指神經(jīng)網(wǎng)絡(luò)處理器npu或者支持ai加速的圖形處理器gpu。
7、一種桌面系統(tǒng)自動化測試系統(tǒng)，包括測試操作設(shè)備和待測試設(shè)備，所述測試操作設(shè)備包含視頻輸入端口和usb端口，所述測試操作設(shè)備、待測試設(shè)備的顯示輸出端口之間還連接有編碼器，所述編碼器用于將待測試設(shè)備的顯示輸出端口輸出的顯示輸出rgb信號轉(zhuǎn)換為圖像，所述編碼器的視頻輸入端口與待測試設(shè)備的顯示輸出端口相連，所述測試操作設(shè)備具有usb?otg端口，所述編碼器的usb端口作為輸出端與測試操作設(shè)備上的usb?otg端口相連。
8、可選地，所述測試操作設(shè)備、編碼器之間還連接有ai解析設(shè)備，所述ai解析設(shè)備為具有ai加速模塊的計算設(shè)備，所述ai加速模塊是指神經(jīng)網(wǎng)絡(luò)處理器npu或者支持ai加速的圖形處理器gpu，所述ai解析設(shè)備用于識別圖像中的控件及點(diǎn)擊或輸入位置并發(fā)送給計算機(jī)終端設(shè)備，所述計算機(jī)終端設(shè)備、ai解析設(shè)備之間通過網(wǎng)絡(luò)通訊連接，所述ai解析設(shè)備具有usb?otg端口，所述編碼器的usb端口作為輸出端與ai解析設(shè)備上的usb?otg端口相連。
9、此外，本專利技術(shù)還提供一種所述桌面系統(tǒng)自動化測試系統(tǒng)的應(yīng)用方法，包括下述步驟：
10、s1，將測試操作設(shè)備和待測試設(shè)備相連；
11、s2，啟動待測試設(shè)備使其執(zhí)行視頻輸出；
12、s3，通過視頻輸入端口采集被測試待測試設(shè)備的顯示輸出端口輸出的桌面系統(tǒng)的顯示輸出rgb信號，并利用內(nèi)置編碼模塊將待測試設(shè)備的顯示輸出端口輸出的顯示輸出rgb信號轉(zhuǎn)換為圖像，根據(jù)轉(zhuǎn)換得到的圖像進(jìn)行視頻錄制并將轉(zhuǎn)換得到的圖像流推送給ai加速模塊；或者通過編碼器采集被測試待測試設(shè)備的顯示輸出端口輸出的桌面系統(tǒng)的顯示輸出rgb信號，并轉(zhuǎn)換為圖像，將轉(zhuǎn)換得到的圖像送入測試操作設(shè)備進(jìn)行視頻錄制，同時將轉(zhuǎn)換得到的圖像流推送給ai解析設(shè)備；
13、s4，利用ai加速模塊或者ai解析設(shè)備識別出轉(zhuǎn)換得到的圖像中的控件及點(diǎn)擊或輸入位置；
14、s5，根據(jù)圖像中的控件及點(diǎn)擊或輸入位置，確定自動化測試所需的模擬測試操作、通過usb端口與待測試設(shè)備的usb端口相連以用于模擬hid設(shè)備對待測試設(shè)備發(fā)送模擬測試操作事件。
15、可選地，步驟s5中通過usb端口與待測試設(shè)備的usb端口相連以用于模擬hid設(shè)備對待測試設(shè)備發(fā)送模擬測試操作事件時，發(fā)送模擬鼠標(biāo)點(diǎn)擊操作包括：如果待測試設(shè)備上運(yùn)行的是虛擬機(jī)，則發(fā)送模擬鼠標(biāo)點(diǎn)擊操作為發(fā)送鼠標(biāo)的全局定位數(shù)據(jù)，所述鼠標(biāo)的全局定位數(shù)據(jù)為鼠標(biāo)在整個屏幕顯示分辨率的相對位置；如果待測試設(shè)備上運(yùn)行的是物理機(jī)，則發(fā)送模擬鼠標(biāo)點(diǎn)擊操作為發(fā)送鼠標(biāo)的單次偏移量數(shù)據(jù)，且在發(fā)送鼠標(biāo)的單次偏移量數(shù)據(jù)時，鼠標(biāo)的速度與鼠標(biāo)、目標(biāo)位置之間的距離成反比，使得越靠近目標(biāo)位置、鼠標(biāo)的速度越慢。
16、可選地，步驟s4中利用ai加速模塊或者ai解析設(shè)備識別出轉(zhuǎn)換得到的圖像中的控件及點(diǎn)擊或輸入位置時，包括利用ai加速模塊或者ai解析設(shè)備基于預(yù)先訓(xùn)練好的目標(biāo)識別模型識別出轉(zhuǎn)換得到的圖像中的控件及點(diǎn)擊或輸入位置，所述目標(biāo)識別模型為深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)且被預(yù)先訓(xùn)練建立了桌面系統(tǒng)的圖形窗口界面圖像、圖形窗口界面圖像中控件及點(diǎn)擊或輸入位置的映射關(guān)系。
17、可選地，步驟s5之后還包括：獲取被測試待測試設(shè)備執(zhí)行模擬交互事件后的顯示輸出rgb信號；基于執(zhí)行模擬交互事件后的顯示輸出rgb信號識別模擬交互事件的執(zhí)行結(jié)果，如果模擬交互事件為點(diǎn)擊操作，則基于執(zhí)行模擬交互事件后的顯示輸出rgb信號的圖像、預(yù)設(shè)的參考圖像進(jìn)行對比以獲得模擬交互事件的執(zhí)行結(jié)果，如果執(zhí)行模擬交互事件后的顯示輸出rgb信號的圖像、預(yù)設(shè)的參考圖像相同，則判定模擬交互事件執(zhí)行成功，否則判定模擬交互事件執(zhí)行失敗；如果模擬交互事件為拖動操作，則利用ai加速模塊或者ai解析設(shè)備識別出基于執(zhí)行模擬交互事件后的顯示輸出rgb信號的轉(zhuǎn)換得到的圖像中的窗口位置坐標(biāo)，如果得到的窗口位置坐標(biāo)、預(yù)設(shè)的窗口位置坐標(biāo)相同，則判定模擬交互事件執(zhí)行成功，否則判定模擬交互事件執(zhí)行失敗；如果模擬交互事件為輸入操作，則利用ai加速模塊或者ai解析設(shè)備識別出基于執(zhí)行模擬交互事件后的顯示輸出rgb信號的轉(zhuǎn)換得到的圖像中多輸入框或者單輸入框的矩形空白區(qū)域，判定模擬交互事件執(zhí)行成功，并向矩形空白區(qū)域發(fā)送鼠標(biāo)模擬程序點(diǎn)擊空白位置的模擬交互事件；否則判定模擬交互事件執(zhí)行失敗；將本次測試的模擬交互事件、視頻以及執(zhí)行結(jié)果生成日志并保存。
18、和現(xiàn)有技術(shù)相比，本專利技術(shù)主要具有下述優(yōu)點(diǎn)：
19、1、本專利技術(shù)的系統(tǒng)包括測試操作設(shè)備和待測試設(shè)備，所述測試操作設(shè)備包含視頻輸入端口和usb端口，且通過視頻輸入端口與待測試設(shè)備的顯示輸出端口相連以用于識別顯示輸出端口輸出的桌面系統(tǒng)的顯示輸出rgb信號中的控件及點(diǎn)擊或輸入位置并確定自動化測試所需的模擬測試操作、通過usb端口與待測試設(shè)備的usb端口相連以用于模擬hid設(shè)備對待測試設(shè)備發(fā)送模擬測試操作事件，本專利技術(shù)能夠?qū)崿F(xiàn)非人工干預(yù)條件下，對人為操作的全硬件模擬，無需測試機(jī)軟件調(diào)整，以實現(xiàn)全自動、輕干預(yù)的本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種桌面系統(tǒng)自動化測試系統(tǒng)，其特征在于，包括測試操作設(shè)備和待測試設(shè)備，所述測試操作設(shè)備包含視頻輸入端口和USB端口，且通過視頻輸入端口與待測試設(shè)備的顯示輸出端口相連以用于識別顯示輸出端口輸出的桌面系統(tǒng)的顯示輸出RGB信號中的控件及點(diǎn)擊或輸入位置并確定自動化測試所需的模擬測試操作、通過USB端口與待測試設(shè)備的USB端口相連以用于模擬hid設(shè)備對待測試設(shè)備發(fā)送模擬測試操作事件，所述模擬測試操作事件包括模擬鼠標(biāo)點(diǎn)擊操作、模擬鍵盤按鍵操作中的至少一種。
2.?根據(jù)權(quán)利要求1所述的桌面系統(tǒng)自動化測試系統(tǒng)，其特征在于，所述待測試設(shè)備的顯示輸出端口為HDMI端口、VGA接口、DP接口或者type-c端口，所述視頻輸入端口為HDMI?in端口、VGA接口、DP接口或者type-c端口。
3.根據(jù)權(quán)利要求2所述的桌面系統(tǒng)自動化測試系統(tǒng)，其特征在于，所述測試操作設(shè)備為具備內(nèi)置編碼模塊的計算機(jī)終端設(shè)備，所述內(nèi)置編碼模塊用于將待測試設(shè)備的顯示輸出端口輸出的顯示輸出RGB信號轉(zhuǎn)換為圖像。
4.根據(jù)權(quán)利要求3所述的桌面系統(tǒng)自動化測試系統(tǒng)，其特征在于，所述測試操作設(shè)備為
5.?一種桌面系統(tǒng)自動化測試系統(tǒng)，其特征在于，包括測試操作設(shè)備和待測試設(shè)備，所述測試操作設(shè)備包含視頻輸入端口和USB端口，所述測試操作設(shè)備、待測試設(shè)備的顯示輸出端口之間還連接有編碼器，所述編碼器用于將待測試設(shè)備的顯示輸出端口輸出的顯示輸出RGB信號轉(zhuǎn)換為圖像，所述編碼器的視頻輸入端口與待測試設(shè)備的顯示輸出端口相連，所述測試操作設(shè)備具有USB?OTG端口，所述編碼器的USB端口作為輸出端與測試操作設(shè)備上的USB?OTG端口相連。
6.?根據(jù)權(quán)利要求5所述的桌面系統(tǒng)自動化測試系統(tǒng)，其特征在于，所述測試操作設(shè)備、編碼器之間還連接有AI解析設(shè)備，所述AI解析設(shè)備為具有AI加速模塊的計算設(shè)備，所述AI加速模塊是指神經(jīng)網(wǎng)絡(luò)處理器NPU或者支持AI加速的圖形處理器GPU，所述AI解析設(shè)備用于識別圖像中的控件及點(diǎn)擊或輸入位置并發(fā)送給計算機(jī)終端設(shè)備，所述計算機(jī)終端設(shè)備、AI解析設(shè)備之間通過網(wǎng)絡(luò)通訊連接，所述AI解析設(shè)備具有USB?OTG端口，所述編碼器的USB端口作為輸出端與AI解析設(shè)備上的USB?OTG端口相連。
7.一種權(quán)利要求1～6中任意一項所述的桌面系統(tǒng)自動化測試系統(tǒng)的應(yīng)用方法，其特征在于，包括下述步驟：
8.根據(jù)權(quán)利要求7所述的桌面系統(tǒng)自動化測試系統(tǒng)的應(yīng)用方法，其特征在于，步驟S5中通過USB端口與待測試設(shè)備的USB端口相連以用于模擬hid設(shè)備對待測試設(shè)備發(fā)送模擬測試操作事件時，發(fā)送模擬鼠標(biāo)點(diǎn)擊操作包括：如果待測試設(shè)備上運(yùn)行的是虛擬機(jī)，則發(fā)送模擬鼠標(biāo)點(diǎn)擊操作為發(fā)送鼠標(biāo)的全局定位數(shù)據(jù)，所述鼠標(biāo)的全局定位數(shù)據(jù)為鼠標(biāo)在整個屏幕顯示分辨率的相對位置；如果待測試設(shè)備上運(yùn)行的是物理機(jī)，則發(fā)送模擬鼠標(biāo)點(diǎn)擊操作為發(fā)送鼠標(biāo)的單次偏移量數(shù)據(jù)，且在發(fā)送鼠標(biāo)的單次偏移量數(shù)據(jù)時，鼠標(biāo)的速度與鼠標(biāo)、目標(biāo)位置之間的距離成反比，使得越靠近目標(biāo)位置、鼠標(biāo)的速度越慢。
9.根據(jù)權(quán)利要求8所述的桌面系統(tǒng)自動化測試系統(tǒng)的應(yīng)用方法，其特征在于，步驟S4中利用AI加速模塊或者AI解析設(shè)備識別出轉(zhuǎn)換得到的圖像中的控件及點(diǎn)擊或輸入位置時，包括利用AI加速模塊或者AI解析設(shè)備基于預(yù)先訓(xùn)練好的目標(biāo)識別模型識別出轉(zhuǎn)換得到的圖像中的控件及點(diǎn)擊或輸入位置，所述目標(biāo)識別模型為深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)且被預(yù)先訓(xùn)練建立了桌面系統(tǒng)的圖形窗口界面圖像、圖形窗口界面圖像中控件及點(diǎn)擊或輸入位置的映射關(guān)系。
10.根據(jù)權(quán)利要求9所述的桌面系統(tǒng)自動化測試系統(tǒng)的應(yīng)用方法，其特征在于，步驟S5之后還包括：獲取被測試待測試設(shè)備執(zhí)行模擬交互事件后的顯示輸出RGB信號；基于執(zhí)行模擬交互事件后的顯示輸出RGB信號識別模擬交互事件的執(zhí)行結(jié)果，如果模擬交互事件為點(diǎn)擊操作，則基于執(zhí)行模擬交互事件后的顯示輸出RGB信號的圖像、預(yù)設(shè)的參考圖像進(jìn)行對比以獲得模擬交互事件的執(zhí)行結(jié)果，如果執(zhí)行模擬交互事件后的顯示輸出RGB信號的圖像、預(yù)設(shè)的參考圖像相同，則判定模擬交互事件執(zhí)行成功，否則判定模擬交互事件執(zhí)行失敗；如果模擬交互事件為拖動操作，則利用AI加速模塊或者AI解析設(shè)備識別出基于執(zhí)行模擬交互事件后的顯示輸出RGB信號的轉(zhuǎn)換得到的圖像中的窗口位置坐標(biāo)，如果得到的窗口位置坐標(biāo)、預(yù)設(shè)的窗口位置坐標(biāo)相同，則判定模擬交互事件執(zhí)行成功，否則判定模擬交互事件執(zhí)行失敗；如果模擬交互事件為輸入操作，則利用AI加速模塊或者AI解析設(shè)備識別出基于執(zhí)行模擬交互事件后的顯示輸出RGB信號的轉(zhuǎn)換得到的圖像中多輸入框...
【技術(shù)特征摘要】
1.一種桌面系統(tǒng)自動化測試系統(tǒng)，其特征在于，包括測試操作設(shè)備和待測試設(shè)備，所述測試操作設(shè)備包含視頻輸入端口和usb端口，且通過視頻輸入端口與待測試設(shè)備的顯示輸出端口相連以用于識別顯示輸出端口輸出的桌面系統(tǒng)的顯示輸出rgb信號中的控件及點(diǎn)擊或輸入位置并確定自動化測試所需的模擬測試操作、通過usb端口與待測試設(shè)備的usb端口相連以用于模擬hid設(shè)備對待測試設(shè)備發(fā)送模擬測試操作事件，所述模擬測試操作事件包括模擬鼠標(biāo)點(diǎn)擊操作、模擬鍵盤按鍵操作中的至少一種。
2.?根據(jù)權(quán)利要求1所述的桌面系統(tǒng)自動化測試系統(tǒng)，其特征在于，所述待測試設(shè)備的顯示輸出端口為hdmi端口、vga接口、dp接口或者type-c端口，所述視頻輸入端口為hdmi?in端口、vga接口、dp接口或者type-c端口。
3.根據(jù)權(quán)利要求2所述的桌面系統(tǒng)自動化測試系統(tǒng)，其特征在于，所述測試操作設(shè)備為具備內(nèi)置編碼模塊的計算機(jī)終端設(shè)備，所述內(nèi)置編碼模塊用于將待測試設(shè)備的顯示輸出端口輸出的顯示輸出rgb信號轉(zhuǎn)換為圖像。
4.根據(jù)權(quán)利要求3所述的桌面系統(tǒng)自動化測試系統(tǒng)，其特征在于，所述測試操作設(shè)備為具有ai加速模塊的計算設(shè)備，所述ai加速模塊是指神經(jīng)網(wǎng)絡(luò)處理器npu或者支持ai加速的圖形處理器gpu。
5.?一種桌面系統(tǒng)自動化測試系統(tǒng)，其特征在于，包括測試操作設(shè)備和待測試設(shè)備，所述測試操作設(shè)備包含視頻輸入端口和usb端口，所述測試操作設(shè)備、待測試設(shè)備的顯示輸出端口之間還連接有編碼器，所述編碼器用于將待測試設(shè)備的顯示輸出端口輸出的顯示輸出rgb信號轉(zhuǎn)換為圖像，所述編碼器的視頻輸入端口與待測試設(shè)備的顯示輸出端口相連，所述測試操作設(shè)備具有usb?otg端口，所述編碼器的usb端口作為輸出端與測試操作設(shè)備上的usb?otg端口相連。
6.?根據(jù)權(quán)利要求5所述的桌面系統(tǒng)自動化測試系統(tǒng)，其特征在于，所述測試操作設(shè)備、編碼器之間還連接有ai解析設(shè)備，所述ai解析設(shè)備為具有ai加速模塊的計算設(shè)備，所述ai加速模塊是指神經(jīng)網(wǎng)絡(luò)處理器npu或者支持ai加速的圖形處理器gpu，所述ai解析設(shè)備用于識別圖像中的控件及點(diǎn)擊或輸入位置并發(fā)送給計算機(jī)終端設(shè)備，所述計算機(jī)終端設(shè)備、ai解析設(shè)備之間通過網(wǎng)絡(luò)通訊連接，所述ai解析設(shè)備具有usb?otg端口，所述編碼器的usb端口作為輸出端與ai解析設(shè)備上的usb?otg端口相連。
7.一種權(quán)利要求1～6中任意一項所述的桌面系統(tǒng)自動...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：仇瑞，譚璽，劉偉，朱晨，
申請(專利權(quán))人：麒麟軟件有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。