【技術實現步驟摘要】
本申請屬于機器視覺，具體涉及一種乒乓球桌標定方法、標定裝置及存儲介質。
技術介紹
1、隨著國家對全民健康的重視，乒乓球以其占用場地少、對抗性低、老少咸宜等優點，得到了全國人民的喜愛。目前，市面上已出現能夠輔助檢測乒乓球的運動軌跡、判斷比賽得分的乒乓球視覺系統。
2、通過乒乓球視覺系統對乒乓球進行檢測時，得到的坐標為乒乓球在相機圖像坐標系下的坐標，通過該坐標很難判斷乒乓球相對于乒乓球桌的位置。因此，需要通過坐標轉換將相機圖像坐標系下乒乓球的坐標轉化為球桌坐標系下的坐標。
3、現有技術中，在已知相機參數的情況下，通常在乒乓球桌上人工精準放置標定板或標準尺寸標定物，通過人工干預，使標定板或標定物坐標系與球桌坐標系完全對齊，得到標定板或標準尺寸標定物上特征點陣在球桌坐標系下的實際三維坐標，并結合標定板或標準尺寸標定物的特征點陣在相機圖像上的像素坐標，得到相機圖像坐標系與球桌坐標系的轉換關系。然而，利用標定板或標準尺寸標定物進行標定意味著需要人為地在乒乓球桌上設置標定板或標準尺寸標定物，并在標定完成后撤回標定板或標準尺寸標定物。這種方法需要耗費大量的人工成本和時間成本，且結果受人工操作的影響較大。
4、現有技術中，場景中有在待轉換坐標系下已知三維坐標的特征點陣，通過相機拍攝圖像后，利用計算機視覺算法自動識別特征點陣，從而得到在圖像上的像素坐標，結合在待轉換坐標系下的實際三維坐標，得到對應的坐標系轉換關系。這種方法對環境和硬件條件的要求較高，光線不佳、成像噪點較多、環境中有干擾物等情況下，均會出現像素點識
技術實現思路
1、為至少在一定程度上克服相關技術中存在的問題，本申請提供了一種乒乓球桌標定方法、標定裝置及存儲介質。
2、根據本申請實施例的第一方面，本申請提供了一種乒乓球桌標定方法，其包括以下步驟：
3、獲取乒乓球桌頂面的圖像；
4、根據乒乓球桌頂面的結構，定義球桌坐標系及球桌坐標系下的特征點陣，所述球桌坐標系下的特征點陣包括至少四個點；
5、利用兩階段深度學習算法檢測球桌坐標系下的特征點陣對應在相機圖像坐標系下的像素坐標點陣；其中，兩階段深度學習算法包括目標檢測網絡模型和關鍵點檢測網絡模型；
6、根據球桌坐標系下的特征點陣、相機圖像坐標系下的像素坐標點陣以及已知的相機參數，計算得到相機圖像坐標系與球桌坐標系的轉換關系。
7、上述乒乓球桌的標定方法中，所述利用兩階段深度學習算法檢測球桌坐標系下的特征點陣對應在相機圖像坐標系下的像素坐標點陣的過程為：
8、利用目標檢測網絡模型對輸入的乒乓球桌頂面的圖像進行深度學習目標檢測，得到球桌的關鍵點區域集；其中，所述關鍵點區域集中包括至少四個關鍵點區域；
9、根據關鍵點區域，在乒乓球桌頂面的圖像中提取出關鍵點區域圖像；
10、對提取出的關鍵點區域圖像分別進行圖像縮放，得到縮放后的關鍵點區域圖像；
11、利用關鍵點檢測網絡模型在縮放后的關鍵點區域圖像中進行對應的深度學習關鍵點檢測，得到關鍵點在縮放后的關鍵點區域圖像中的關鍵點檢測結果；
12、將關鍵點檢測結果恢復到相機圖像坐標系下，得到關鍵點在相機圖像坐標系下的像素坐標點陣。
13、進一步地，所述目標檢測網絡模型的獲取過程為：
14、在乒乓球桌一側布置相機，調整相機視野使得乒乓球桌完全出現在相機的視野中；
15、改變相機與乒乓球桌的相對位置以及相機的曝光參數，在不同的場景下重復采集多組包含乒乓球桌的場景圖像，并將采集的場景圖像作為數據集；
16、對得到的數據集進行標注，其包括在場景圖像中標注球桌的關鍵點區域集以及球桌的關鍵點區域集中關鍵點區域對應的類別；
17、將目標檢測網絡作為基準網絡模型，并利用該基準網絡模型在已標注的數據集上做遷移學習訓練，得到遷移學習訓練的目標檢測網絡模型。
18、更進一步地，所述關鍵點檢測網絡模型的獲取過程為：
19、對標注過的數據集進行標注，其包括對數據集的每一幅場景圖像中每個被標注過的關鍵點區域分別標注其中的球桌關鍵點標簽，全部標注完后形成關鍵點檢測網絡模型數據集；
20、在關鍵點檢測網絡模型數據集上進行訓練，得到關鍵點檢測網絡模型。
21、更進一步地，所述關鍵點檢測網絡模型的訓練過程為：
22、在每個訓練輪次中，隨機選取數據集，將數據集中的圖像輸入關鍵點檢測網絡模型中，得到模型輸出結果；
23、在每個訓練輪次中，對模型輸出結果進行損失計算，根據損失反向傳播更新關鍵點檢測網絡模型權重；
24、迭代訓練輪次直到迭代加權平均損失連續預設輪次不再下降，保存對應的關鍵點檢測網絡模型權重，得到最終的關鍵點檢測網絡模型。
25、進一步地，所述將關鍵點檢測結果恢復到相機圖像坐標系下得到關鍵點在相機圖像坐標系下的像素坐標點陣的過程為：
26、對關鍵點檢測結果中的每個結果求解對應的原始像素坐標；
27、根據原始像素坐標，得到相機圖像坐標系下的像素坐標點陣。
28、更進一步地，所述原始像素坐標為：
29、
30、式中，b_u[i]表示像素坐標點陣中的各特征點在乒乓球桌頂面的圖像中的列數，b_v[i]表示像素坐標點陣中的各特征點在乒乓球桌頂面的圖像中的行數，x(i)表示第i個關鍵點區域中心在乒乓球桌頂面的圖像中的列數，y(i)表示第i個關鍵點區域中心在乒乓球桌頂面的圖像中的行數，w(i)表示第i個關鍵點區域的列寬度，h(i)表示第i個關鍵點區域的行高度，w_keypoint_net表示關鍵點檢測網絡模型輸入圖像的寬度，h_keypoint_net表示關鍵點檢測網絡模型輸入圖像的高度，kp_x表示關鍵點檢測結果中x向坐標，kp_y表示關鍵點檢測結果中y向坐標。
31、上述乒乓球桌標定方法中，所述計算得到相機圖像坐標系與球桌坐標系的轉換關系所用的求解關系式為：
32、
33、式中，i＝0,1,2,3,4,5，imagepoints{bi}表示相機圖像坐標系下的像素坐標點陣，objectpoints{ai}表示球桌坐標系下的特征點陣，m表示相機的參數矩陣，其為3*3的矩陣；r表示旋轉矩陣，其為3*3的矩陣；t表示平移矩陣，其為3*1的矩陣；
34、對所述求解關系式進行擬合求解，得到旋轉矩陣r和平移矩陣t。
35、根據本申請實施例的第二方面，本申請還提供了一種乒乓球桌標定裝置，其包括存儲器、處理器以及存儲在所述存儲器中并在所述處理器上運行的計算機程序，所述處理器處理所述計算機程序時實現上述任一項所述乒乓球桌標定方法。
36、根據本申請實施例的第三方面，本申請還提供了一種存儲介質，其上存儲有可執行程序，當可執行程序被調用時，執行上述任一項所述的乒乓球桌標定方法。
37本文檔來自技高網...
【技術保護點】
1.一種乒乓球桌標定方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的乒乓球桌的標定方法，其特征在于，所述利用兩階段深度學習算法檢測球桌坐標系下的特征點陣對應在相機圖像坐標系下的像素坐標點陣的過程為：
3.根據權利要求2所述的乒乓球桌的標定方法，其特征在于，所述目標檢測網絡模型的獲取過程為：
4.根據權利要求3所述的乒乓球桌的標定方法，其特征在于，所述關鍵點檢測網絡模型的獲取過程為：
5.根據權利要求4所述的乒乓球桌的標定方法，其特征在于，所述關鍵點檢測網絡模型的訓練過程為：
6.根據權利要求2所述的乒乓球桌的標定方法，其特征在于，所述將關鍵點檢測結果恢復到相機圖像坐標系下得到關鍵點在相機圖像坐標系下的像素坐標點陣的過程為：
7.根據權利要求6所述的乒乓球桌的標定方法，其特征在于，所述原始像素坐標為：
8.根據權利要求1所述的乒乓球桌的標定方法，其特征在于，所述計算得到相機圖像坐標系與球桌坐標系的轉換關系所用的求解關系式為：
9.一種乒乓球桌標定裝置，其特征在于，包括存儲器、處
10.一種存儲介質，其特征在于，其上存儲有可執行程序，當可執行程序被調用時，執行如權利要求1-8中任一項所述的乒乓球桌標定方法。
...【技術特征摘要】
1.一種乒乓球桌標定方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的乒乓球桌的標定方法，其特征在于，所述利用兩階段深度學習算法檢測球桌坐標系下的特征點陣對應在相機圖像坐標系下的像素坐標點陣的過程為：
3.根據權利要求2所述的乒乓球桌的標定方法，其特征在于，所述目標檢測網絡模型的獲取過程為：
4.根據權利要求3所述的乒乓球桌的標定方法，其特征在于，所述關鍵點檢測網絡模型的獲取過程為：
5.根據權利要求4所述的乒乓球桌的標定方法，其特征在于，所述關鍵點檢測網絡模型的訓練過程為：
6.根據權利要求2所述的乒乓球桌的標定方法，其特征在于，所述將關鍵點檢測結果恢復到相機圖像...
【專利技術屬性】
技術研發人員：張海波，賀琪欲，韓聰，
申請(專利權)人：上海創屹科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。