【技術實現步驟摘要】
【國外來華專利技術】
本公開總體上涉及裝置的定位，更具體地，涉及一種用于訓練回歸神經網絡以對環境中的裝置進行定位的系統和方法。
技術介紹
1、域自適應(da)旨在轉移標記良好的源域的知識以方便未標記目標學習。當轉向諸如室內(wi-fi)定位的特定任務時，學習跨域回歸器以減輕域偏移是至關重要的。然而，與分類任務相比，諸如室內(wi-fi)定位依賴于回歸，因為訓練的神經網絡需要識別連續空間中的位置，而訓練數據實際上會僅來自于離散位置的樣本。
技術實現思路
1、技術問題
2、作為分類的對應物，回歸是具有廣泛應用的主要范式。域自適應回歸(dar)通過將回歸器從標記源域一般化到未標記目標域來擴展它。深度學習在橫跨許多領域的不同回歸應用中帶來了顯著變化。然而，訓練高質量深度模型依賴于大規模標記數據集。此外，在許多真實世界的回歸應用中，精確注釋大量訓練實例是耗時且費力的。對這種問題的解決方案是利用來自相關域的現成標記數據并應用域自適應方法來克服域偏移或數據集偏差。
3、深度域自適應方法在域自適應分類(dac)問題中已取得了顯著進步。然而，盡管dac取得這些進展，dar在深度機制方面的學習不變表示仍不夠完善。造成這種不足的一個原因在于在分類器和回歸器的訓練期間損失函數的差異。回歸中常用的損失函數是平方損失(l2)，而在分類中是具有softmax激活函數的交叉熵損失(ce)。softmax允許不同類別的激活值彼此競爭。引入這種競爭機制會使分類器快速適應特征尺度的變化。然而，在回歸任務中，回歸器可能
4、因此，需要用于回歸器的域自適應方法。
5、問題的解決方案
6、一些實施方式基于這樣的認識：回歸神經網絡在域自適應中的挑戰可使用應用于特征提取層面的對抗鑒別器來解決。這種鑒別器的目標是訓練特征提取器從目標域中的測量提取與從源域的測量提取的特征具有相似統計分布的特征。然而，實現這種鑒別器是成問題的，因為特征提取器既不是分類器也不是回歸器，因此需要額外的仲裁來判斷所提取的特征的質量。用于裝置定位的典型回歸架構沒有這種仲裁。
7、為此，一些實施方式公開了一種用于域自適應回歸的雙回歸器神經網絡和三階段訓練過程。雙回歸器神經網絡包括特征提取器以及包括兩個回歸器的雙回歸器。這兩個回歸器具有相同的架構，但權重和偏差可能不同。三階段訓練過程用于訓練雙回歸器神經網絡基于位于環境中的裝置所接收的信號對環境內的裝置進行定位。信號可包括各種信號電平的不同類型的射頻(rf)信號，例如接收信號強度指示符(rssi)信號、信道狀態信息(csi)信號。不同類型的rf信號包括超寬帶(uwb)信號、wi-fi信號和慣性測量單元(imu)信號。三階段訓練過程包括利用環境中的標記數據和/或修改環境或新環境中的未標記數據來訓練雙回歸器神經網絡。在實施方式中，標記數據包括以信號的測量的位置的坐標標記的測量。在實施方式中，未標記數據包括環境內未識別位置處的信號測量，使得標記數據的測量和未標記數據的測量是在環境的相同或不同離散位置處采樣的。
8、下面描述三階段訓練過程的各個訓練階段。在第一訓練階段期間，使用標記數據訓練雙回歸器神經網絡以從標記數據識別環境的連續空間中的位置。特別是，特征提取器被訓練以從標記數據提取特征，并且各個回歸器被訓練以從特征提取器所提取的特征確定環境的連續空間中的位置。換言之，各個回歸器的目標是學習能夠將所提取的特征映射到環境的連續空間中的位置的回歸。對兩個回歸器的需求來自于對特征提取器所提取的特征進行仲裁的需求以及確定是從與訓練數據類似的環境還是從未識別的環境收集的輸入傳感器信號的能力。
9、在第一訓練階段期間，基于損失函數lr利用標記數據來訓練特征提取器和兩個回歸器。結果，兩個回歸器的參數很可能相同或非常相似。因此，當兩個回歸器均處理標記數據的特征時，兩個回歸器生成近似真值數據的相似輸出。在實施方式中，損失函數lr基于標記數據和坐標估計之間的均方誤差(mse)標準。
10、在第二訓練階段期間，利用標記數據和未標記數據訓練兩個回歸器，以針對標記數據生成相同的正確輸出，但針對來自不同域的未標記數據生成不同的輸出。以這種方式，如果未標記數據的統計分布不同于標記數據的統計分布，則兩個回歸器被訓練以針對未標記數據生成不同的輸出。結果，兩個回歸器被訓練以識別未標記數據的統計分布是否具有與標記數據的統計分布相似或不同的分布。結果，這兩個回歸器可對輸入統計分布與標記數據的統計分布之間的相似度充當仲裁。
11、此外，可通過使兩個回歸器的輸出之間的交疊/相似度最小化來使兩個回歸器針對未標記數據的輸出差異最大化。為了使兩個回歸器的輸出之間的交疊最小化，需要對雙回歸器輸出之間的交疊進行量化。為了量化這種交疊，一些實施方式使用來自使用視覺傳感器的對象檢測領域的jaccard相似度系數(iou得分)。然而，iou得分的不可微性導致雙回歸器神經網絡權重的優化成問題。為了緩解這種問題，實現軟相似度函數ls。軟相似度函數ls的最小化減少了兩個回歸器的輸出之間的交疊，以進一步增大兩個回歸器針對未標記數據的輸出差異。
12、然而，仍要求兩個回歸器均應該針對標記數據生成相同的輸出。為此，在第二訓練階段，并非僅使軟相似度函數ls最小化，基于損失函數lr(用在第一訓練階段)的目標函數和軟相似度函數ls被最小化。
13、因此，兩個回歸器的組合可被視為一個隱含鑒別器，以直接區分標記數據和未標記數據(即，檢測源樣本/支撐之外的目標樣本)。
14、考慮到這兩個回歸器的這些新能力，在第三訓練階段期間，利用對抗鑒別器訓練特征提取器，以使用這兩個回歸器作為仲裁提取具有標記數據的統計分布的未標記數據的域不變特征。所提取的域不變特征使得當由兩個回歸器處理時，兩個回歸器中的每一個在處理域不變特征的同時識別相同的位置。
15、一些實施方式基于這樣的認識：如果分布差異性較大，則域自適應變得困難。如本文所使用的，分布差異性是指兩個回歸器的輸出差異。例如，在多模態室內定位的情況下，由于一個多徑分量的變化可能以相長或相消的方式影響整個傳感器信號，所以分布差異性變得相對顯著。一些實施方式基于這樣的認識：這種問題可通過在源域和目標域之間構造兩個中間域并逐漸消除其不匹配以實現統計分布對齊來解決?；跇擞洈祿臀礃擞洈祿臄祿鰪妬順嬙熘虚g域。
16、首先，選擇固定比率λ，例如，λ被設定為0.7?；诠潭ǖ摩?，將標記數據和未標記數據線性組合，以合成增強標記數據和增強未標記數據和形成兩個中間域，其中更接近源域，更接近目標域。此外，利用對抗鑒別器和特征提取器之間的對抗關系來減輕增強標記數據和增強未標記數據之間的域偏移。例如，增強標記數據和增強未標記數據被輸入到特征提取器，相應輸出由第二階段的兩個回歸器中的每一個處理。此外，對抗損失函數被最小化，以減輕源相似域和目標相似域之間的域偏移。
17、在執行上述三階段訓練過程之后，獲得訓練的雙回歸器神經網絡。訓練的本文檔來自技高網...
【技術保護點】
1.一種用于訓練神經網絡的計算機實現的方法，所述神經網絡適合于基于位于環境中的裝置所接收的信號對所述環境內的所述裝置進行定位，其中，所述方法利用所存儲的實現所述方法的指令使用處理器，其中，所述指令在由所述處理器執行時執行所述方法的步驟，該方法包括以下步驟：
2.根據權利要求1所述的計算機實現的方法，其中，在所述第一訓練階段期間，使用損失函數訓練所述雙回歸器神經網絡，使得所述兩個回歸器中的每一個在處理所述標記數據的同時識別相同的位置，并且其中，所述損失函數基于均方誤差MSE標準。
3.根據權利要求1所述的計算機實現的方法，其中，在所述第二訓練階段期間，利用在所述第一訓練階段期間訓練的所述特征提取器的固定參數，基于軟相似度函數訓練所述雙回歸器的參數，使得所述兩個回歸器中的每一個在處理所述未標記數據的同時識別不同的位置。
4.根據權利要求3所述的計算機實現的方法，其中，在所述第二訓練階段期間，利用在所述第一訓練階段期間訓練的所述特征提取器的固定參數，基于目標函數訓練所述雙回歸器的參數，使得所述兩個回歸器中的每一個在處理所述標記數據的同時識別相同的標記
5.根據權利要求3所述的計算機實現的方法，其中，在所述第三訓練階段期間，利用在所述第二訓練階段期間訓練的所述雙回歸器的固定參數，基于對抗損失函數和所述軟相似度函數訓練所述對抗鑒別器和所述特征提取器的參數，并且其中，所述對抗損失函數被配置為減輕域分布偏移。
6.根據權利要求1所述的計算機實現的方法，其中，在所述第三訓練階段期間，利用在所述第二訓練階段期間訓練的所述雙回歸器的固定參數，基于對抗損失函數的最大化來訓練所述對抗鑒別器和所述特征提取器的參數。
7.根據權利要求1所述的計算機實現的方法，其中，該方法還包括以下步驟：確定形成超過一個中間域的增強標記數據和增強未標記數據。
8.根據權利要求7所述的計算機實現的方法，其中，該方法還包括以下步驟：基于所述對抗鑒別器和所述特征提取器之間的對抗關系減輕所述增強標記數據和所述增強未標記數據之間的域偏移，以使所述標記數據和所述未標記數據的統計性質對齊。
9.根據權利要求7所述的計算機實現的方法，其中，通過以固定比率將所述標記數據和所述未標記數據線性組合來確定所述增強標記數據，使得所述增強標記數據與所述標記數據相似，并且其中，通過以所述固定比率將所述未標記數據和所述標記數據線性組合來確定所述增強未標記數據，使得所述增強未標記數據與所述未標記數據相似。
10.根據權利要求1所述的計算機實現的方法，其中，該方法還包括以下步驟：
11.根據權利要求1所述的計算機實現的方法，其中，該方法還包括以下步驟：
12.根據權利要求11所述的計算機實現的方法，其中，該方法還包括以下步驟：
13.根據權利要求11所述的計算機實現的方法，其中，該方法還包括以下步驟：基于所輸出的所述裝置的位置在所述環境中跟蹤所述裝置。
14.根據權利要求11所述的計算機實現的方法，其中，所述裝置是機器人，并且其中，所述環境是自動化工廠、倉庫或智能家居中的一種。
15.一種用于訓練神經網絡的系統，所述神經網絡適合于基于位于環境中的裝置所接收的信號對所述環境內的所述裝置進行定位，所述系統包括：處理器；以及存儲有指令的存儲器，所述指令在由所述處理器執行時使得所述系統：
16.根據權利要求15所述的系統，其中，在所述第一訓練階段期間，使用損失函數訓練所述雙回歸器神經網絡，使得所述兩個回歸器中的每一個在處理所述標記數據的同時識別相同的位置，并且其中，所述損失函數基于均方誤差MSE標準。
17.根據權利要求15所述的系統，其中，在所述第二訓練階段期間，利用在所述第一訓練階段期間訓練的所述特征提取器的固定參數，基于軟相似度函數訓練所述雙回歸器的參數，使得所述兩個回歸器中的每一個在處理所述未標記數據的同時識別不同的位置。
18.根據權利要求17所述的系統，其中，在所述第二訓練階段期間，利用在所述第一訓練階段期間訓練的所述特征提取器的固定參數，基于目標函數訓練所述雙回歸器的參數，使得所述兩個回歸器中的每一個在處理所述標記數據的同時識別相同的標記位置，并且在處理所述未標記數據的同時識別不同的位置，并且其中，所述目標函數基于損失函數和所述軟相似度函數。
19.根據權利要求15所述的系統，其中，所述處理器還被配置為：
20.一種非暫時性計算機可讀存儲介質，該非暫時性計算機可讀存儲...
【技術特征摘要】
【國外來華專利技術】
1.一種用于訓練神經網絡的計算機實現的方法，所述神經網絡適合于基于位于環境中的裝置所接收的信號對所述環境內的所述裝置進行定位，其中，所述方法利用所存儲的實現所述方法的指令使用處理器，其中，所述指令在由所述處理器執行時執行所述方法的步驟，該方法包括以下步驟：
2.根據權利要求1所述的計算機實現的方法，其中，在所述第一訓練階段期間，使用損失函數訓練所述雙回歸器神經網絡，使得所述兩個回歸器中的每一個在處理所述標記數據的同時識別相同的位置，并且其中，所述損失函數基于均方誤差mse標準。
3.根據權利要求1所述的計算機實現的方法，其中，在所述第二訓練階段期間，利用在所述第一訓練階段期間訓練的所述特征提取器的固定參數，基于軟相似度函數訓練所述雙回歸器的參數，使得所述兩個回歸器中的每一個在處理所述未標記數據的同時識別不同的位置。
4.根據權利要求3所述的計算機實現的方法，其中，在所述第二訓練階段期間，利用在所述第一訓練階段期間訓練的所述特征提取器的固定參數，基于目標函數訓練所述雙回歸器的參數，使得所述兩個回歸器中的每一個在處理所述標記數據的同時識別相同的標記位置，并且在處理所述未標記數據的同時識別不同的位置，并且其中，所述目標函數基于損失函數和所述軟相似度函數。
5.根據權利要求3所述的計算機實現的方法，其中，在所述第三訓練階段期間，利用在所述第二訓練階段期間訓練的所述雙回歸器的固定參數，基于對抗損失函數和所述軟相似度函數訓練所述對抗鑒別器和所述特征提取器的參數，并且其中，所述對抗損失函數被配置為減輕域分布偏移。
6.根據權利要求1所述的計算機實現的方法，其中，在所述第三訓練階段期間，利用在所述第二訓練階段期間訓練的所述雙回歸器的固定參數，基于對抗損失函數的最大化來訓練所述對抗鑒別器和所述特征提取器的參數。
7.根據權利要求1所述的計算機實現的方法，其中，該方法還包括以下步驟：確定形成超過一個中間域的增強標記數據和增強未標記數據。
8.根據權利要求7所述的計算機實現的方法，其中，該方法還包括以下步驟：基于所述對抗鑒別器和所述特征提取器之間的對抗關系減輕所述增強標記數據和所述增強未標記數據之間的域偏移，以使所述標記數據和所述未標記數據的統計性質對齊。
9.根據權利要求7所述的計算機實現的方法，其中，通過以固定比率將所述標記數據和所述未標記數據線性組合來確定所述增強標記數據，...
【專利技術屬性】
技術研發人員：王璞，夏海峰，秋濃俊昭，王也，菲利普·奧爾利克，
申請(專利權)人：三菱電機株式會社，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。