【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請(qǐng)涉及圖像處理，特別是涉及一種模型訓(xùn)練方法、對(duì)象檢測(cè)方法、裝置、設(shè)備及介質(zhì)。
技術(shù)介紹
1、對(duì)象檢測(cè)能夠識(shí)別出圖像或視頻中的特定對(duì)象（包含該對(duì)象的類別以及位置），單相機(jī)的對(duì)象檢測(cè)（通過單相機(jī)下的圖像進(jìn)行對(duì)象檢測(cè)）無法滿足復(fù)雜場(chǎng)景（如交通場(chǎng)景）的對(duì)象檢測(cè)需求，如：無法對(duì)整個(gè)場(chǎng)景進(jìn)行統(tǒng)一的檢測(cè)；并且由于遮擋的原因，單相機(jī)的對(duì)象檢測(cè)準(zhǔn)確度不足。因此，存在多相機(jī)的對(duì)象檢測(cè)的需求。
2、多相機(jī)的對(duì)象檢測(cè)通過同一場(chǎng)景的多個(gè)相機(jī)下的圖像（一相機(jī)下的圖像通過該相機(jī)采集得到）進(jìn)行對(duì)象檢測(cè)，并輸出該場(chǎng)景鳥瞰圖下的統(tǒng)一檢測(cè)結(jié)果。
3、然而，相關(guān)技術(shù)適用于固定場(chǎng)景（場(chǎng)景的大小、位置、鳥瞰圖的分辨率以及相機(jī)的架設(shè)固定）的對(duì)象檢測(cè)，無法適配不同場(chǎng)景下進(jìn)行多相機(jī)的對(duì)象檢測(cè)，具有較高的局限性。
技術(shù)實(shí)現(xiàn)思路
1、本申請(qǐng)實(shí)施例的目的在于提供一種模型訓(xùn)練方法、對(duì)象檢測(cè)方法、裝置、設(shè)備及介質(zhì)，以適配不同場(chǎng)景進(jìn)行多相機(jī)的對(duì)象檢測(cè)。具體技術(shù)方案如下：
2、第一方面，本申請(qǐng)實(shí)施例提供了一種模型訓(xùn)練方法，所述方法包括：
3、獲取樣本圖像組；其中，所述樣本圖像組中包含有樣本檢測(cè)場(chǎng)景下所架設(shè)的各相機(jī)在同一時(shí)刻下所采集的樣本圖像，以及真值信息，所述真值信息為該同一時(shí)刻下所述樣本檢測(cè)場(chǎng)景的樣本鳥瞰圖中的對(duì)象位置以及對(duì)象類別，所述樣本鳥瞰圖為指定空間大小的物理空間的鳥瞰圖；
4、將所述樣本圖像組中的各個(gè)樣本圖像輸入待訓(xùn)練的對(duì)象檢測(cè)模型，得到所述樣本圖像組的預(yù)測(cè)結(jié)果；其中，所
5、根據(jù)所述樣本圖像組的預(yù)測(cè)結(jié)果、所述真值信息以及各個(gè)候選采樣點(diǎn)當(dāng)前的位置特征所表征的位置，確定所述對(duì)象檢測(cè)模型的模型損失；
6、在基于所述模型損失判斷出所述對(duì)象檢測(cè)模型未收斂的情況下，調(diào)整所述對(duì)象識(shí)別模型的模型參數(shù)，并返回所述獲取樣本圖像組的步驟。
7、第二方面，本申請(qǐng)實(shí)施例提供了一種對(duì)象檢測(cè)方法，所述方法包括：
8、獲取目標(biāo)圖像組；其中，所述目標(biāo)圖像組包括目標(biāo)檢測(cè)場(chǎng)景下所架設(shè)的各相機(jī)在同一時(shí)刻下所采集的目標(biāo)圖像；
9、將所述目標(biāo)圖像組中的各個(gè)目標(biāo)圖像輸入指定對(duì)象檢測(cè)模型，得到所述目標(biāo)圖像組的預(yù)測(cè)結(jié)果；其中，所述指定對(duì)象檢測(cè)模型為針對(duì)基于所述的模型訓(xùn)練方法訓(xùn)練出的對(duì)象檢測(cè)模型，將各個(gè)樣本圖像對(duì)應(yīng)的第一映射關(guān)系調(diào)整為各個(gè)目標(biāo)圖像對(duì)應(yīng)的第一指定關(guān)系，以及將指定坐標(biāo)映射所利用的各個(gè)樣本圖像對(duì)應(yīng)的第二映射關(guān)系調(diào)整為各個(gè)目標(biāo)圖像對(duì)應(yīng)的第二指定關(guān)系后所得到的模型；其中，任一目標(biāo)圖像對(duì)應(yīng)的第一指定關(guān)系用于將任一候選采樣點(diǎn)從目標(biāo)檢測(cè)場(chǎng)景的鳥瞰圖映射到該目標(biāo)圖像，任一目標(biāo)圖像對(duì)應(yīng)的第二指定關(guān)系用于將該目標(biāo)圖像的特征圖中的各像素點(diǎn)映射到所述目標(biāo)檢測(cè)場(chǎng)景的鳥瞰圖所指示的物理空間的空間坐標(biāo)系；所述目標(biāo)檢測(cè)場(chǎng)景的鳥瞰圖為指定空間大小的物理空間的鳥瞰圖；
10、針對(duì)每一候選采樣點(diǎn)，根據(jù)所述目標(biāo)圖像組的預(yù)測(cè)結(jié)果中的該候選采樣點(diǎn)的位置偏移量，以及該候選采樣點(diǎn)當(dāng)前的位置特征所表征的位置，生成一預(yù)測(cè)位置，并將所述目標(biāo)圖像組的預(yù)測(cè)結(jié)果中的該候選采樣點(diǎn)的類別預(yù)測(cè)結(jié)果，作為所得到的該預(yù)測(cè)位置對(duì)應(yīng)的類別預(yù)測(cè)結(jié)果。
11、第三方面，本申請(qǐng)實(shí)施例提供了一種模型訓(xùn)練裝置，所述裝置包括：
12、第一獲取模塊，用于獲取樣本圖像組；其中，所述樣本圖像組中包含有樣本檢測(cè)場(chǎng)景下所架設(shè)的各相機(jī)在同一時(shí)刻下所采集的樣本圖像，以及真值信息，所述真值信息為該同一時(shí)刻下所述樣本檢測(cè)場(chǎng)景的樣本鳥瞰圖中的對(duì)象位置以及對(duì)象類別，所述樣本鳥瞰圖為指定空間大小的物理空間的鳥瞰圖；
13、第一輸入模塊，用于將所述樣本圖像組中的各個(gè)樣本圖像輸入待訓(xùn)練的對(duì)象檢測(cè)模型，得到所述樣本圖像組的預(yù)測(cè)結(jié)果；其中，所述對(duì)象檢測(cè)模型包括特征提取模塊、視角變換模塊、融合模塊以及預(yù)測(cè)模塊，所述特征提取模塊用于對(duì)每一樣本圖像進(jìn)行特征提取，得到每一樣本圖像的特征圖；所述視角變換模塊用于針對(duì)屬于所述樣本鳥瞰圖的每一候選采樣點(diǎn)，基于每一樣本圖像的特征圖，生成該候選采樣點(diǎn)關(guān)于每一樣本圖像的位置感知特征；所述融合模塊用于針對(duì)每一候選采樣點(diǎn)，將該候選采樣點(diǎn)關(guān)于每一樣本圖像的位置感知特征進(jìn)行融合，得到該候選采樣點(diǎn)的融合特征；所述預(yù)測(cè)模塊用于基于每一候選采樣點(diǎn)當(dāng)前的用于表征位置的位置特征以及融合特征，生成各個(gè)候選采樣點(diǎn)對(duì)應(yīng)的位置偏移量和類別預(yù)測(cè)結(jié)果，得到所述預(yù)測(cè)結(jié)果；任一候選采樣點(diǎn)關(guān)于任一樣本圖像的位置感知特征為：將該樣本圖像的特征圖中的關(guān)于該候選采樣點(diǎn)對(duì)應(yīng)的參考點(diǎn)的第一特征內(nèi)容，以及該樣本圖像的特征圖的位置編碼特征中的、關(guān)于該候選采樣點(diǎn)對(duì)應(yīng)的參考點(diǎn)的第二特征內(nèi)容，進(jìn)行融合后得到的特征，該候選采樣點(diǎn)對(duì)應(yīng)的參考點(diǎn)為基于該樣本圖像對(duì)應(yīng)的第一映射關(guān)系，將該候選采樣點(diǎn)從樣本鳥瞰圖映射到該樣本圖像所得到的映射點(diǎn)，任一樣本圖像的特征圖的位置編碼特征為該樣本圖像的特征圖中的各像素點(diǎn)進(jìn)行指定坐標(biāo)映射后的坐標(biāo)，至少經(jīng)過位置編碼所得到的特征；任一樣本圖像的特征圖中的各像素點(diǎn)進(jìn)行所述指定坐標(biāo)映射包括：根據(jù)該樣本圖像對(duì)應(yīng)的第二映射關(guān)系，將該樣本圖像的特征圖中的各像素點(diǎn)映射到所述樣本鳥瞰圖所指示的物理空間的空間坐標(biāo)系；
14、確定模塊，用于根據(jù)所述樣本圖像組的預(yù)測(cè)結(jié)果、所述真值信息以及各個(gè)候選采樣點(diǎn)當(dāng)前的位置特征所表征的位置，確定所述對(duì)象檢測(cè)模型的模型損失；
15、調(diào)整模塊，用于在基于所述模型損失判斷出所述對(duì)象檢測(cè)模型未收斂的情況下，調(diào)整所述對(duì)象識(shí)別模型的模型參數(shù)，并返回所述獲取樣本圖像組的步驟。
16、第四方面，本申請(qǐng)實(shí)施例提供了一種對(duì)象檢測(cè)裝置，所述裝置包括：
1本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種模型訓(xùn)練方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述樣本圖像組的預(yù)測(cè)結(jié)果、所述真值信息以及各個(gè)候選采樣點(diǎn)當(dāng)前的位置特征所表征的位置，確定所述對(duì)象檢測(cè)模型的模型損失，包括：
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述返回所述獲取樣本圖像組的步驟之前，所述方法還包括：
4.根據(jù)權(quán)利要求1-3任一項(xiàng)所述的方法，其特征在于，任一樣本圖像的特征圖的位置編碼特征的確定方式，包括：
5.根據(jù)權(quán)利要求1-3任一項(xiàng)所述的方法，其特征在于，所述針對(duì)每一候選采樣點(diǎn)，將該候選采樣點(diǎn)關(guān)于每一樣本圖像的位置感知特征進(jìn)行融合，得到該候選采樣點(diǎn)的融合特征，包括：
6.根據(jù)權(quán)利要求1-3任一項(xiàng)所述的方法，其特征在于，所述對(duì)每一樣本圖像進(jìn)行特征提取，得到每一樣本圖像的特征圖，包括：
7.根據(jù)權(quán)利要求1-3任一項(xiàng)所述的方法，其特征在于，所述融合模塊還用于，基于每一候選采樣點(diǎn)的融合特征，對(duì)每一候選采樣點(diǎn)進(jìn)行指定交互處理；其中，所述指定交互處理用于使得任一候選采樣點(diǎn)至多對(duì)應(yīng)一對(duì)象。
9.一種模型訓(xùn)練裝置，其特征在于，所述裝置包括：
10.一種對(duì)象檢測(cè)裝置，其特征在于，所述裝置包括：
11.一種電子設(shè)備，其特征在于，包括：
12.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)內(nèi)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1-7任一項(xiàng)所述的方法，或者，權(quán)利要求8所述的方法。
...【技術(shù)特征摘要】
1.一種模型訓(xùn)練方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述樣本圖像組的預(yù)測(cè)結(jié)果、所述真值信息以及各個(gè)候選采樣點(diǎn)當(dāng)前的位置特征所表征的位置，確定所述對(duì)象檢測(cè)模型的模型損失，包括：
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述返回所述獲取樣本圖像組的步驟之前，所述方法還包括：
4.根據(jù)權(quán)利要求1-3任一項(xiàng)所述的方法，其特征在于，任一樣本圖像的特征圖的位置編碼特征的確定方式，包括：
5.根據(jù)權(quán)利要求1-3任一項(xiàng)所述的方法，其特征在于，所述針對(duì)每一候選采樣點(diǎn)，將該候選采樣點(diǎn)關(guān)于每一樣本圖像的位置感知特征進(jìn)行融合，得到該候選采樣點(diǎn)的融合特征，包括：
6.根據(jù)權(quán)利要求1-3任一項(xiàng)所述的方法，其特征在于，...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：宋榮，
申請(qǐng)(專利權(quán))人：杭州海康威視數(shù)字技術(shù)股份有限公司，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。