一種散貨船圖像點云融合掃描分割方法技術(shù)

本發(fā)明專利技術(shù)涉及港口作業(yè)技術(shù)領(lǐng)域，并提出了一種散貨船圖像點云融合掃描分割方法，其特征在于，基于設(shè)置在港口門機上的激光雷達(dá)與相機實現(xiàn)，本方法包括以下步驟：

【技術(shù)實現(xiàn)步驟摘要】
一種散貨船圖像點云融合掃描分割方法


[0001]本專利技術(shù)涉及港口作業(yè)
，尤其涉及一種散貨船圖像點云融合掃描分割方法
。

技術(shù)介紹

[0002]多線激光雷達(dá)
(multi
?
layer light lidar)
是可以同時發(fā)射和接收多束激光的旋轉(zhuǎn)測距雷達(dá)，可以識別物體的高度信息并獲取周圍環(huán)境的
3D
掃描圖
。
激光雷達(dá)發(fā)出的高頻電磁波，在一定發(fā)射功率條件下，可以達(dá)到全天候抗干擾的數(shù)十米空間信息感知能力
。
[0003]在公開號為
CN116050590A
?
基于激光掃描裝置建立三維車船調(diào)度方法及裝置，其通過激光雷達(dá)進行船體掃描，實現(xiàn)車船的調(diào)度作業(yè)，但雷達(dá)獲取的數(shù)據(jù)存在某些原生性問題，比如當(dāng)距離增加時，點云的空間密度下降的很快，導(dǎo)致對雷達(dá)邊緣的探測能力差，對于船體的姿態(tài)與船艙口等檢測易形成偏差，將直接影響船艙作業(yè)的范圍探測情況
。

技術(shù)實現(xiàn)思路

[0004]有鑒于此，本專利技術(shù)提出了一種散貨船圖像點云融合掃描分割方法，以解決視頻數(shù)據(jù)精度不佳，以及點云信息無法有效判斷某些類別或異常情況的問題
。
[0005]本專利技術(shù)的技術(shù)方案是這樣實現(xiàn)的：本專利技術(shù)提供了一種散貨船圖像點云融合掃描分割方法，基于設(shè)置在港口門機上的激光雷達(dá)與相機實現(xiàn)，本方法包括以下步驟：
[0006]S1、
在同一時刻，激光雷達(dá)掃描散貨船獲取點云數(shù)據(jù)，相機拍攝散貨船獲得圖像數(shù)據(jù)；
[0007]S2、
在點云數(shù)據(jù)中劃分區(qū)域，并針對各區(qū)域進行類別標(biāo)注，在圖像數(shù)據(jù)中劃分區(qū)域，并針對各區(qū)域進行類別標(biāo)注；
[0008]S3、
將激光雷達(dá)與相機的坐標(biāo)系進行轉(zhuǎn)換，使其處于同一坐標(biāo)系下；
[0009]S4、
使用配準(zhǔn)算法將點云數(shù)據(jù)和圖像數(shù)據(jù)對齊，形成訓(xùn)練數(shù)據(jù)；
[0010]S5、
設(shè)計多模態(tài)融合深度學(xué)習(xí)模型，并采用訓(xùn)練數(shù)據(jù)對其進行訓(xùn)練，得到最優(yōu)模型；
[0011]S6、
實際作業(yè)過程中，將步驟
S1
中實時采集的點云數(shù)據(jù)與圖像數(shù)據(jù)輸入訓(xùn)練后的多模態(tài)融合深度學(xué)習(xí)模型，得到具有預(yù)測類別點標(biāo)記的點云融合數(shù)據(jù)；
[0012]S7、
對點云融合數(shù)據(jù)進行后處理，得到可視化點云圖像
。
[0013]在以上技術(shù)方案的基礎(chǔ)上，優(yōu)選的，所述步驟
S4
包括以下子步驟：
[0014]S41、
從點云數(shù)據(jù)與圖像數(shù)據(jù)中提取特征點，并采用匹配算法進行特征點配對；
[0015]S42、
使用配對的特征點計算點云數(shù)據(jù)與圖像數(shù)據(jù)之間的初步變換矩陣；
[0016]S43、
使用優(yōu)化算法對初步變換矩陣進行優(yōu)化；
[0017]S44、
將優(yōu)化后的變換矩陣應(yīng)用在點云數(shù)據(jù)中，將其對準(zhǔn)到圖像數(shù)據(jù)上，得到對齊后的點云數(shù)據(jù)和圖像數(shù)據(jù)，并將對齊后的點云數(shù)據(jù)和圖像數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)
。
[0018]在以上技術(shù)方案的基礎(chǔ)上，優(yōu)選的，所述步驟
S4
之前，還包括對相機的內(nèi)部參數(shù)與
外部參數(shù)進行標(biāo)定
。
[0019]進一步優(yōu)選的，所述步驟
S41
中的匹配算法為：
[0020]D(x)
＝
d1，
d2，
…
，
d
128
[0021][0022][0023][0024]其中，
D(x)
是
SIFT
特征，
M
為配對特征點的點集，
v
i
是中心像素點的
128
維描述子中的第
i
個元素，
m
i
與是一組匹配對，
d
i
是
2D
圖像中的
SIFT
描述子，是
3D
點云中的
SIFT
描述子
。
[0025]更進一步優(yōu)選的，所述步驟
S42
通過
RANSAC
算法找到點云數(shù)據(jù)與圖像數(shù)據(jù)之間最佳的匹配對，通過最佳匹配對得到與其對應(yīng)的初步變換矩陣，所述
RANSAC
算法為：
[0026][0027][0028]其中，
Θ
是全體可能的變換矩陣，
t
是距離誤差閾值，
w
為內(nèi)點對的集，
n
表示對應(yīng)點對的數(shù)量，
w
i
表示內(nèi)點對集中的第
i
個內(nèi)點對，
θ
是所有可能的變換矩陣集合，
P(m
i
|
θ
)
是在給定變換矩陣
θ
下匹配對
m
i
的概率
。
[0029]更進一步優(yōu)選的，所述步驟
S43
中的優(yōu)化算法為：
[0030][0031]其中，
pi
和
qi
分別表示對應(yīng)點對中的
3D
點和
2D
點，
h(p
i
)
是變換矩陣
H
對
3D
點云中的第
i
個點進行變換后得到的結(jié)果，是對應(yīng)點之間的歐幾里得距離的平方和
。
[0032]在以上技術(shù)方案的基礎(chǔ)上，優(yōu)選的，還包括步驟
S8
，在步驟
S6
之前選擇性的驗證多模態(tài)融合深度學(xué)習(xí)模型的有效性
。
[0033]進一步優(yōu)選的，所述步驟
S8
包括以下子步驟：
[0034]S81、
選擇多個特征點作為對比特征組；
[0035]S82、
通過拍攝圖像獲得散貨船對比特征組的坐標(biāo)，形成圖像對比組，通過點云數(shù)據(jù)獲得散貨船對比特征組的坐標(biāo)，形成點云對比組；
[0036]S83、
將相同的圖像數(shù)據(jù)與點云數(shù)據(jù)輸入多模態(tài)融合深度學(xué)習(xí)模型，得到具有對比特征組對應(yīng)標(biāo)記的點云融合數(shù)據(jù)；
[0037]S84、
將具有對比特征組對應(yīng)標(biāo)記的點云融合數(shù)據(jù)中的對比特征組分別和圖像對比組以及點云對比組進行位置比較，以進行模型的精度評估
。
[0038]在以上技術(shù)方案的基礎(chǔ)上，優(yōu)選的，所述步驟
S7
中的后處理包括閾值分割
、
平滑處理與數(shù)據(jù)可視化
。
[0039]更進一步優(yōu)選的，所述步驟
S84
中，若模型精度評估不合格，則通過修改模型
、
增加訓(xùn)練樣本或修改超參數(shù)進行模型優(yōu)化
。
[0040]本專利技術(shù)的散貨船圖像點云融合掃描分割方法相對于現(xiàn)有技術(shù)具有以下有益效果：
[0041](1)...

【技術(shù)保護點】

【技術(shù)特征摘要】
1.
一種散貨船圖像點云融合掃描分割方法，其特征在于，基于設(shè)置在港口門機上的激光雷達(dá)與相機實現(xiàn)，本方法包括以下步驟：
S1、
在同一時刻，激光雷達(dá)掃描散貨船獲取點云數(shù)據(jù)，相機拍攝散貨船獲得圖像數(shù)據(jù)；
S2、
在點云數(shù)據(jù)中劃分區(qū)域，并針對各區(qū)域進行類別標(biāo)注，在圖像數(shù)據(jù)中劃分區(qū)域，并針對各區(qū)域進行類別標(biāo)注；
S3、
將激光雷達(dá)與相機的坐標(biāo)系進行轉(zhuǎn)換，使其處于同一坐標(biāo)系下；
S4、
使用配準(zhǔn)算法將點云數(shù)據(jù)和圖像數(shù)據(jù)對齊，形成訓(xùn)練數(shù)據(jù)；
S5、
設(shè)計多模態(tài)融合深度學(xué)習(xí)模型，并采用訓(xùn)練數(shù)據(jù)對其進行訓(xùn)練，得到最優(yōu)模型；
S6、
實際作業(yè)過程中，將步驟
S1
中實時采集的點云數(shù)據(jù)與圖像數(shù)據(jù)輸入訓(xùn)練后的多模態(tài)融合深度學(xué)習(xí)模型，得到具有預(yù)測類別點標(biāo)記的點云融合數(shù)據(jù)；
S7、
對點云融合數(shù)據(jù)進行后處理，得到可視化點云圖像
。2.
如權(quán)利要求1所述的散貨船圖像點云融合掃描分割方法，其特征在于，所述步驟
S4
包括以下子步驟：
S41、
從點云數(shù)據(jù)與圖像數(shù)據(jù)中提取特征點，并采用匹配算法進行特征點配對；
S42、
使用配對的特征點計算點云數(shù)據(jù)與圖像數(shù)據(jù)之間的初步變換矩陣；
S43、
使用優(yōu)化算法對初步變換矩陣進行優(yōu)化；
S44、
將優(yōu)化后的變換矩陣應(yīng)用在點云數(shù)據(jù)中，將其對準(zhǔn)到圖像數(shù)據(jù)上，得到對齊后的點云數(shù)據(jù)和圖像數(shù)據(jù)，并將對齊后的點云數(shù)據(jù)和圖像數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)
。3.
如權(quán)利要求1所述的散貨船圖像點云融合掃描分割方法，其特征在于，所述步驟
S4
之前，還包括對相機的內(nèi)部參數(shù)與外部參數(shù)進行標(biāo)定
。4.
如權(quán)利要求2所述的散貨船圖像點云融合掃描分割方法，其特征在于，所述步驟
S41
中的匹配算法為：
D(x)
＝
d1,d2,...,d
128128128
其中，
D(x)
是
SIFT
特征，
M
為配對特征點的點集，
v
i
是中心像素點的
128
維描述子中的第
i
個元素，
m
i
與是一組匹配對，
d
i
是
2D
圖像中的
SIFT
描述子，是
3D
點云中的
SIFT
描述子
。5.
如權(quán)利要求4所述的散貨船圖像點云融合掃描分割方法，其特征在于，所述步驟
S42
通過
...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：胡文杰，陳奇，鄒永開，李恒，石先城，張濤，曹志俊，
申請(專利權(quán))人：武漢港迪智能技術(shù)有限公司，
類型：發(fā)明
國別省市：