【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)屬于無人集群系統(tǒng)，具體涉及一種基于大模型的人機(jī)混合系統(tǒng)感控方法。
技術(shù)介紹
1、無人集群系統(tǒng)在國防、地質(zhì)、救援等領(lǐng)域具有重要應(yīng)用價(jià)值。集群系統(tǒng)中無人平臺數(shù)量的增加，對集群系統(tǒng)的態(tài)勢感知和控制提出更高的要求。預(yù)訓(xùn)練的大模型具有強(qiáng)大的自然語言理解能力，將大模型應(yīng)用于人機(jī)混合系統(tǒng)的態(tài)勢感知和控制具有極為重要的意義。
2、目前，在單一人類操作員控制的無人集群系統(tǒng)中，包含數(shù)十到數(shù)百架異構(gòu)無人平臺，態(tài)勢和狀態(tài)信息量大，集群控制復(fù)雜，人類操作員的認(rèn)知負(fù)荷大，無人集群的安全性難以保證。因此，亟需一種基于大模型的人機(jī)混合系統(tǒng)感控方法，以提高人機(jī)混合系統(tǒng)的感知和控制效率。
技術(shù)實(shí)現(xiàn)思路
1、(一)要解決的技術(shù)問題
2、本專利技術(shù)要解決的技術(shù)問題是：在單一人類操作員控制的無人集群系統(tǒng)中，包含數(shù)十到數(shù)百架異構(gòu)無人平臺，態(tài)勢和狀態(tài)信息量大，集群控制復(fù)雜，人類操作員的認(rèn)知負(fù)荷大，無人集群的安全性難以保證。因此，為了提高人機(jī)混合系統(tǒng)的感知和控制效率，需要提出一種基于大模型的人機(jī)混合系統(tǒng)感控方法，將集群狀態(tài)信息、帶有目標(biāo)邊框的圖像、目標(biāo)類別、目標(biāo)定位信息和態(tài)勢評估復(fù)雜度指標(biāo)輸入多模態(tài)大模型，多模態(tài)大模型從無人集群收集的大量數(shù)據(jù)中提取關(guān)鍵信息給人類操作員，人類操作員發(fā)出符合人類語言習(xí)慣的集群控制語音指令，通過語音識別算法將人類操作員的語音指令轉(zhuǎn)化為自然語言文本，并輸入給多模態(tài)大模型，多模態(tài)大模型輸出滿足無人平臺自主控制算法格式的高級集群控制指令，使無人集群直接根據(jù)人類操作員的意圖采
3、(二)技術(shù)方案
4、為解決上述技術(shù)問題，本專利技術(shù)提供為解決現(xiàn)有技術(shù)問題，本專利技術(shù)提供一種基于大模型的人機(jī)混合系統(tǒng)感控方法，其特征在于，所述基于大模型的人機(jī)混合系統(tǒng)感控方法，用于提高人機(jī)混合系統(tǒng)的感知和控制效率；
5、所述人機(jī)混合系統(tǒng)包括無人集群系統(tǒng)和人類操作員；無人集群系統(tǒng)收集環(huán)境信息并發(fā)送給人類操作員，并接收來自人類操作員的控制指令；人類操作員根據(jù)無人集群系統(tǒng)收集的環(huán)境信息做出控制決策，向無人集群系統(tǒng)發(fā)送控制指令；
6、無人集群系統(tǒng)由多架無人機(jī)和多架無人車組成，每架無人機(jī)和無人車都是一個(gè)無人平臺；無人平臺中搭載嵌入式計(jì)算機(jī)、位姿測量模塊、運(yùn)動控制模塊、電池、電池監(jiān)測模塊、通訊電臺、雙目相機(jī)、自毀模塊；
7、嵌入式計(jì)算機(jī)是單架無人平臺的控制核心，與位姿測量模塊、運(yùn)動控制模塊、電池、電池監(jiān)測模塊、通訊電臺、雙目相機(jī)、自毀模塊進(jìn)行數(shù)據(jù)交換；嵌入式計(jì)算機(jī)接收位姿測量模塊的位置和姿態(tài)信息，接收電池監(jiān)測模塊的電池電壓信息，接收雙目相機(jī)的視覺圖像，通過通訊電臺接收來自人類操作員的高級集群控制指令，通過通訊電臺向人類操作員發(fā)送集群狀態(tài)信息和圖像信息，向運(yùn)動控制模塊發(fā)送運(yùn)動控制指令，向自毀模塊發(fā)送自毀指令；在嵌入式計(jì)算機(jī)中部署具有路徑規(guī)劃、避障、任務(wù)分配、自毀功能的自主控制算法，用于接收高級集群控制指令和其他模塊的數(shù)據(jù)，通過任務(wù)分配將高級集群控制指令轉(zhuǎn)化為無人平臺的運(yùn)動控制指令和自毀指令；
8、位姿測量模塊測量無人平臺的位置和姿態(tài)信息，包括定位信息、速度、加速度、角速度和姿態(tài)信息；位姿測量模塊將測量的位置和姿態(tài)信息發(fā)送給嵌入式計(jì)算機(jī)；
9、運(yùn)動控制模塊接收嵌入式計(jì)算機(jī)發(fā)出的運(yùn)動控制指令，控制無人平臺電機(jī)的輸出功率；
10、電池為無人平臺提供電力；
11、電池監(jiān)測模塊測量電池的電壓并轉(zhuǎn)化為剩余電量信息，發(fā)送給嵌入式計(jì)算機(jī)；
12、通訊電臺接收來自人類操作員的高級控制指令并發(fā)送給嵌入式計(jì)算機(jī)，接收嵌入式計(jì)算機(jī)匯總的無人平臺狀態(tài)信息和圖像信息并發(fā)送給人類操作員；
13、雙目相機(jī)拍攝無人平臺正前方的圖像，將圖像發(fā)送給嵌入式計(jì)算機(jī)；
14、自毀模塊接收嵌入式計(jì)算機(jī)的自毀指令，根據(jù)自毀指令觸發(fā)自毀操作，實(shí)現(xiàn)無人平臺破障；
15、人類操作員攜帶背負(fù)式服務(wù)器、心率傳感器、麥克風(fēng)、操作終端、通訊電臺；人類操作員通過操作終端讀取態(tài)勢評估結(jié)果，通過麥克風(fēng)發(fā)出集群控制語音指令；
16、背負(fù)式服務(wù)器與心率傳感器、麥克風(fēng)、通訊電臺、操作終端進(jìn)行數(shù)據(jù)交換；背負(fù)式服務(wù)器接收心率傳感器測量的心率數(shù)據(jù)，通過麥克風(fēng)接收人類操作員的語音信號，通過通訊電臺接收無人集群的集群狀態(tài)信息和圖像信息，通過通訊電臺向無人集群發(fā)送高級集群控制指令，向操作終端顯示自然語言態(tài)勢評估；在背負(fù)式服務(wù)器中部署多模態(tài)大模型、語音識別算法、目標(biāo)檢測和定位算法、安全評估算法；多模態(tài)大模型根據(jù)人類操作員的心率數(shù)據(jù)調(diào)整輸出的態(tài)勢評估的語言復(fù)雜度，根據(jù)無人集群的集群狀態(tài)信息和圖像信息輸出自然語言態(tài)勢評估，根據(jù)人類操作員的自然語言集群控制指令生成高級集群控制指令；語音識別算法將人類操作員的語音信號轉(zhuǎn)化為自然語言文本；目標(biāo)檢測和定位算法根據(jù)集群采集的圖像檢測圖像中的人類和物體并測量人類和物體的相對位置；安全評估算法根據(jù)安全策略對高級集群控制指令進(jìn)行評估；
17、心率傳感器測量人類操作員的心率，安裝于人類操作員的心臟位置；
18、麥克風(fēng)接收人類操作員的語音信號；
19、通訊電臺接收來自無人集群的狀態(tài)信息和圖像信息并發(fā)送給背負(fù)式服務(wù)器，接收人類操作員的高級控制指令并發(fā)送給無人集群；
20、操作終端包括顯示屏和操作按鈕，顯示屏顯示人類操作員的高級控制指令和自然語言態(tài)勢評估，操作按鈕控制無人集群的啟動和關(guān)閉；
21、所述人機(jī)混合系統(tǒng)感控方法，包括如下步驟：
22、步驟1：人類操作員穿戴心率傳感器、麥克風(fēng)，攜帶通訊電臺和背負(fù)式服務(wù)器，手持操作終端；人類操作員通過操作終端啟動無人集群系統(tǒng)；
23、步驟2：心率傳感器采集人類操作員心率數(shù)據(jù)，計(jì)算態(tài)勢評估復(fù)雜度指標(biāo)，并輸入多模態(tài)大模型，多模態(tài)大模型根據(jù)復(fù)雜度指標(biāo)調(diào)整態(tài)勢評估的語言復(fù)雜度；通過心率計(jì)算態(tài)勢評估復(fù)雜度指標(biāo)，反映人類的認(rèn)知負(fù)荷，使多模態(tài)大模型根據(jù)人類認(rèn)知負(fù)荷的大小自適應(yīng)調(diào)整態(tài)勢評估的語言復(fù)雜度，提高人類操作員的態(tài)勢感知體驗(yàn)和決策效率，進(jìn)而提高人機(jī)混合系統(tǒng)的感知和控制效率；態(tài)勢評估復(fù)雜度指標(biāo)由下式計(jì)算：
24、
25、其中，x為瞬時(shí)心率，k1為人類操作員靜息心率，k2為人類操作員年齡，ε為防止分母為0的一個(gè)小正數(shù)，φ為態(tài)勢評估復(fù)雜度指標(biāo)；
26、步驟3：無人集群系統(tǒng)中的所有無人平臺采集平臺狀態(tài)信息和環(huán)境圖像，通過通訊電臺將平臺狀態(tài)信息和圖像發(fā)送給背負(fù)式服務(wù)器；
27、步驟4：背負(fù)式服務(wù)器將平臺狀態(tài)信息匯總為集群狀態(tài)信息，并調(diào)整為多模態(tài)大模型的文本輸入格式；
28、步驟5：背負(fù)式服務(wù)器對圖像運(yùn)行目標(biāo)檢測和定位算法，輸出帶有目標(biāo)邊框的圖像、目標(biāo)類別和目標(biāo)定位信息；
29、步驟6：將集群狀態(tài)信息、帶有目標(biāo)邊框的圖像、目標(biāo)類別、目標(biāo)定位信息和態(tài)勢評估復(fù)雜度指標(biāo)輸入多模態(tài)大模型，多模態(tài)大模型生成自然語言態(tài)勢評估；態(tài)勢評估的語言復(fù)雜度與態(tài)勢評估復(fù)雜度指標(biāo)有本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于大模型的人機(jī)混合系統(tǒng)感控方法，其特征在于，所述人機(jī)混合系統(tǒng)感控方法，包括如下步驟：
2.如權(quán)利要求1所述的基于大模型的人機(jī)混合系統(tǒng)感控方法，其特征在于，所述步驟9中，包括：
3.如權(quán)利要求1所述的基于大模型的人機(jī)混合系統(tǒng)感控方法，其特征在于，所述基于大模型的人機(jī)混合系統(tǒng)感控方法，用于提高人機(jī)混合系統(tǒng)的感知和控制效率。
4.如權(quán)利要求1所述的基于大模型的人機(jī)混合系統(tǒng)感控方法，其特征在于，所述人機(jī)混合系統(tǒng)包括無人集群系統(tǒng)和人類操作員；無人集群系統(tǒng)收集環(huán)境信息并發(fā)送給人類操作員，并接收來自人類操作員的控制指令；人類操作員根據(jù)無人集群系統(tǒng)收集的環(huán)境信息做出控制決策，向無人集群系統(tǒng)發(fā)送控制指令。
5.如權(quán)利要求4所述的基于大模型的人機(jī)混合系統(tǒng)感控方法，其特征在于，所述無人集群系統(tǒng)由多架無人機(jī)和多架無人車組成，每架無人機(jī)和無人車都是一個(gè)無人平臺；無人平臺中搭載嵌入式計(jì)算機(jī)、位姿測量模塊、運(yùn)動控制模塊、電池、電池監(jiān)測模塊、通訊電臺、雙目相機(jī)、自毀模塊。
6.如權(quán)利要求5所述的基于大模型的人機(jī)混合系統(tǒng)感控方法，其特征在于，嵌
7.如權(quán)利要求6所述的基于大模型的人機(jī)混合系統(tǒng)感控方法，其特征在于，所述位姿測量模塊測量無人平臺的位置和姿態(tài)信息，包括定位信息、速度、加速度、角速度和姿態(tài)信息；位姿測量模塊將測量的位置和姿態(tài)信息發(fā)送給嵌入式計(jì)算機(jī)。
8.如權(quán)利要求7所述的基于大模型的人機(jī)混合系統(tǒng)感控方法，其特征在于，運(yùn)動控制模塊接收嵌入式計(jì)算機(jī)發(fā)出的運(yùn)動控制指令，控制無人平臺電機(jī)的輸出功率；
9.如權(quán)利要求8所述的基于大模型的人機(jī)混合系統(tǒng)感控方法，其特征在于，人類操作員攜帶背負(fù)式服務(wù)器、心率傳感器、麥克風(fēng)、操作終端、通訊電臺；人類操作員通過操作終端讀取態(tài)勢評估結(jié)果，通過麥克風(fēng)發(fā)出集群控制語音指令；
10.如權(quán)利要求9所述的基于大模型的人機(jī)混合系統(tǒng)感控方法，其特征在于，操作終端包括顯示屏和操作按鈕，顯示屏顯示人類操作員的高級控制指令和自然語言態(tài)勢評估，操作按鈕控制無人集群的啟動和關(guān)閉。
...【技術(shù)特征摘要】
1.一種基于大模型的人機(jī)混合系統(tǒng)感控方法，其特征在于，所述人機(jī)混合系統(tǒng)感控方法，包括如下步驟：
2.如權(quán)利要求1所述的基于大模型的人機(jī)混合系統(tǒng)感控方法，其特征在于，所述步驟9中，包括：
3.如權(quán)利要求1所述的基于大模型的人機(jī)混合系統(tǒng)感控方法，其特征在于，所述基于大模型的人機(jī)混合系統(tǒng)感控方法，用于提高人機(jī)混合系統(tǒng)的感知和控制效率。
4.如權(quán)利要求1所述的基于大模型的人機(jī)混合系統(tǒng)感控方法，其特征在于，所述人機(jī)混合系統(tǒng)包括無人集群系統(tǒng)和人類操作員；無人集群系統(tǒng)收集環(huán)境信息并發(fā)送給人類操作員，并接收來自人類操作員的控制指令；人類操作員根據(jù)無人集群系統(tǒng)收集的環(huán)境信息做出控制決策，向無人集群系統(tǒng)發(fā)送控制指令。
5.如權(quán)利要求4所述的基于大模型的人機(jī)混合系統(tǒng)感控方法，其特征在于，所述無人集群系統(tǒng)由多架無人機(jī)和多架無人車組成，每架無人機(jī)和無人車都是一個(gè)無人平臺；無人平臺中搭載嵌入式計(jì)算機(jī)、位姿測量模塊、運(yùn)動控制模塊、電池、電池監(jiān)測模塊、通訊電臺、雙目相機(jī)、自毀模塊。
6.如權(quán)利要求5所述的基于大模型的人機(jī)混合系統(tǒng)感控方法，其特征在于，嵌入式計(jì)算機(jī)是單架無人平臺的控制核心，與位姿測量模塊、運(yùn)動控制模塊、電池、電池監(jiān)測模塊、通訊電臺、雙目相機(jī)、自毀模塊進(jìn)行數(shù)據(jù)交換；嵌入式計(jì)算機(jī)接收位姿測量模塊的位置和姿態(tài)信息，接收電池監(jiān)測模塊的電池...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：景佳奇，劉勇，馮付勇，樊尚春，鄭德智，黨睿娜，宋威龍，張馨元，王志一，
申請(專利權(quán))人：中兵智能創(chuàng)新研究院有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。