【技術實現步驟摘要】
本申請實施例涉及但不限于居家智慧養老，尤其涉及一種多模態融合的生活感知方法及系統。
技術介紹
1、獨居老人的生活狀態感知，是每個子女或者社會老年群體關注的熱點和難點之一。由于老年人身體機能下降，跌倒的可能性大大增加，而跌倒后可能導致的傷害，如骨折、軟組織挫傷以及心理創傷等，都是不容忽視的。如果跌倒的用戶不能得到及時的救助，其傷勢可能會進一步加重。為了解決這一問題，傳統的監測方法往往依賴于單一的傳感器或設備，但這種方法存在很大的局限性。例如，它可能無法全面捕捉用戶的生活狀態和行為特征，也可能無法準確判斷跌倒等突發意外行為。因此，亟需一種更為先進、準確且全面的方法，來對用戶的生活狀態進行感知和監測。
技術實現思路
1、以下是對本文詳細描述的主題的概述。本概述并非是為了限制權利要求的保護范圍。
2、本申請實施例提供了一種多模態融合的生活感知方法，能夠實現全面對用戶的生活狀態進行感知和監測，并及時觸發預警機制。
3、第一方面，本申請實施例提供了一種多模態融合的生活感知方法，包括：
4、通過多個不同類型的傳感器獲取多模態傳感器信息，所述傳感器是根據用戶的生活習慣信息和生活場景信息進行部署的；
5、根據所述傳感器的部署位置和類型，生成第一感知模型和第二感知模型，所述第一感知模型的計算復雜度低于所述第二感知模型的計算復雜度；
6、將所述多模態傳感器信息輸入所述第一感知模型，得到初步特征和初步預測結果；
7、將所述多模態傳感器
8、根據所述初步預測結果和所述二次預測結果的關聯程度生成預警信息。
9、結合第一方面，在本申請一實施例中，所述多模態傳感器信息包括生活行為狀態數據和持續生活體征數據，所述生活行為狀態數據由指定圖像提供，所述持續生活體征數據由指定點云數據提供。
10、結合第一方面，在本申請一實施例中，所述將所述多模態傳感器信息輸入所述第一感知模型，得到初步特征和初步預測結果，包括：對所述生活行為狀態數據和所述持續生活體征數據進行去噪和歸一化處理，得到第一多模態行為狀態數據，將所述第一多模態行為狀態數據輸入所述第一感知模型；從所述第一多模態行為狀態數據中提取多模態狀態特征，將所述多模態狀態特征進行融合得到初步特征；根據所述狀態特征表示信息得到初步預測結果。
11、結合第一方面，在本申請一實施例中，所述獲取多模態傳感器信息包括：當所述初步預測結果表征目標用戶感知正常，獲取目標用戶的第一生活行為狀態數據；當所述初步預測結果表征目標用戶感知異常，獲取目標用戶的第二生活行為狀態數據，并根據所述第二生活行為狀態數據生成初步預警信息；所述第一生活行為狀態數據由第一圖像提供，所述第二生活行為狀態數據由第二圖像提供，所述第二圖像的分辨率大于所述第一圖像的分辨率。
12、結合第一方面，在本申請一實施例中，所述將所述多模態傳感器信息和所述初步特征輸入所述第二感知模型得到二次預測結果，包括：將去噪和歸一化處理后的所述生活行為狀態數據和所述持續生活體征數據，以及初步特征進行組合，形成第二多模態行為狀態數據；將所述第二多模態行為狀態數據輸入到第二感知模型中進行預測，得到二次預測結果。
13、結合第一方面，在本申請一實施例中，所述根據所述初步預測結果和所述二次預測結果的關聯程度生成預警信息，包括：當所述初步預測結果和所述二次預測結果均顯示異常，所述預警信息為第一異常預警信息；當所述二次預測結果顯示異常且所述初步預測結果顯示正常，所述預警信息為第二異常預警信息；當所述二次預測結果顯示正常且所述初步預測結果顯示異常，所述預警信息為第三異常預警信息；所述第一異常預警信息的異常強度大于所述第二異常預警信息的異常強度，所述第二異常預警信息的異常強度大于所述第三異常預警信息的異常強度。
14、結合第一方面，在本申請一實施例中，所述根據所述傳感器的部署位置和類型，生成第一感知模型和第二感知模型，包括：根據所述傳感器的部署位置和類型，構建初始第一感知模型和初始第二感知模型；對所述初始第一感知模型進行模型訓練得到第一感知模型，對所述初始第二感知模型進行模型訓練得到第二感知模型。
15、第二方面，本申請實施例提供了一種多模態融合的生活感知系統，包括終端、服務器和多種傳感器，多種所述傳感器、所述終端和所述服務器通信；多種所述傳感器根據生活習慣信息和生活場景信息部署，所述終端用于獲取多模態傳感器信息，根據所述傳感器的部署位置和類型構建初始第一感知模型，對所述初始第一感知模型進行模型訓練得到第一感知模型，將所述多模態傳感器信息輸入所述第一感知模型，得到初步特征和初步預測結果；所述服務器用于獲取多模態傳感器信息和所述初步特征，根據所述傳感器的部署位置和類型構建初始第二感知模型，對所述初始第二感知模型進行模型訓練得到第二感知模型，將所述多模態傳感器信息和所述初步特征輸入所述第二感知模型得到二次預測結果；根據所述初步預測結果和所述二次預測結果的關聯程度生成預警信息。
16、結合第二方面，在本申請一實施例中，所述傳感器的類型包括彩色相機、深度相機、毫米波雷達和紅外相機。
17、結合第二方面，在本申請一實施例中，所述系統設置有通信模塊，用于根據預警信息向指定用戶發送信息。
18、本申請實施例提供的一種多模態融合的生活感知方法，首先，通過多個不同類型的傳感器獲取多模態傳感器信息，其中，這些傳感器是根據用戶的生活習慣信息和生活場景信息進行部署的。這種定制化配置能夠全方位、多角度地收集用戶的生活狀態和行為特征數據，有效避免單一傳感器因視角或功能限制導致的監測盲區，確保對用戶生活狀態的全面感知。接著，根據傳感器的部署位置和類型，生成第一感知模型和第二感知模型。將多模態傳感器信息輸入第一感知模型，得到初步特征和初步預測結果；再將這些信息與初步特征一同輸入第二感知模型，得到二次預測結果。隨后，根據初步預測結果與二次預測結果的關聯程度，生成預警信息。這種雙重驗證機制顯著提高了預警系統的可靠性。由于多模態傳感器信息的實時性，預警信息能夠迅速傳達給緊急聯系人，確保用戶能在第一時間獲得救援。相比之下，傳統的單一傳感器方法可能因數據不足或誤判而導致對跌倒等突發意外行為的識別不準確。而本申請實施例通過融合多模態傳感器信息，結合初步特征和二次預測結果，能夠更準確地判斷用戶的行為狀態，特別是跌倒等緊急情況，從而及時觸發預警機制。
本文檔來自技高網...【技術保護點】
1.一種多模態融合的生活感知方法，其特征在于，包括：
2.根據權利要求1所述的一種多模態融合的生活感知方法，其特征在于，所述多模態傳感器信息包括生活行為狀態數據和持續生活體征數據，所述生活行為狀態數據由指定圖像提供，所述持續生活體征數據由指定點云數據提供。
3.根據權利要求2所述的一種多模態融合的生活感知方法，其特征在于，所述將所述多模態傳感器信息輸入所述第一感知模型，得到初步特征和初步預測結果，包括：對所述生活行為狀態數據和所述持續生活體征數據進行去噪和歸一化處理，得到第一多模態行為狀態數據，將所述第一多模態行為狀態數據輸入所述第一感知模型；從所述第一多模態行為狀態數據中提取多模態狀態特征，將所述多模態狀態特征進行融合得到初步特征；根據所述狀態特征表示信息得到初步預測結果。
4.根據權利要求3所述的一種多模態融合的生活感知方法，其特征在于，所述獲取多模態傳感器信息包括：當所述初步預測結果表征目標用戶感知正常，獲取目標用戶的第一生活行為狀態數據；當所述初步預測結果表征目標用戶感知異常，獲取目標用戶的第二生活行為狀態數據，并根據所述第二生活行為狀
5.根據權利要求2所述的一種多模態融合的生活感知方法，其特征在于，所述將所述多模態傳感器信息和所述初步特征輸入所述第二感知模型得到二次預測結果，包括：將去噪和歸一化處理后的所述生活行為狀態數據和所述持續生活體征數據，以及初步特征進行組合，形成第二多模態行為狀態數據；將所述第二多模態行為狀態數據輸入到第二感知模型中進行預測，得到二次預測結果。
6.根據權利要求1所述的一種多模態融合的生活感知方法，其特征在于，所述根據所述初步預測結果和所述二次預測結果的關聯程度生成預警信息，包括：當所述初步預測結果和所述二次預測結果均顯示異常，所述預警信息為第一異常預警信息；當所述二次預測結果顯示異常且所述初步預測結果顯示正常，所述預警信息為第二異常預警信息；當所述二次預測結果顯示正常且所述初步預測結果顯示異常，所述預警信息為第三異常預警信息；所述第一異常預警信息的異常強度大于所述第二異常預警信息的異常強度，所述第二異常預警信息的異常強度大于所述第三異常預警信息的異常強度。
7.根據權利要求1所述的一種多模態融合的生活感知方法，其特征在于，所述根據所述傳感器的部署位置和類型，生成第一感知模型和第二感知模型，包括：根據所述傳感器的部署位置和類型，構建初始第一感知模型和初始第二感知模型；對所述初始第一感知模型進行模型訓練得到第一感知模型，對所述初始第二感知模型進行模型訓練得到第二感知模型。
8.一種多模態融合的生活感知系統，其特征在于，包括終端、服務器和多種傳感器，多種所述傳感器、所述終端和所述服務器通信；多種所述傳感器根據生活習慣信息和生活場景信息部署，所述終端用于獲取多模態傳感器信息，根據所述傳感器的部署位置和類型構建初始第一感知模型，對所述初始第一感知模型進行模型訓練得到第一感知模型，將所述多模態傳感器信息輸入所述第一感知模型，得到初步特征和初步預測結果；所述服務器用于獲取多模態傳感器信息和所述初步特征，根據所述傳感器的部署位置和類型構建初始第二感知模型，對所述初始第二感知模型進行模型訓練得到第二感知模型，將所述多模態傳感器信息和所述初步特征輸入所述第二感知模型得到二次預測結果；根據所述初步預測結果和所述二次預測結果的關聯程度生成預警信息。
9.根據權利要求8所述的一種多模態融合的生活感知系統，其特征在于，所述傳感器的類型包括彩色相機、深度相機、毫米波雷達和紅外相機。
10.根據權利要求9所述的一種多模態融合的生活感知系統，其特征在于，所述系統設置有通信模塊，用于根據預警信息向指定用戶發送信息。
...【技術特征摘要】
1.一種多模態融合的生活感知方法，其特征在于，包括：
2.根據權利要求1所述的一種多模態融合的生活感知方法，其特征在于，所述多模態傳感器信息包括生活行為狀態數據和持續生活體征數據，所述生活行為狀態數據由指定圖像提供，所述持續生活體征數據由指定點云數據提供。
3.根據權利要求2所述的一種多模態融合的生活感知方法，其特征在于，所述將所述多模態傳感器信息輸入所述第一感知模型，得到初步特征和初步預測結果，包括：對所述生活行為狀態數據和所述持續生活體征數據進行去噪和歸一化處理，得到第一多模態行為狀態數據，將所述第一多模態行為狀態數據輸入所述第一感知模型；從所述第一多模態行為狀態數據中提取多模態狀態特征，將所述多模態狀態特征進行融合得到初步特征；根據所述狀態特征表示信息得到初步預測結果。
4.根據權利要求3所述的一種多模態融合的生活感知方法，其特征在于，所述獲取多模態傳感器信息包括：當所述初步預測結果表征目標用戶感知正常，獲取目標用戶的第一生活行為狀態數據；當所述初步預測結果表征目標用戶感知異常，獲取目標用戶的第二生活行為狀態數據，并根據所述第二生活行為狀態數據生成初步預警信息；所述第一生活行為狀態數據由第一圖像提供，所述第二生活行為狀態數據由第二圖像提供，所述第二圖像的分辨率大于所述第一圖像的分辨率。
5.根據權利要求2所述的一種多模態融合的生活感知方法，其特征在于，所述將所述多模態傳感器信息和所述初步特征輸入所述第二感知模型得到二次預測結果，包括：將去噪和歸一化處理后的所述生活行為狀態數據和所述持續生活體征數據，以及初步特征進行組合，形成第二多模態行為狀態數據；將所述第二多模態行為狀態數據輸入到第二感知模型中進行預測，得到二次預測結果。
6.根據權利要求1所述的一種多模態融合的生活感知方法，其特征在于，所述根據所述初步預測結果和所述二次預測結果的關聯程度生成預警信息，包括：當所述初步預測...
【專利技術屬性】
技術研發人員：郭清達，鄧富豪，陽峻龍，
申請(專利權)人：深圳市拓普智造科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。