【技術實現步驟摘要】
本專利技術屬于計算機視覺、取餐推薦，涉及一種根據情緒記錄和取餐記錄來推薦菜品的智能推薦方法及系統。
技術介紹
1、近年來，隨著計算機技術的發展和普及，智能推薦系統在各個領域中得到了廣泛應用，尤其是在餐飲行業，使用智能推薦系統為用戶推薦菜品受到了越來越多的關注。
2、當前的餐飲推薦系統主要基于用戶的歷史飲食偏好和消費記錄來生成推薦菜品。然而，這類系統往往忽略了情緒對飲食選擇的顯著影響。大量研究表明，人的情緒狀態會直接影響其飲食行為。例如，在壓力大、情緒低落或焦慮的情況下，人們更傾向于選擇高糖高脂的食物，而在心情愉悅時，則更傾向于選擇健康食品。這種情緒對飲食選擇的影響，如果不能在推薦系統中加以考慮，往往會導致推薦結果的準確性和用戶滿意度降低。
3、例如公開號為cn?112598435a的中國專利技術專利申請，公開了一種餐廳的推薦方法和裝置、存儲介質、電子裝置。其中，該方法包括：在根據當前語音確定目標用戶有外出就餐需求的情況下，根據所述目標用戶的知識圖譜確定與所述目標用戶的習慣匹配的目標餐廳；向所述目標用戶推薦所述目標餐廳。該方法需通過用戶語音區分用戶，本申請通過攝像頭區分用戶，解決了語音識別的局限性，語音識別可能受到背景噪音、口音、語速等影響通過攝像頭識別用戶，可以減少這些因素對用戶識別準確性的影響。
4、再例如公開號為cn113554456a的中國專利技術專利申請，公開了一種基于稱重與視覺識別的餐飲分析方法及系統，該方法包括：拍攝用戶的人臉影像，檢索人臉影像對應的用戶信息；基于用戶信息獲取用戶的
5、當前的餐飲推薦系統主要基于用戶的歷史飲食偏好和消費記錄來生成推薦菜品。然而，這類系統往往忽略了情緒對飲食選擇的顯著影響。大量研究表明，人的情緒狀態會直接影響其飲食行為。例如，在壓力大、情緒低落或焦慮的情況下，人們更傾向于選擇高糖高脂的食物，而在心情愉悅時，則更傾向于選擇健康食品。這種情緒對飲食選擇的影響，如果不能在推薦系統中加以考慮，往往會導致推薦結果的準確性和用戶滿意度降低。
技術實現思路
1、為了克服已有技術的不足，本專利技術提供了一種基于情緒監測的取餐推薦方法及系統，通過視覺數據（即面部表情）的采集和分析，視覺數據采集需經過用戶同意，實時監測用戶的情緒狀態，并結合這些情緒數據與歷史取餐記錄，構建情緒-飲食偏好模型，該模型能夠更準確地預測用戶在不同情緒狀態下的飲食需求，從而生成個性化的推薦菜譜，這不僅提高了推薦結果的準確性和用戶滿意度，還能幫助用戶在管理情緒的同時保持健康的飲食習慣。
2、為實現上述技術目的，本專利技術采用了一種基于情緒監測的取餐推薦方法，包括以下步驟：
3、步驟1）啟動智能稱重售菜裝置，并將預銷售的食用菜放置于電子稱重器上；電子稱重器自動進行稱重，并將數據傳輸至控制中心，若稱重器檢測到重量變化，轉入步驟2）；
4、步驟2）當電子稱重器檢測到食用菜重量減少，表明用戶可能正在取菜；此時，稱重器將此信息發送至控制中心，控制中心首先檢查識別器是否感應到餐盤，若感應到餐盤，識別器會掃描餐盤上的二維編碼或信息磁條，以判斷該餐盤是否已與用戶賬號綁定，若用戶已綁定餐盤轉入步驟3），若餐盤未綁定或無用戶記錄轉入驟4）；
5、步驟3）將檢索該用戶的歷史取餐記錄及對應的歷史情緒狀態，基于這些信息，個性化推薦算法bi-lstm（bi-directional?long?short-term?memory，雙向長短期記憶網絡）將被調用，為用戶推薦菜品，推薦結果將展示在顯示器上；若系統未查詢到用戶的歷史記錄，將根據用戶當前的情緒狀態，調用個性化推薦算法bi-lstm推薦菜品；
6、步驟4）如果識別器未感應到餐盤或判定餐盤未綁定用戶，將啟動報警器進行報警，以防止未授權取菜；
7、步驟5）各個控制中心將信息傳輸至總服務端，總服務端將各個控制中心的信息進行匯總，然后從取餐成功的用戶賬號上扣除取餐費用，扣費成功后報警器進行報警。
8、進一步，所述步驟1）的過程為：
9、1.1）啟動智能稱重售菜裝置的過程開始于接通系統電源，激活所有組件，包括控制中心、電子稱重器、報警器、顯示器和識別器（攝像頭），在操作前，確保餐盤放置在設定的位置，以便其上的二維編碼和信息磁條能夠被識別器準確讀取；
10、1.2）隨后，進行電子稱重器的清潔與校準，保證稱重的準確性；預銷售的食用菜被放置于電子稱重器的稱重平臺上，要求菜品擺放整齊，避免溢出或相互堆疊，以確保稱重數據的準確傳輸至控制中心；
11、1.3）電子稱重器自動完成稱重后，重量數據將實時顯示在顯示器上，并同步傳輸至控制中心，為交易處理提供初始數據；此時，系統進入重量監測模式，電子稱重器持續監測菜品重量的任何變化，同時識別器（攝像頭）開始工作，調用人臉檢測模型mtcnn（multitask?cascaded?convolutional?networks，即多任務級聯網絡）實時檢測人臉。
12、再進一步，所述步驟2）的過程如下：
13、2.l）電子稱重器首先檢測到食用菜重量的減少，這一變化即刻被識別并作為用戶取菜行為的信號；稱重器隨即將重量變化的具體信息傳輸至控制中心，這些信息包括重量的減少量和時間戳；
14、2.2）控制中心接收到信號后，立即激活識別器對餐盤進行檢測，以確認是否有餐盤放置在稱重器上；當檢測到餐盤時，系統將自動觸發識別器掃描餐盤上的二維編碼或信息磁條，這些編碼或磁條能夠讀取到用戶的賬戶信息，如果餐盤已綁定，則系統準備進入步驟3）；
15、2.3）若識別器未能感應到餐盤，或控制中心檢測到餐盤未與任何用戶賬號綁定，系統將根據預設的安全協議，轉入步驟4）。
16、更進一步，所述步驟3）中，對于已識別到用戶，調用深度學習網絡進行識別分析，深度學習網絡的工作流程如下：
17、3.1）使用人臉檢測模型mtcnn識別人臉，檢測到人臉后進行人臉對齊；
18、3.2）使用特征提取模塊對人臉進行特征提取，得到的特征圖輸入預訓練的resnet網絡對當前人臉的情緒進行分類，分類的標簽有7種，分別是高興、生氣、吃驚、恐懼、厭惡、悲傷和中立，將得到的情緒結果和當前用戶取的菜品保存到數據庫中；
19、3.3）根據餐盤綁定的用戶信息調取數據庫中該用戶的歷史情緒和取餐記錄，如果查到了數據，則將歷史情緒和取餐記錄這兩種數據一起輸入到個性化推薦算法bi-lstm中；如果沒有查到數據，則表明用戶是首次取餐，則不作推薦，僅記錄本次取餐記錄本文檔來自技高網...
【技術保護點】
1.一種基于情緒監測的取餐推薦方法，其特征在于，所述方法包括以下步驟：
2.如權利要求1所述的一種基于情緒監測的取餐推薦方法，其特征在于，所述步驟1）的過程為：
3.如權利要求1或2所述的一種基于情緒監測的取餐推薦方法，其特征在于，所述步驟2）的過程如下：
4.如權利要求1或2所述的一種基于情緒監測的取餐推薦方法，其特征在于，所述步驟3）中，對于已識別到用戶，調用深度學習網絡進行識別分析，深度學習網絡的工作流程如下：
5.如權利要求4所述的一種基于情緒監測的取餐推薦方法，其特征在于，所述深度學習網絡的模塊結構和訓練過程中，所述特征提取模塊采用CBAM，其由通道注意力模塊和空間注意力模塊組成，通道注意力模塊通過全局最大池化和全局平均池化對輸入特征進行處理，生成兩個特征向量；這兩個向量經過共享全連接層的處理后相加，再通過Sigmoid激活函數產生通道注意力權重；空間注意力模塊則是對輸入特征進行通道維度上的最大和平均池化操作，然后拼接結果并通過卷積壓縮通道，最后通過Sigmoid函數得到空間注意力權重，給定輸入特征圖，通道注意力權重的公式
6.如權利要求5所述的一種基于情緒監測的取餐推薦方法，其特征在于，所述深度學習網絡的模塊結構和訓練過程中，對ResNet網絡進行優化，在經過兩次卷積層和批歸一化處理的特征圖之后，引入了CBAM模塊，CBAM模塊利用通道注意力機制和空間注意力機制來優化特征圖的權重分配，增強了特征表示的能力；經過CBAM調整的特征隨后與原始殘差連接的特征進行合并；在ResNet的整個網絡中，將所有標準殘差塊替換為這種經過CBAM增強的版本；網絡的初始層維持不變，而每個殘差塊組都經過了上述的調整，最終，在網絡的末端，通過全局平均池化層將多尺度的特征圖整合為單一的特征向量，這個向量隨后被送入全連接層，形成最終的融合特征表示。
7.如權利要求6所述的一種基于情緒監測的取餐推薦方法，其特征在于，所述深度學習網絡的模塊結構和訓練過程中，構建特征融合模塊，使用ResNet得到人臉情緒分類結果后，將情緒和用戶所取的菜品種類作為訓練數據，訓練個性化菜品推薦網絡，該網絡使用Bi-LSTM，首先初始化兩個Embedding向量，一個用于處理情緒模型輸出的數值型標簽，另一個用于處理菜品特征，得到兩個Embedding向量后，使用Concat將兩個特征作特征融合；輸入Bi-LSTM網絡，最后通過一個全連接層得到最終的菜品輸出。
8.如權利要求5所述的一種基于情緒監測的取餐推薦方法，其特征在于，所述深度學習網絡的模塊結構和訓練過程中，構建損失函數，采用的損失函數為均方誤差損失，其公式如下，
9.如權利要求1或2所述的一種基于情緒監測的取餐推薦方法，其特征在于，所述步驟4的過程如下：識別器會檢查放置在電子稱重器上的餐盤，嘗試感應餐盤上的二維編碼或信息磁條；如果識別器未能檢測到餐盤的存在，或判定餐盤未與任何用戶賬號綁定，系統將認定這是一次未授權的取菜嘗試；在這種情況下，系統將立即啟動報警器進行報警，發出警告信號以防止未授權取菜行為；同時，智能稱重售菜裝置的顯示器會向用戶展示一條消息，明確指出發生了未授權行為，并提供進一步的指示或請求用戶重新掃描餐盤；
10.一種如權利要求1所述的基于情緒監測的取餐推薦方法實現的系統，包括餐盤，其特征在于，所述系統還包括智能稱重售菜裝置，所述智能稱重售菜裝置包括控制中心、電子稱重器、報警器、顯示器和識別器，所述控制中心包括情緒識別的深度學習模型和個性化推薦深度學習模型；所述情緒識別的深度學習模型先對采集到的人臉視頻數據采用歐拉表情放大，隨后采用MTCNN進行人臉識別，隨后使用殘差神經網絡ResNet進行表情分類；所述個性化推薦深度學習模型根據歷史情緒和歷史取餐數據，采用個性化推薦算法Bi-LSTM模型推薦菜品。
...【技術特征摘要】
1.一種基于情緒監測的取餐推薦方法，其特征在于，所述方法包括以下步驟：
2.如權利要求1所述的一種基于情緒監測的取餐推薦方法，其特征在于，所述步驟1）的過程為：
3.如權利要求1或2所述的一種基于情緒監測的取餐推薦方法，其特征在于，所述步驟2）的過程如下：
4.如權利要求1或2所述的一種基于情緒監測的取餐推薦方法，其特征在于，所述步驟3）中，對于已識別到用戶，調用深度學習網絡進行識別分析，深度學習網絡的工作流程如下：
5.如權利要求4所述的一種基于情緒監測的取餐推薦方法，其特征在于，所述深度學習網絡的模塊結構和訓練過程中，所述特征提取模塊采用cbam，其由通道注意力模塊和空間注意力模塊組成，通道注意力模塊通過全局最大池化和全局平均池化對輸入特征進行處理，生成兩個特征向量；這兩個向量經過共享全連接層的處理后相加，再通過sigmoid激活函數產生通道注意力權重；空間注意力模塊則是對輸入特征進行通道維度上的最大和平均池化操作，然后拼接結果并通過卷積壓縮通道，最后通過sigmoid函數得到空間注意力權重，給定輸入特征圖，通道注意力權重的公式如下所示，
6.如權利要求5所述的一種基于情緒監測的取餐推薦方法，其特征在于，所述深度學習網絡的模塊結構和訓練過程中，對resnet網絡進行優化，在經過兩次卷積層和批歸一化處理的特征圖之后，引入了cbam模塊，cbam模塊利用通道注意力機制和空間注意力機制來優化特征圖的權重分配，增強了特征表示的能力；經過cbam調整的特征隨后與原始殘差連接的特征進行合并；在resnet的整個網絡中，將所有標準殘差塊替換為這種經過cbam增強的版本；網絡的初始層維持不變，而每個殘差塊組都經過了上述的調整，最終，在網絡的末端，通過全局平均池化層將多尺度的特征圖整合為單一的特征向量，這個向量隨后被送入全連接層，形成最終的融合特征表示。
7.如權利...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。