【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及烹飪裝置及方法，特別是涉及一種基于烹飪ai大模型和內(nèi)置ai虛擬人系統(tǒng)的烹飪方法及其智能烹飪裝置。
技術(shù)介紹
1、隨著科技的發(fā)展、生活節(jié)奏的加快，智能烹飪裝置應(yīng)運(yùn)而生，智能烹飪裝置能夠?qū)崿F(xiàn)自動(dòng)化烹飪。
2、人機(jī)智能交互系統(tǒng)是智能技術(shù)的重要應(yīng)用體現(xiàn)之一，其可以自動(dòng)的給出用戶所給問(wèn)題反饋，不僅可以給用戶休閑解悶，而且還能夠輔助用戶進(jìn)行工作，但傳統(tǒng)的智能交互系統(tǒng)一般都是用戶在提出問(wèn)題后，采用文字或者語(yǔ)音的形式將問(wèn)題答案反饋給用戶，在交互的過(guò)程中，機(jī)器設(shè)備無(wú)法在回答的問(wèn)題的過(guò)程中做出表情動(dòng)作，交互過(guò)程較為“生硬”，無(wú)法模擬人與人之間的交互過(guò)程，使用戶的體驗(yàn)感一般。
3、關(guān)于ai大模型與智能烹飪裝置結(jié)合，最新的現(xiàn)有技術(shù)包括為公開(kāi)號(hào)為cn116843510a，公開(kāi)日為2023年10月03日的，專利技術(shù)名稱為基于ai大模型的智能炒菜機(jī)云平臺(tái)數(shù)據(jù)管理系統(tǒng)及方法，申請(qǐng)?zhí)枮?02310784823.7專利技術(shù)專利申請(qǐng)；
4、該專利技術(shù)申請(qǐng)公開(kāi)了基于ai大模型的智能炒菜機(jī)云平臺(tái)數(shù)據(jù)管理系統(tǒng)及方法，涉及數(shù)據(jù)管理系統(tǒng)
，所述管理方法包括以下步驟：通過(guò)采集端采集炒菜過(guò)程中的各種參數(shù)數(shù)據(jù)，參數(shù)數(shù)據(jù)通過(guò)網(wǎng)絡(luò)傳輸?shù)皆破脚_(tái)，確保實(shí)時(shí)性和穩(wěn)定性，處理端通過(guò)ai大模型對(duì)存儲(chǔ)的參數(shù)數(shù)據(jù)進(jìn)行分析，分析此次炒菜過(guò)程中智能炒菜機(jī)是否存在異常，當(dāng)分析智能炒菜機(jī)存在異常時(shí)，依據(jù)分析結(jié)果判斷菜品口味存在偏差，管理系統(tǒng)發(fā)出警示信號(hào)，此時(shí)更換其他智能炒菜機(jī)炒菜，該專利技術(shù)能夠根據(jù)智能炒菜機(jī)的運(yùn)行狀態(tài)來(lái)判斷此次炒出的菜口味是否存在偏差
5、現(xiàn)有技術(shù)中的將ai大模型應(yīng)用于智能炒菜機(jī)的作用僅僅是處理端通過(guò)ai大模型對(duì)存儲(chǔ)的參數(shù)數(shù)據(jù)進(jìn)行分析，分析此次炒菜過(guò)程中智能炒菜機(jī)是否存在異常，當(dāng)分析智能炒菜機(jī)存在異常時(shí)，依據(jù)分析結(jié)果判斷菜品口味存在偏差，需要更換其他智能炒菜機(jī)炒菜來(lái)確保菜品的質(zhì)量和口感，其實(shí)更換其他智能炒菜機(jī)炒菜也不一定能確保菜品的質(zhì)量和口感，因?yàn)楦鼡Q的其他智能炒菜機(jī)也可能存在異常，這樣用戶需要通過(guò)不斷更換智能炒菜機(jī)來(lái)確保菜品的質(zhì)量和口感，而且沒(méi)有生成新的烹飪方法，沒(méi)有與用戶進(jìn)行互動(dòng)。
技術(shù)實(shí)現(xiàn)思路
1、基于現(xiàn)有技術(shù)的不足，本專利技術(shù)一種基于烹飪ai大模型和內(nèi)置ai虛擬人系統(tǒng)的烹飪方法及其智能烹飪裝置是通過(guò)智能烹飪裝置的所述信息收集模塊接收用戶通過(guò)語(yǔ)音、視頻、文本、圖片或3d模型格式輸入的烹飪需求信息和虛擬人需求信息，并將此烹飪需求信息和此虛擬人需求信息分別推送至烹飪ai大模型和所述內(nèi)置ai虛擬人系統(tǒng)，從而產(chǎn)生新的烹飪方法和生成特定ai虛擬人，用戶可以與所述特定ai虛擬人互動(dòng)，特定ai虛擬人可以為虛擬親人、朋友、明星或大廚等的人物形象，特定ai虛擬人可以通過(guò)視頻、聲音等多種多媒體格式呈現(xiàn)，用戶或特定虛擬人操控智能烹飪裝置烹飪出滿足用戶需求的食物，用戶不僅僅可以享用通過(guò)人工智能技術(shù)烹飪出來(lái)的可口食物，還可以享受舒適的烹飪過(guò)程，內(nèi)置ai虛擬人系統(tǒng)生成特定ai虛擬人由智能烹飪裝置內(nèi)部生成，可以不受流量限制，成本低。
2、為了解決上述現(xiàn)有技術(shù)問(wèn)題，本專利技術(shù)提供了一種基于烹飪ai大模型和內(nèi)置ai虛擬人系統(tǒng)的烹飪方法，其特征在于，應(yīng)用于智能烹飪裝置，所述智能烹飪裝置設(shè)有信息收集模塊、處理器、內(nèi)置ai虛擬人系統(tǒng)、顯示屏、儲(chǔ)存模塊和無(wú)線通信模塊，所述內(nèi)置ai虛擬人系統(tǒng)位于所述儲(chǔ)存模塊內(nèi)，所述信息收集模塊、所述無(wú)線通信模塊、所述儲(chǔ)存模塊、所述顯示屏與所述處理器電性連接，所述信息收集模塊用于接收用戶通過(guò)語(yǔ)音、視頻、文本、圖片或3d模型格式輸入的烹飪需求信息和虛擬人需求信息，并將此烹飪需求信息和此虛擬人需求信息分別推送至烹飪ai大模型和所述內(nèi)置ai虛擬人系統(tǒng)，所述烹飪ai大模型對(duì)所述烹飪需求信息進(jìn)行分析生成新烹飪方法，所述新烹飪方法通過(guò)無(wú)線通信模塊發(fā)送至用戶移動(dòng)終端和所述處理器，所述新烹飪方法包括烹飪參數(shù)和烹飪操作指令，同時(shí)所述烹飪ai大模型將所述烹飪參數(shù)和所述烹飪操作指令轉(zhuǎn)換成文本信息發(fā)送至所述儲(chǔ)存模塊內(nèi)的所述內(nèi)置ai虛擬人系統(tǒng)，所述內(nèi)置ai虛擬人系統(tǒng)對(duì)所述虛擬人需求信息和所述文本信息分析生成特定ai虛擬人，并將所述特定ai虛擬人通過(guò)無(wú)線通信模塊發(fā)送至用戶移動(dòng)終端和所述顯示屏，所述烹飪ai大模型生成新烹飪方法包括兩個(gè)步驟：構(gòu)建烹飪ai大模型和調(diào)用烹飪ai大模型，所述內(nèi)置ai虛擬人系統(tǒng)生成特定ai虛擬人包括兩個(gè)步驟：構(gòu)建特定ai虛擬人和調(diào)用特定ai虛擬人，所述構(gòu)建特定ai虛擬人包括七個(gè)步驟：人物生成、語(yǔ)音生成、嘴唇同步、動(dòng)作生成、合成顯示、測(cè)試驗(yàn)證和部署維護(hù)，所述人物生成采用換臉技術(shù)，所述語(yǔ)音生成采用基于深度學(xué)習(xí)的端到端模型，所述動(dòng)作生成采用基于深度學(xué)習(xí)的序列到序列模型，當(dāng)用戶通過(guò)用戶移動(dòng)終端或所述顯示屏確認(rèn)所述新烹飪方法進(jìn)行烹飪時(shí)，所述顯示屏或用戶移動(dòng)終端輸出特定ai虛擬人。
3、作為本專利技術(shù)一種基于烹飪ai大模型和內(nèi)置ai虛擬人系統(tǒng)的烹飪方法的改進(jìn)，所述構(gòu)建烹飪ai大模型包括六個(gè)步驟：收集烹飪數(shù)據(jù)、預(yù)處理烹飪數(shù)據(jù)、選擇可應(yīng)用于烹飪的ai大模型、訓(xùn)練烹飪ai大模型、驗(yàn)證測(cè)試烹飪ai大模型和在云平臺(tái)部署維護(hù)烹飪ai大模型，用戶通過(guò)語(yǔ)音、視頻、文本、圖片或3d模型格式輸入的烹飪需求信息通過(guò)調(diào)用烹飪ai大模型生成新烹飪方法，所述調(diào)用烹飪ai大模型包括組裝查詢語(yǔ)句、ai大模型進(jìn)行推理運(yùn)算和ai大模型返回結(jié)果，所述新烹飪方法由所述烹飪ai大模型推理運(yùn)算完成后通過(guò)云平臺(tái)發(fā)送至用戶移動(dòng)終端和所述智能烹飪裝置；
4、作為本專利技術(shù)一種基于烹飪ai大模型和內(nèi)置ai虛擬人系統(tǒng)的烹飪方法的改進(jìn)，所述構(gòu)建烹飪ai大模型包括六個(gè)步驟：收集烹飪數(shù)據(jù)、預(yù)處理烹飪數(shù)據(jù)、選擇可應(yīng)用于烹飪的ai大模型、訓(xùn)練烹飪ai大模型、驗(yàn)證測(cè)試烹飪ai大模型和在智能烹飪裝置的儲(chǔ)存模塊部署維護(hù)烹飪ai大模型，用戶通過(guò)語(yǔ)音、視頻、文本、圖片或3d模型格式輸入的烹飪需求信息通過(guò)調(diào)用烹飪ai大模型生成新烹飪方法，所述調(diào)用烹飪ai大模型包括組裝查詢語(yǔ)句、ai大模型進(jìn)行推理運(yùn)算和ai大模型返回結(jié)果，所述新烹飪方法由所述烹飪ai大模型推理運(yùn)算完成后通過(guò)無(wú)線通信模塊發(fā)送至用戶移動(dòng)終端和所述智能烹飪裝置的所述處理器；
5、作為本專利技術(shù)一種基于烹飪ai大模型和內(nèi)置ai虛擬人系統(tǒng)的烹飪方法的改進(jìn)，所述構(gòu)建特定ai虛擬人包括七個(gè)步驟：人物生成、語(yǔ)音生成、嘴唇同步、動(dòng)作生成、合成顯示、測(cè)試驗(yàn)證和部署維護(hù)，用戶通過(guò)語(yǔ)音、視頻、文本、圖片或3d模型格式輸入的虛擬人需求信息通過(guò)內(nèi)置ai虛擬人系統(tǒng)生成特定ai虛擬人，所述調(diào)用特定ai虛擬人包括把文字指令內(nèi)容傳給內(nèi)置ai虛擬人系統(tǒng)、把文字指令內(nèi)容傳給內(nèi)置ai虛擬人系統(tǒng)并由內(nèi)置ai虛擬人系統(tǒng)來(lái)進(jìn)行視頻合成及輸出視頻合成。
6、作為本專利技術(shù)一種基于烹飪ai大模型和內(nèi)置ai虛擬人系統(tǒng)的烹飪方法的改進(jìn)，所述構(gòu)建烹飪ai大模型包括：
7、第一步、收集烹飪數(shù)據(jù)：收集通過(guò)語(yǔ)音、視頻、文本、圖片或3d模型呈現(xiàn)的所有有關(guān)食材烹飪方法的信息；
8、第二步、預(yù)處理烹飪數(shù)據(jù)：把采集到的所有有關(guān)本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于烹飪AI大模型和內(nèi)置AI虛擬人系統(tǒng)的烹飪方法，其特征在于，應(yīng)用于智能烹飪裝置，所述智能烹飪裝置設(shè)有信息收集模塊、處理器、內(nèi)置AI虛擬人系統(tǒng)、顯示屏、儲(chǔ)存模塊和無(wú)線通信模塊，所述內(nèi)置AI虛擬人系統(tǒng)位于所述儲(chǔ)存模塊內(nèi)，所述信息收集模塊、所述無(wú)線通信模塊、所述儲(chǔ)存模塊、所述顯示屏與所述處理器電性連接，所述信息收集模塊用于接收用戶通過(guò)語(yǔ)音、視頻、文本、圖片或3D模型格式輸入的烹飪需求信息和虛擬人需求信息，并將此烹飪需求信息和此虛擬人需求信息分別推送至烹飪AI大模型和所述內(nèi)置AI虛擬人系統(tǒng)，所述烹飪AI大模型對(duì)所述烹飪需求信息進(jìn)行分析生成新烹飪方法，所述新烹飪方法通過(guò)無(wú)線通信模塊發(fā)送至用戶移動(dòng)終端和所述處理器，所述新烹飪方法包括烹飪參數(shù)和烹飪操作指令，同時(shí)所述烹飪AI大模型將所述烹飪參數(shù)和所述烹飪操作指令轉(zhuǎn)換成文本信息發(fā)送至所述儲(chǔ)存模塊內(nèi)的所述內(nèi)置AI虛擬人系統(tǒng)，所述內(nèi)置AI虛擬人系統(tǒng)對(duì)所述虛擬人需求信息和所述文本信息分析生成特定AI虛擬人，并將所述特定AI虛擬人通過(guò)無(wú)線通信模塊發(fā)送至用戶移動(dòng)終端和所述顯示屏，所述烹飪AI大模型生成新烹飪方法包括兩個(gè)步驟：構(gòu)建烹飪AI大模型和調(diào)
2.根據(jù)權(quán)利要求1所述的烹飪AI大模型和內(nèi)置AI虛擬人系統(tǒng)的烹飪方法，其特征在于：所述構(gòu)建烹飪AI大模型包括六個(gè)步驟：收集烹飪數(shù)據(jù)、預(yù)處理烹飪數(shù)據(jù)、選擇可應(yīng)用于烹飪的AI大模型、訓(xùn)練烹飪AI大模型、驗(yàn)證測(cè)試烹飪AI大模型和在云平臺(tái)部署維護(hù)烹飪AI大模型，用戶通過(guò)語(yǔ)音、視頻、文本、圖片或3D模型格式輸入的烹飪需求信息通過(guò)調(diào)用烹飪AI大模型生成新烹飪方法，所述調(diào)用烹飪AI大模型包括組裝查詢語(yǔ)句、AI大模型進(jìn)行推理運(yùn)算和AI大模型返回結(jié)果，所述新烹飪方法由所述烹飪AI大模型推理運(yùn)算完成后通過(guò)云平臺(tái)發(fā)送至用戶移動(dòng)終端和所述智能烹飪裝置。
3.根據(jù)權(quán)利要求1所述的烹飪AI大模型和內(nèi)置AI虛擬人系統(tǒng)的烹飪方法，其特征在于：所述構(gòu)建烹飪AI大模型包括六個(gè)步驟：收集烹飪數(shù)據(jù)、預(yù)處理烹飪數(shù)據(jù)、選擇可應(yīng)用于烹飪的AI大模型、訓(xùn)練烹飪AI大模型、驗(yàn)證測(cè)試烹飪AI大模型和在智能烹飪裝置的儲(chǔ)存模塊部署維護(hù)烹飪AI大模型，用戶通過(guò)語(yǔ)音、視頻、文本、圖片或3D模型格式輸入的烹飪需求信息通過(guò)調(diào)用烹飪AI大模型生成新烹飪方法，所述調(diào)用烹飪AI大模型包括組裝查詢語(yǔ)句、AI大模型進(jìn)行推理運(yùn)算和AI大模型返回結(jié)果，所述新烹飪方法由所述烹飪AI大模型推理運(yùn)算完成后通過(guò)無(wú)線通信模塊發(fā)送至用戶移動(dòng)終端和所述智能烹飪裝置的所述處理器。
4.根據(jù)權(quán)利要求1所述的烹飪AI大模型和內(nèi)置AI虛擬人系統(tǒng)的烹飪方法，其特征在于：所述構(gòu)建特定AI虛擬人包括七個(gè)步驟：人物生成、語(yǔ)音生成、嘴唇同步、動(dòng)作生成、合成顯示、測(cè)試驗(yàn)證和部署維護(hù)，用戶通過(guò)語(yǔ)音、視頻、文本、圖片或3D模型格式輸入的虛擬人需求信息通過(guò)內(nèi)置AI虛擬人系統(tǒng)生成特定AI虛擬人，所述調(diào)用特定AI虛擬人包括把文字指令內(nèi)容傳給內(nèi)置AI虛擬人系統(tǒng)、把文字指令內(nèi)容傳給內(nèi)置AI虛擬人系統(tǒng)并由內(nèi)置AI虛擬人系統(tǒng)來(lái)進(jìn)行視頻合成及輸出視頻合成。
5.根據(jù)權(quán)利要求2或3所述的烹飪AI大模型和內(nèi)置AI虛擬人系統(tǒng)的烹飪方法，其特征在于：所述構(gòu)建烹飪AI大模型包括：
6.根據(jù)權(quán)利要求5所述的烹飪AI大模型和內(nèi)置AI虛擬人系統(tǒng)的烹飪方法，其特征在于：所述第三步選擇可應(yīng)用于烹飪的AI大模型，選擇的是Baichuan2-13B的AI大模型，該AI大模型參數(shù)如下：隱藏層維度：5,120，層數(shù)：40，注意力頭數(shù)：40，詞表大小：64,000，總參數(shù)量：13,264,901,120，訓(xùn)練數(shù)據(jù)(tokens)：1.4萬(wàn)億，位置編碼：ALiBi，最大長(zhǎng)度：4,096。
7.根據(jù)權(quán)利要求6所述的烹飪AI大模型和內(nèi)置AI虛擬人系統(tǒng)的烹飪方法，其特征在于：所述第四步訓(xùn)練烹飪AI大模型的訓(xùn)練過(guò)程如下：首先，從huggingface中下載baichuan13b的模型權(quán)重，然后將belle數(shù)據(jù)集train_0.5M_CN下載到本地并放到項(xiàng)目目錄下的dataset文件夾下，最后運(yùn)行sft_lora.py腳本，接著，將百川LLM采用qlora的nf4和雙重量化方式進(jìn)行量化，最后，采用lora進(jìn)行指令...
【技術(shù)特征摘要】
1.一種基于烹飪ai大模型和內(nèi)置ai虛擬人系統(tǒng)的烹飪方法，其特征在于，應(yīng)用于智能烹飪裝置，所述智能烹飪裝置設(shè)有信息收集模塊、處理器、內(nèi)置ai虛擬人系統(tǒng)、顯示屏、儲(chǔ)存模塊和無(wú)線通信模塊，所述內(nèi)置ai虛擬人系統(tǒng)位于所述儲(chǔ)存模塊內(nèi)，所述信息收集模塊、所述無(wú)線通信模塊、所述儲(chǔ)存模塊、所述顯示屏與所述處理器電性連接，所述信息收集模塊用于接收用戶通過(guò)語(yǔ)音、視頻、文本、圖片或3d模型格式輸入的烹飪需求信息和虛擬人需求信息，并將此烹飪需求信息和此虛擬人需求信息分別推送至烹飪ai大模型和所述內(nèi)置ai虛擬人系統(tǒng)，所述烹飪ai大模型對(duì)所述烹飪需求信息進(jìn)行分析生成新烹飪方法，所述新烹飪方法通過(guò)無(wú)線通信模塊發(fā)送至用戶移動(dòng)終端和所述處理器，所述新烹飪方法包括烹飪參數(shù)和烹飪操作指令，同時(shí)所述烹飪ai大模型將所述烹飪參數(shù)和所述烹飪操作指令轉(zhuǎn)換成文本信息發(fā)送至所述儲(chǔ)存模塊內(nèi)的所述內(nèi)置ai虛擬人系統(tǒng)，所述內(nèi)置ai虛擬人系統(tǒng)對(duì)所述虛擬人需求信息和所述文本信息分析生成特定ai虛擬人，并將所述特定ai虛擬人通過(guò)無(wú)線通信模塊發(fā)送至用戶移動(dòng)終端和所述顯示屏，所述烹飪ai大模型生成新烹飪方法包括兩個(gè)步驟：構(gòu)建烹飪ai大模型和調(diào)用烹飪ai大模型，所述內(nèi)置ai虛擬人系統(tǒng)生成特定ai虛擬人包括兩個(gè)步驟：構(gòu)建特定ai虛擬人和調(diào)用特定ai虛擬人，所述構(gòu)建特定ai虛擬人包括七個(gè)步驟：人物生成、語(yǔ)音生成、嘴唇同步、動(dòng)作生成、合成顯示、測(cè)試驗(yàn)證和部署維護(hù)，所述人物生成采用換臉技術(shù)，所述語(yǔ)音生成采用基于深度學(xué)習(xí)的端到端模型，所述動(dòng)作生成采用基于深度學(xué)習(xí)的序列到序列模型，當(dāng)用戶通過(guò)用戶移動(dòng)終端或所述顯示屏確認(rèn)所述新烹飪方法進(jìn)行烹飪時(shí)，所述顯示屏或用戶移動(dòng)終端輸出特定ai虛擬人。
2.根據(jù)權(quán)利要求1所述的烹飪ai大模型和內(nèi)置ai虛擬人系統(tǒng)的烹飪方法，其特征在于：所述構(gòu)建烹飪ai大模型包括六個(gè)步驟：收集烹飪數(shù)據(jù)、預(yù)處理烹飪數(shù)據(jù)、選擇可應(yīng)用于烹飪的ai大模型、訓(xùn)練烹飪ai大模型、驗(yàn)證測(cè)試烹飪ai大模型和在云平臺(tái)部署維護(hù)烹飪ai大模型，用戶通過(guò)語(yǔ)音、視頻、文本、圖片或3d模型格式輸入的烹飪需求信息通過(guò)調(diào)用烹飪ai大模型生成新烹飪方法，所述調(diào)用烹飪ai大模型包括組裝查詢語(yǔ)句、ai大模型進(jìn)行推理運(yùn)算和ai大模型返回結(jié)果，所述新烹飪方法由所述烹飪ai大模型推理運(yùn)算完成后通過(guò)云平臺(tái)發(fā)送至用戶移動(dòng)終端和所述智能烹飪裝置。
3.根據(jù)權(quán)利要求1所述的烹飪ai大模型和內(nèi)置ai虛擬人系統(tǒng)的烹飪方法，其特征在于：所述構(gòu)建烹飪ai大模型包括六個(gè)步驟：收集烹飪數(shù)據(jù)、預(yù)處理烹飪數(shù)據(jù)、選擇可應(yīng)用于烹飪的ai大模型、訓(xùn)練烹飪ai大模型、驗(yàn)證測(cè)試烹飪ai大模型和在智能烹飪裝置的儲(chǔ)存模塊部署維護(hù)烹飪ai大模型，用戶通過(guò)語(yǔ)音、視頻、文本、圖片或3d模型格式輸入的烹飪需求信息通過(guò)調(diào)用烹飪ai大模型生成新烹飪方法，所述調(diào)用烹飪ai大模型包括組裝查詢語(yǔ)句、ai大模型進(jìn)行推理運(yùn)算和ai大模型返回結(jié)果，所述新烹飪方法由所述烹飪ai大模型推理運(yùn)算完成后通過(guò)無(wú)線通信模塊發(fā)送至用戶移動(dòng)終端和所述智能烹飪裝置的所述處理器。
4.根據(jù)權(quán)利要求1所述的烹飪ai大模型和內(nèi)置ai虛擬人系統(tǒng)的烹飪方法，其特征在于：所述構(gòu)建特定ai虛擬人包括七個(gè)步驟：人物生成、語(yǔ)音生成、嘴唇同步、動(dòng)作生成、合成顯示、測(cè)試驗(yàn)證和部署維護(hù)，用戶通過(guò)語(yǔ)音、視頻、文本、圖片或3d模型格式輸入的...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：李衛(wèi)忠，
申請(qǐng)(專利權(quán))人：廣州市拓璞電器發(fā)展有限公司，
類(lèi)型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。