【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)屬于設(shè)備監(jiān)護，具體涉及一種基于自然語言處理的智能育兒系統(tǒng)和裝置。
技術(shù)介紹
1、科學(xué)、健康的育兒方式對于孩子的全面發(fā)展、心理健康和未來的生活都具有重要的影響，而這就要求父母有足夠的時間和精力去獲取并應(yīng)用關(guān)于兒童生理、心理、行為和營養(yǎng)等方面的知識，為家長提供正確、科學(xué)的育兒指導(dǎo)，以促進兒童的全面發(fā)展。但現(xiàn)實情況，可能是爺爺奶奶帶娃沒有途徑獲取或排斥更加先進科學(xué)的育兒方式理念，又或者是爸爸媽媽空閑時間通過百度、抖音、微信公眾號或周圍的人獲取的一些可能存在不合理的育兒方式，極少數(shù)父母積極學(xué)習接觸科學(xué)理念也可能有效實施。
2、科學(xué)的育兒方式不僅能促進兒童身心的健康成長，還能有效促進家庭的和諧關(guān)系。由于家庭成員原始文化背景不同、信息來源不一樣，導(dǎo)致在育兒的各項方式和觀念上存在區(qū)別，不僅令育兒方法不能得到實施，問題嚴重時引起家庭矛盾。
3、中國申請?zhí)枮?02310311685.0的專利技術(shù)專利公開了用于看護兒童的方法及裝置、電子設(shè)備、存儲介質(zhì)，可及時地干預(yù)兒童相關(guān)聯(lián)場景的日常行為，實現(xiàn)擴展看護適用場景的目的。但該現(xiàn)有技術(shù)無法對育兒過程進行糾正。
技術(shù)實現(xiàn)思路
1、有鑒于此，本專利技術(shù)一種基于自然語言處理的智能育兒系統(tǒng)和裝置，包含育兒糾錯、育兒百科以及智能陪伴三個模塊，不僅能提供健康科學(xué)的育兒知識，還能有效監(jiān)督育兒方法的有效應(yīng)用，同時在兒童與父母之間溝通相處中提供助力。
2、本專利技術(shù)的技術(shù)目的是這樣實現(xiàn)的：
3、一方面，本專利技術(shù)提供一
4、育兒百科模塊，其配置獲取育兒資源數(shù)據(jù)，利用育兒資源數(shù)據(jù)對語言大模型進行訓(xùn)練，將訓(xùn)練后的語言大模型作為知識庫，并采用離線部署；
5、育兒糾錯模塊，其配置為對日常對話進行實時監(jiān)控，捕獲到語音后進行文本轉(zhuǎn)換，利用預(yù)訓(xùn)練的分類模型對文本進行分類，得到文本標簽和概率值，文本標簽包括文本需要糾錯，將文本標簽為文本需要糾錯的文本傳輸至知識庫中，得到糾錯反饋，根據(jù)概率值確定糾錯反饋的方式并傳達給用戶；
6、智能陪伴模塊，其配置為根據(jù)年齡階段形成對應(yīng)的陪伴方式，結(jié)合知識庫對不同年齡階段的兒童進行智能陪伴。
7、在上述技術(shù)方案的基礎(chǔ)上，優(yōu)選的，語言大模型的訓(xùn)練過程為：
8、獲取育兒相關(guān)的文本數(shù)據(jù)；
9、將文本數(shù)據(jù)進行格式轉(zhuǎn)換，形成json格式的文本數(shù)據(jù)，json格式中包括prompt、response和history，其中prompt為育兒問題，response為該問題的相關(guān)解答，history代表多輪問答的上下文信息；
10、獲取經(jīng)過語言基礎(chǔ)訓(xùn)練的語言大模型，語言大模型采用基于transformer的網(wǎng)絡(luò)框架；
11、利用多查詢注意力對語言大模型進行模型加速，并采用json格式的文本數(shù)據(jù)對語言大模型進行模型微調(diào)，得到訓(xùn)練后的語言大模型。
12、在上述技術(shù)方案的基礎(chǔ)上，優(yōu)選的，多查詢注意力的計算過程為：
13、輸入查詢矩陣q、鍵矩陣k和值矩陣v；
14、將查詢矩陣q分成多個查詢向量q1,q2,...,qm；
15、對每個查詢向量qx，計算qx與鍵矩陣k之間的注意力分數(shù)：
16、將注意力分數(shù)歸一化，得到注意力權(quán)重；
17、將注意力權(quán)重與值矩陣中的向量進行加權(quán)求和，得到對查詢的注意力表示，其注意力公式如下：
18、
19、式中，sim代表相似度計算，kx和vx分別表示k和v中的向量，kx和vx均通過共享注意力頭的k和v矩陣得到。
20、在上述技術(shù)方案的基礎(chǔ)上，優(yōu)選的，模型微調(diào)的過程為：
21、將json格式的文本數(shù)據(jù)輸入語言大模型中，并在輸入層的每一層中添加可微調(diào)參數(shù)prefix；
22、對語言大模型進行第一次微調(diào)訓(xùn)練，將json格式的文本數(shù)據(jù)與相應(yīng)的prefix進行拼接，生成與育兒相關(guān)的內(nèi)容，通過最小化生成結(jié)果與標準答案之間的差異來更新prompt參數(shù)，其中，在該次訓(xùn)練中，僅對prompt參數(shù)進行微調(diào)，保持其他參數(shù)不變；
23、在第一次微調(diào)訓(xùn)練完成后，對語言大模型進行第二次微調(diào)訓(xùn)練，利用json格式的文本數(shù)據(jù)對語言大模型進行進一步的訓(xùn)練，通過最小化生成結(jié)果與標準答案之間的差異來更新模型的參數(shù)，其中，在該次訓(xùn)練中，將prompt參數(shù)凍結(jié)，對其他參數(shù)和prefix進行微調(diào)。
24、在上述技術(shù)方案的基礎(chǔ)上，優(yōu)選的，在對語言大模型進行第一次微調(diào)訓(xùn)練和第二次微調(diào)訓(xùn)練時，通過控制prefix參數(shù)的數(shù)量和維度，限制模型可訓(xùn)練參數(shù)的量。
25、在上述技術(shù)方案的基礎(chǔ)上，優(yōu)選的，育兒糾錯模塊包括：
26、語音處理單元，其配置為實時獲取語音，并對語音進行處理，將語音轉(zhuǎn)換為文本；
27、文本分類單元，其配置為利用預(yù)訓(xùn)練的分類模型對文本進行分類，得到文本標簽和概率值，文本標簽包括文本需要糾錯，將文本標簽為文本需要糾錯的文本篩選出來，作為待糾錯文本，獲取待糾錯文本前后時間間隔不超過30秒的文本內(nèi)容，作為待糾錯文本的補充本文，在補充文本前添加提示詞，將待糾錯文本、補充本文及提示詞傳輸至育兒百科模塊的知識庫中；
28、糾錯反饋單元，其配置為接收知識庫對待糾錯文本的糾錯建議，并形成糾錯反饋，根據(jù)待糾錯文本的概率值設(shè)置其對應(yīng)糾錯反饋的方式，按照糾錯反饋的方式將糾錯反饋傳達給用戶。
29、在上述技術(shù)方案的基礎(chǔ)上，優(yōu)選的，語音處理單元的執(zhí)行過程為：
30、將語音信號以10s為跨度，每1秒進行窗口捕捉，得到一系列的窗口語音(w1,w2,...wn)；
31、設(shè)置靜默閾值和靜默時長閾值，對每個窗口語音進行靜默監(jiān)測，將超過靜默時長閾值的靜默部分從語音中分割出來，得到一系列語音段sij，其中i代表窗口號，j代表該窗口的語音段；
32、對處于不同窗口下連續(xù)不存在靜默部分的語音段進行合并，記錄合并后語音段的起始時間和結(jié)束時間；
33、使用語音識別方法將每段合并后的語音轉(zhuǎn)換為文本，得到每段語音的起始時間、結(jié)束時間和對應(yīng)的文本內(nèi)容，表示為(strat,end,text)。
34、在上述技術(shù)方案的基礎(chǔ)上，優(yōu)選的，分類模型的預(yù)訓(xùn)練過程為：
35、采集家庭普通日常用語和常見育兒誤區(qū)的數(shù)據(jù)，并人工標注每個數(shù)據(jù)，將需要糾錯的數(shù)據(jù)標簽記為“1”，得到訓(xùn)練數(shù)據(jù)；
36、使用tokenizer工具對采集到的訓(xùn)練數(shù)據(jù)進行轉(zhuǎn)換，得到inputs?token和segmenttoken，加載到分類模型，并設(shè)置mlm任務(wù)；
37、設(shè)置訓(xùn)練超參數(shù)，包括學(xué)習率、訓(xùn)練輪次、學(xué)習率預(yù)熱比率和衰減系數(shù)；
38、使用訓(xùn)練數(shù)據(jù)對分類模型進行迭代訓(xùn)練，直至滿足性能指標，得到預(yù)訓(xùn)練的分類模型。
39、在上述技術(shù)方案的基礎(chǔ)上，優(yōu)選的，糾錯反饋的方式包括：
40、語音反饋的方式，若概率值超過概率本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.一種基于自然語言處理的智能育兒系統(tǒng)，其特征在于，包括：
2.如權(quán)利要求1所述的一種基于自然語言處理的智能育兒系統(tǒng)，其特征在于，語言大模型的訓(xùn)練過程為：
3.如權(quán)利要求2所述的一種基于自然語言處理的智能育兒系統(tǒng)，其特征在于，多查詢注意力的計算過程為：
4.如權(quán)利要求2所述的一種基于自然語言處理的智能育兒系統(tǒng)，其特征在于，模型微調(diào)的過程為：
5.如權(quán)利要求4所述的一種基于自然語言處理的智能育兒系統(tǒng)，其特征在于，在對語言大模型進行第一次微調(diào)訓(xùn)練和第二次微調(diào)訓(xùn)練時，通過控制prefix參數(shù)的數(shù)量和維度，限制模型可訓(xùn)練參數(shù)的量。
6.如權(quán)利要求2所述的一種基于自然語言處理的智能育兒系統(tǒng)，其特征在于，育兒糾錯模塊包括：
7.如權(quán)利要求6所述的一種基于自然語言處理的智能育兒系統(tǒng)，其特征在于，語音處理單元的執(zhí)行過程為：
8.如權(quán)利要求6所述的一種基于自然語言處理的智能育兒系統(tǒng)，其特征在于，分類模型的預(yù)訓(xùn)練過程為：
9.如權(quán)利要求1所述的一種基于自然語言處理的智能育兒系統(tǒng)，其特征在于，糾錯反饋的方式
10.一種基于自然語言處理的智能育兒裝置，其特征在于，包括硬件平臺和軟件系統(tǒng)，軟件系統(tǒng)為上述權(quán)利要求1-9任一所述的系統(tǒng)，硬件平臺包括：
...【技術(shù)特征摘要】
1.一種基于自然語言處理的智能育兒系統(tǒng)，其特征在于，包括：
2.如權(quán)利要求1所述的一種基于自然語言處理的智能育兒系統(tǒng)，其特征在于，語言大模型的訓(xùn)練過程為：
3.如權(quán)利要求2所述的一種基于自然語言處理的智能育兒系統(tǒng)，其特征在于，多查詢注意力的計算過程為：
4.如權(quán)利要求2所述的一種基于自然語言處理的智能育兒系統(tǒng)，其特征在于，模型微調(diào)的過程為：
5.如權(quán)利要求4所述的一種基于自然語言處理的智能育兒系統(tǒng)，其特征在于，在對語言大模型進行第一次微調(diào)訓(xùn)練和第二次微調(diào)訓(xùn)練時，通過控制prefix參數(shù)的數(shù)量和維度，限制模型可訓(xùn)練參數(shù)的量。...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：李舵文，熊純，嚴鶴，王俊，
申請(專利權(quán))人：云啟智慧科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。