【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及生成基于iot的通知并提供命令以致使客戶端設(shè)備的自動助手客戶端自動呈現(xiàn)基于iot的通知。
技術(shù)介紹
1、人們可以使用在本文中被稱為“自動助手(automated?assistant)”(也稱為“聊天機(jī)器人”、“交互式個人助手”、“智能個人助手”、“個人語音助手”、“會話代理”等)的交互式軟件應(yīng)用參與人機(jī)對話。例如，人(其當(dāng)與自動助手交互時可以被稱為“用戶”)可以向自動助手提供輸入(例如命令、查詢和/或請求)，這可以使自動助手執(zhí)行以下操作：生成并提供響應(yīng)輸出、控制一個或多個物聯(lián)網(wǎng)(iot)設(shè)備、和/或執(zhí)行一個或多個其他功能。用戶提供的輸入可以是例如：口頭自然語言輸入(即話語)，在一些情況下可以將其轉(zhuǎn)換為文本(或其他語義表示)，然后進(jìn)一步處理；和/或鍵入的自然語言輸入。
2、在一些情況下，自動助手可以包括：由客戶端設(shè)備在本地執(zhí)行并由用戶直接參與的自動助手客戶端；以及，可以利用云的幾乎無限資源來幫助自動助手客戶端響應(yīng)用戶的輸入的基于云的對等方。例如，自動助手客戶端可以向基于云的對等方提供：用戶的話語的音頻記錄(或其文本轉(zhuǎn)換)；以及可選地，指示用戶身份的數(shù)據(jù)(例如，憑證)。基于云的對等方可以對查詢執(zhí)行各種處理，以將結(jié)果返回到自動助手客戶端，其然后可以向用戶提供相應(yīng)的輸出。
3、許多用戶可以使用多個客戶端設(shè)備來使用自動助手。例如，一些用戶可能擁有客戶設(shè)備的協(xié)調(diào)“生態(tài)系統(tǒng)”，例如一個或多個智能電話、一個或多個平板計算機(jī)、一個或多個車輛計算系統(tǒng)、一個或可穿戴計算設(shè)備、一個或多個智能電視和/或一個或多個獨立
4、存在使用戶(例如，單個用戶、一個家庭中的多個用戶、同事、同居者等)能夠利用客戶端設(shè)備的坐標(biāo)生態(tài)系統(tǒng)中的任何一個的自動助手客戶端來控制與自動助手客戶端關(guān)聯(lián)的多個iot設(shè)備的任何一個的技術(shù)。例如，用戶可以向客戶端設(shè)備的自動助手客戶端發(fā)出“關(guān)閉客廳燈(turn?off?the?living?room?lights)”的口頭命令，以使對應(yīng)的iot設(shè)備(即鏈接到自動助手客戶端并標(biāo)記為“客廳”的燈)關(guān)閉。此外，自動助手客戶端可以響應(yīng)于口頭命令而提供響應(yīng)輸出，諸如指示關(guān)閉燈的命令已被執(zhí)行(并且可選地指示其是否成功)的響應(yīng)輸出。
5、還存在使用戶能夠利用客戶端設(shè)備的自動助手客戶端來明確地請求iot設(shè)備的狀態(tài)并作為響應(yīng)接收該狀態(tài)的指示的技術(shù)。例如，響應(yīng)于“恒溫器設(shè)置是什么(what?is?thethermostat?setting)”的話語，一些自動助手可以確定恒溫器iot設(shè)備的當(dāng)前溫度設(shè)置，并提供指示當(dāng)前溫度設(shè)置的響應(yīng)輸出。然而，這樣的技術(shù)要求用戶通過經(jīng)由客戶端設(shè)備的自動助手客戶端提供的用戶輸入來明確地請求iot設(shè)備的狀態(tài)。此外，這樣的技術(shù)會負(fù)擔(dān)計算和/或網(wǎng)絡(luò)資源。例如，這樣的技術(shù)要求：客戶端設(shè)備處理用戶的請求，客戶端設(shè)備將與該請求相對應(yīng)的數(shù)據(jù)發(fā)送到遠(yuǎn)程自動助手組件，遠(yuǎn)程自動助手組件與單獨的iot系統(tǒng)交互以確定狀態(tài)，并且遠(yuǎn)程自動助手組件將指示狀態(tài)的響應(yīng)發(fā)送到客戶端設(shè)備。
技術(shù)實現(xiàn)思路
1、本文描述的實施方式涉及生成基于iot的通知以及提供命令以致使客戶端設(shè)備的自動助手客戶端自動呈現(xiàn)基于iot的通知。例如，遠(yuǎn)程自動助手組件(在本文中也稱為“基于云的自動助手組件”)可以基于接收到的iot狀態(tài)改變通知來生成客戶端設(shè)備通知，接收到的iot狀態(tài)改變通知指示與至少一個iot設(shè)備相關(guān)聯(lián)的至少一個狀態(tài)的改變。所生成的客戶端設(shè)備通知可以分別指示與至少一個iot設(shè)備相關(guān)聯(lián)的狀態(tài)改變，并且可以可選地指示至少一個iot設(shè)備。而且，遠(yuǎn)程自動助手組件可以識別與至少一個iot設(shè)備相關(guān)聯(lián)的候選助手客戶端設(shè)備(即，各自包括自動助手客戶端的客戶端設(shè)備)，并確定一個或多個候選助手客戶端設(shè)備中的每個是否應(yīng)該呈現(xiàn)對應(yīng)的客戶端設(shè)備通知。然后，遠(yuǎn)程自動助手組件可以將對應(yīng)命令發(fā)送到確定應(yīng)該呈現(xiàn)對應(yīng)的客戶端設(shè)備通知的每個助手客戶端設(shè)備，其中，每個發(fā)送的命令都致使對應(yīng)助手客戶端設(shè)備呈現(xiàn)對應(yīng)客戶端設(shè)備通知。例如，可以將命令發(fā)送到第一助手客戶端設(shè)備以致使第一助手客戶端設(shè)備自動地在聽覺上呈現(xiàn)客戶端設(shè)備通知，可以將命令發(fā)送到第二助手客戶端設(shè)備以致使第二助手客戶端設(shè)備自動地在聽覺上呈現(xiàn)相同的客戶端設(shè)備通知，等等。例如，命令可以致使客戶端設(shè)備自動呈現(xiàn)，而與明確地請求呈現(xiàn)通知的任何用戶界面輸入無關(guān)，甚至根本與任何用戶界面輸入(例如，響應(yīng)于接收而呈現(xiàn))無關(guān)。作為一個特定實例，命令可以包括客戶端設(shè)備通知的文本，并且這些命令可以致使助手客戶端設(shè)備執(zhí)行文本到文本的語音轉(zhuǎn)換，并經(jīng)由其揚聲器來呈現(xiàn)對應(yīng)的音頻數(shù)據(jù)。
2、在本文描述的一些實施方式中，發(fā)送到助手客戶端設(shè)備以致使該助手客戶端設(shè)備呈現(xiàn)客戶端設(shè)備通知的命令還可以致使該客戶端設(shè)備在該客戶端設(shè)備通知已經(jīng)至少部分地被呈現(xiàn)之后的一段時間內(nèi)自動監(jiān)視語音輸入，并且發(fā)送與在自動監(jiān)視期間檢測到的話語相對應(yīng)的數(shù)據(jù)。以這種方式，由于用戶不必首先明確地調(diào)用助手客戶端設(shè)備的助手客戶端(例如，通過首先說出調(diào)用詞組，諸如“嘿，助手(hey,assistant)”，或按一個調(diào)用按鈕)，因此用戶可以以減少的輸入量來提供與客戶端設(shè)備通知有關(guān)的話語。這可以節(jié)省助手客戶端設(shè)備的資源，因為調(diào)用助手客戶端設(shè)備的輸入不必由助手客戶端設(shè)備進(jìn)行處理。
3、此外，在這些實施方式中的一些實施方式中，自動助手(自動助手客戶端設(shè)備和/或遠(yuǎn)程自動助手組件)處理話語，并基于話語的處理和基于在自動監(jiān)視語音輸入期間檢測到話語執(zhí)行進(jìn)一步的助手動作。例如，自動助手可以基于通過執(zhí)行話語的語音到文本的轉(zhuǎn)換而生成的文本，以及基于值——該值是基于在監(jiān)視語音輸入期間檢測到的話語而推斷出的，來生成其他助手動作。推斷值可以基于客戶端設(shè)備通知所基于的客戶端設(shè)備通知和/或iot狀態(tài)改變通知。作為一個特定示例，如果客戶端設(shè)備通知為“您的前門鎖未鎖(yourfront?door?lock?is?unlocked)”，并且在監(jiān)視期間提供的話語為“將它鎖住(lock?it)”，則自動助手可以針對“它(it)”推斷“前門鎖”的值，并生成并發(fā)送一個iot命令，該命令會導(dǎo)致“前門鎖”的“未鎖”狀態(tài)改變?yōu)椤耙焰i”狀態(tài)。以這些和其他方式，用戶可以響應(yīng)于客戶端設(shè)備通知而提供較短的話語，因為如上所述可以代之以推斷話語中通常需要的值。這可以節(jié)省助手客戶端設(shè)備和/或遠(yuǎn)程自動助手組件的資源，因為由于較短的話語而需要發(fā)送和/或處理較少的音頻數(shù)據(jù)(例如，語音到文本)。
4、在本文所述的一些附加或替代實施方式中，響應(yīng)于本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點】
1.一種方法，包括：
2.根據(jù)權(quán)利要求1所述的方法，其中，所述組合通知包括提示，并且其中，所述命令還致使所述自動助手客戶端監(jiān)視對所述提示的響應(yīng)。
3.根據(jù)權(quán)利要求2所述的方法，其中，所述提示推薦對于與所述第一組一個或多個IoT設(shè)備相關(guān)聯(lián)的所述第一狀態(tài)的改變，并且還包括：
4.根據(jù)權(quán)利要求3所述的方法，其中，所述組合通知包括圖形界面，并且所述提示是所述圖形界面的可選元素。
5.根據(jù)權(quán)利要求4所述的方法，其中，對所述提示的所述肯定響應(yīng)是對所述圖形界面的所述可選元素的選擇。
6.根據(jù)權(quán)利要求1所述的方法，其中，在第一時間接收所述第一IoT狀態(tài)通知，并且其中，在所述第一時間之后的第二時間接收所述第二IoT狀態(tài)通知，并且所述方法還包括：
7.根據(jù)權(quán)利要求1所述的方法，其中，所述第一組一個或多個IoT設(shè)備包括智能門鎖，并且其中，所述第一狀態(tài)是所述智能門鎖的解鎖狀態(tài)。
8.一種方法，包括：
9.根據(jù)權(quán)利要求8所述的方法，其中，所述至少一個IoT設(shè)備是智能門鎖。
10.根據(jù)權(quán)利要求8所述的
11.根據(jù)權(quán)利要求10所述的方法，其中，所述至少一個IoT設(shè)備是第一智能門鈴，并且所述附加IoT設(shè)備是第二智能門鈴。
12.根據(jù)權(quán)利要求10所述的方法，其中，所述至少一個IoT設(shè)備是第一智能電器，并且所述附加IoT設(shè)備是第二智能電器。
13.根據(jù)權(quán)利要求8所述的方法，其中，選擇所述子集進(jìn)一步至少部分基于所述多個助手客戶端設(shè)備的當(dāng)前屬性。
14.根據(jù)權(quán)利要求8所述的方法，其中，選擇所述子集進(jìn)一步至少部分基于一天中的時間或一周中的一天。
15.根據(jù)權(quán)利要求8所述的方法，其中，所選擇的子集的所述助手客戶端設(shè)備包括第一助手客戶端設(shè)備和第二助手客戶端設(shè)備，并且其中，由所述第一助手客戶端設(shè)備的所述自動助手客戶端自動呈現(xiàn)的對應(yīng)通知與由所述第二助手客戶端設(shè)備的所述自動助手客戶端自動呈現(xiàn)的對應(yīng)通知相比不太引人注目。
16.根據(jù)權(quán)利要求15所述的方法，進(jìn)一步包括：
17.根據(jù)權(quán)利要求8所述的方法，其中，所選擇的子集的所述助手客戶端設(shè)備包括第一助手客戶端設(shè)備和第二助手客戶端設(shè)備，并且其中，由所述第一助手客戶端設(shè)備的所述自動助手客戶端自動呈現(xiàn)的對應(yīng)通知是僅可聽的通知，并且其中，由所述第二助手客戶端設(shè)備的所述自動助手客戶端自動呈現(xiàn)的對應(yīng)通知是可聽并且可視的。
18.根據(jù)權(quán)利要求8所述的方法，其中，所述至少一個IoT設(shè)備是智能電器，并且所述狀態(tài)的改變指示所述智能電器的錯誤狀況。
19.一種方法，包括：
20.一種方法，包括：
21.根據(jù)權(quán)利要求20所述的方法，其中，確定發(fā)送致使所述候選助手客戶端設(shè)備的所述自動助手客戶端自動并立即在聽覺上呈現(xiàn)所述第一輸出的所述第一命令至少部分基于所述第一組一個或多個IoT設(shè)備的指示。
22.根據(jù)權(quán)利要求21所述的方法，其中，確定發(fā)送致使所述候選助手客戶端設(shè)備的所述自動助手客戶端非聽覺上地和/或非立即地呈現(xiàn)所述第二輸出的所述第二命令至少部分基于所述第二組一個或多個IoT設(shè)備的指示。
23.根據(jù)權(quán)利要求20所述的方法，其中，確定發(fā)送致使所述候選助手客戶端設(shè)備的所述自動助手客戶端自動并立即在聽覺上呈現(xiàn)所述第一輸出的所述第一命令至少部分基于與所述第一組一個或多個IoT設(shè)備相關(guān)聯(lián)的所述第一狀態(tài)的所述第一狀態(tài)指示。
24.根據(jù)權(quán)利要求23所述的方法，其中，確定發(fā)送致使所述候選助手客戶端設(shè)備的所述自動助手客戶端自動并立即在聽覺上呈現(xiàn)所述第一輸出的所述第一命令至少部分基于指示所述第一狀態(tài)已持續(xù)至少閾值時間量的所述第一狀態(tài)指示。
25.根據(jù)權(quán)利要求23所述的方法，其中，確定發(fā)送致使所述候選助手客戶端設(shè)備的所述自動助手客戶端非聽覺上地和/或非立即地呈現(xiàn)所述第二輸出的所述第二命令至少部分基于指示與所述第二組一個或多個IoT設(shè)備相關(guān)聯(lián)的所述第二狀態(tài)的所述第二狀態(tài)指示。
26.根據(jù)權(quán)利要求20所述的方法，
27.根據(jù)權(quán)利要求20所述的方法，發(fā)送所述第二命令致使所述自動助手客戶端在所述助手客戶端設(shè)備提供單獨的不相關(guān)輸出之后并且取決于所述助手客戶端設(shè)備提供單獨的不相關(guān)輸出而自動地呈現(xiàn)所述第二輸出，提供所述單獨的不相關(guān)輸出是響應(yīng)于用戶在所述助手客戶端設(shè)備處提供的單獨的不相關(guān)輸入。
28.根據(jù)權(quán)利要求27所述的方法，其中，所述第二命令是在所述單獨的不相關(guān)輸入和提供提供單獨的不相關(guān)輸出之前搶先地被發(fā)送到所述助手客戶端設(shè)備。
29.一種...
【技術(shù)特征摘要】
1.一種方法，包括：
2.根據(jù)權(quán)利要求1所述的方法，其中，所述組合通知包括提示，并且其中，所述命令還致使所述自動助手客戶端監(jiān)視對所述提示的響應(yīng)。
3.根據(jù)權(quán)利要求2所述的方法，其中，所述提示推薦對于與所述第一組一個或多個iot設(shè)備相關(guān)聯(lián)的所述第一狀態(tài)的改變，并且還包括：
4.根據(jù)權(quán)利要求3所述的方法，其中，所述組合通知包括圖形界面，并且所述提示是所述圖形界面的可選元素。
5.根據(jù)權(quán)利要求4所述的方法，其中，對所述提示的所述肯定響應(yīng)是對所述圖形界面的所述可選元素的選擇。
6.根據(jù)權(quán)利要求1所述的方法，其中，在第一時間接收所述第一iot狀態(tài)通知，并且其中，在所述第一時間之后的第二時間接收所述第二iot狀態(tài)通知，并且所述方法還包括：
7.根據(jù)權(quán)利要求1所述的方法，其中，所述第一組一個或多個iot設(shè)備包括智能門鎖，并且其中，所述第一狀態(tài)是所述智能門鎖的解鎖狀態(tài)。
8.一種方法，包括：
9.根據(jù)權(quán)利要求8所述的方法，其中，所述至少一個iot設(shè)備是智能門鎖。
10.根據(jù)權(quán)利要求8所述的方法，進(jìn)一步包括：
11.根據(jù)權(quán)利要求10所述的方法，其中，所述至少一個iot設(shè)備是第一智能門鈴，并且所述附加iot設(shè)備是第二智能門鈴。
12.根據(jù)權(quán)利要求10所述的方法，其中，所述至少一個iot設(shè)備是第一智能電器，并且所述附加iot設(shè)備是第二智能電器。
13.根據(jù)權(quán)利要求8所述的方法，其中，選擇所述子集進(jìn)一步至少部分基于所述多個助手客戶端設(shè)備的當(dāng)前屬性。
14.根據(jù)權(quán)利要求8所述的方法，其中，選擇所述子集進(jìn)一步至少部分基于一天中的時間或一周中的一天。
15.根據(jù)權(quán)利要求8所述的方法，其中，所選擇的子集的所述助手客戶端設(shè)備包括第一助手客戶端設(shè)備和第二助手客戶端設(shè)備，并且其中，由所述第一助手客戶端設(shè)備的所述自動助手客戶端自動呈現(xiàn)的對應(yīng)通知與由所述第二助手客戶端設(shè)備的所述自動助手客戶端自動呈現(xiàn)的對應(yīng)通知相比不太引人注目。
16.根據(jù)權(quán)利要求15所述的方法，進(jìn)一步包括：
17.根據(jù)權(quán)利要求8所述的方法，其中，所選擇的子集的所述助手客戶端設(shè)備包括第一助手客戶端設(shè)備和第二助手客戶端設(shè)備，并且其中，由所述第一助手客戶端設(shè)備的所述自動助手客戶端自動呈現(xiàn)的對應(yīng)通知是僅可聽的通知，并且其中，由所述第二助手客戶端設(shè)備的所述自動助手客戶端自動呈現(xiàn)的對應(yīng)通知是可聽并且可視的。
18.根據(jù)權(quán)利要求8所述的方法，其中，所述至少一個iot設(shè)備是智能電器，并且所述狀態(tài)的改變...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：大衛(wèi)·羅伊·沙伊雷爾，薩莫·穆罕默德，馬克·斯帕特斯四世，普雷姆·庫馬，志·楊·喬納森·恩格，朱迪，史蒂文·克拉克，
申請(專利權(quán))人：谷歌有限責(zé)任公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。