System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內的位置。 參數名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技術實現步驟摘要】
本專利技術涉及云桌面場景下視頻流吞吐量預測,具體而言,涉及一種面向冷啟動和模式遺忘的云桌面吞吐量預測方法。
技術介紹
1、目前,隨著云計算的發展,搭建在云上的遠程虛擬桌面服務受到關注并被廣泛應用在教育、辦公、政府等場景中。與傳統pc相比,云桌面由后臺運維人員統一管理,避免了軟硬件故障和頻繁升級的問題;同時,云桌面具有更高的靈活性,可支持多終端隨時隨地的接入,并通過使用不同配置滿足多種場景需求。然而,云桌面的發展始終受到帶寬的影響,千兆網絡的普及解決了云桌面使用出現卡頓,分辨率低的問題,但帶寬過量分配的問題仍存在。據了解,目前大多數網絡帶寬資源分配采用固定不變的策略,不僅造成資源浪費,還為用戶帶來高額成本,因此一種用于指導云桌面網絡帶寬資源分配的吞吐量預測方案亟待提出。
2、現有成熟的云桌面產品和研究主要考慮如何優化編解碼以提高用戶使用質量,很少關注與吞吐量和帶寬資源分配相關的網絡問題。網絡帶寬資源是決定云桌面服務流暢性與穩定性的關鍵因素,固定的帶寬難以應對用戶的多場景需求,難免造成欠飽和狀態下資源浪費和飽和狀態下網絡傳輸受限。一種實時的吞吐量預測方案有助于指導帶寬的動態分配?;跉v史數據的云桌面帶寬預測主要面臨“冷啟動”和“訓練遺忘”兩方面問題。當新用戶首次使用服務時歷史數據較少,難以支撐模型的訓練以實現吞吐量的準確預測,存在“冷啟動”問題,一種可行的解決方案是組合現有知識或者推薦策略。然而,在云桌面場景下的難題是:利用其他用戶知識的同時需要保證彼此間數據隔離,在確保數據隱私的前提下實現“安全啟動”。
3
4、綜上所述,存在如下至少一種技術問題:
5、基于歷史數據的云桌面帶寬預測主要面臨“冷啟動”和“訓練遺忘”兩方面問題。
6、隨著用戶使用時長增加,歷史數據大量積累,長期訓練過程中新知識會覆蓋部分舊知識,導致“訓練遺忘”問題。
7、如何有效避免訓練過程中習得的新場景知識對舊場景的覆蓋,并且有效利用時序特征。
技術實現思路
1、本專利技術的主要目的在于提供一種面向冷啟動和模式遺忘的云桌面吞吐量預測方法,以解決現有技術中基于歷史數據的云桌面帶寬預測主要面臨“冷啟動”和“訓練遺忘”兩方面問題。隨著用戶使用時長增加,歷史數據大量積累,長期訓練過程中新知識會覆蓋部分舊知識,導致“訓練遺忘”問題。如何有效避免訓練過程中習得的新場景知識對舊場景的覆蓋,并且有效利用時序特征的技術問題。
2、為了實現上述目的,根據本專利技術的一個方面,提供了一種面向冷啟動和模式遺忘的云桌面吞吐量預測方法,包括:
3、步驟1:基于相似度注意力聯邦學習輔助訓練;
4、步驟2:面向新用戶初始階段安全冷啟動的吞吐量預測;
5、步驟3:基于tdlinear網絡模型的波動-剩余特征提?。?/p>
6、步驟4:基于自適應記憶模塊與ewc的模型更新;
7、步驟5:面向用戶長期使用階段訓練遺忘的吞吐量預測。
8、優選的,所述步驟1中,采用橫向聯邦學習的整體框架,該框架包括全局側和本地用戶側,所述全局側用于處理各個用戶上傳的數據,共同處理后得到結果返回給各個本地用戶。
9、優選的,所述步驟1中,首先獲取新用戶的先驗知識,所述先驗知識為用戶注冊或綁定賬號時產生,包括基本身份信息和使用信息。
10、優選的,所述步驟1中通過比較用戶的先驗知識,為新用戶選擇相關性較高的m個用戶群體作為聯邦候選集,在此過程中用戶將各自數據加密上傳到全局側,由全局側完成篩選操作,在全局側和本地用戶側使用相同的輕量化預測模型多層感知機,聯邦候選集將分別訓練并將訓練過程中的梯度參數加密上傳到全局側,同時新用戶也利用少量已有數據進行訓練,同樣加密上傳訓練參數。
11、優選的,所述步驟1中全局側將得到的訓練參數計算相似度,并通過與聯邦儲備用戶的兩輪交互,得到相似度權重,基于所述權重計算得到更新后的訓練參數,并返回給新用戶更新模型,在此過程中,新用戶只與全局側交互一次,同時需要等待聯邦候選集與全局側的交互。
12、優選的,所述步驟2中在本地端得到兩次訓練更新前后的訓練損失后,將其上傳到全局側計算新用戶與候選用戶的相似度,當全局側聚合后的參數訓練得到的損失函數與原始損失函數相比降低的越多,說明該候選用戶與新用戶的相似度越高,認為該用戶的訓練參數有較大的指導意義,反之當損失函數降低的越少甚至增加時,則認為相似度則較低,該用戶的訓練參數的指導意義較小,從中挑選相似度最高的m個用戶用于輔助新用戶完成吞吐量預測任務,考慮預測的實時性要求,在初始階段吞吐量預測使用基本的多層感知機模型,根據相似度為候選用戶的參數設定注意力權重,具有較大指導意義的權值較高,通過加權的方式完成預測。
13、優選的,所述步驟3中,隨著使用時長增加,新用戶歷史數據逐漸積累,當超過一定閾值時便可獨立完成訓練,此時設計tdlinear模型用于提取歷史數據中吞吐量的波動部分和穩定部分的特征,在用戶較為活躍的使用云桌面時,吞吐量呈現劇烈波動,而云桌面閑置時吞吐量較為平穩,劃分滑動時間窗口,通過計算窗口內的方差來衡量吞吐量波動程度,從而分別提取到兩部分特征,針對兩部分特征分別使用記憶力模塊和ewc回顧歷史信息。
14、優選的,所述步驟4中,基于提取到的波動部分特征,通過自適應記憶模塊存儲舊模式并更新新模式,將輸入數據通過全連接層,使特征保留在少數神經元上,記憶模塊用于存儲不同模式的特征神經元,使用皮爾遜相關系數來衡量當前窗口下特征神經元和記憶模塊中已有神經元的相關性,若相關性較高則直接使用記憶模塊神經元完成訓練,相關性較低時則存入記憶模塊完成更新,對于穩定部分特征,對更新的滑動窗口的模型參數進行約束,在約束時使用相同的懲罰項來回顧以往訓練參數不斷回顧舊知識。
15、優選的,所述步驟5中,經過tdlinear模型特征的劃分,代表用戶活躍使用云桌面的波動特征和閑置時的穩定特征被分別提取,波動特征使用記憶模塊通過不斷衡量神經元相關性實現自適應更新,通過dropout正則化來提高網絡泛化能力,防止模型過擬合,使用ensemble來均衡不同記憶單元的預測結果,最后使用線性預測模型得到波動特征部分的第一預測結果yact。
16、優選的,對于穩定特征,采用ewc回顧歷史訓練參數,為了保留先前任務的知識,對關鍵參數施加懲罰,使它們在訓練新任務時不會輕易改變,使用相同的線性模型得到第二預測結果yidle,在輸出時將兩部分在時間維度聚合,得到最終輸出結果其中,yact為第一預測結果;yidle為第二預測結果;ypred最終輸出結果。
17、應用本專利技術本文檔來自技高網...
【技術保護點】
1.一種面向冷啟動和模式遺忘的云桌面吞吐量預測方法,其特征在于,包括:
2.如權利要求1所述的面向冷啟動和模式遺忘的云桌面吞吐量預測方法,其特征在于,所述步驟1中,采用橫向聯邦學習的整體框架,該框架包括全局側和本地用戶側,所述全局側用于處理各個用戶上傳的數據,共同處理后得到結果返回給各個本地用戶。
3.如權利要求1所述的面向冷啟動和模式遺忘的云桌面吞吐量預測方法,其特征在于,所述步驟1中,首先獲取新用戶的先驗知識,所述先驗知識為用戶注冊或綁定賬號時產生,包括基本身份信息和使用信息。
4.如權利要求1所述的面向冷啟動和模式遺忘的云桌面吞吐量預測方法,其特征在于,所述步驟1中通過比較用戶的先驗知識,為新用戶選擇相關性較高的m個用戶群體作為聯邦候選集,在此過程中用戶將各自數據加密上傳到全局側,由全局側完成篩選操作,在全局側和本地用戶側使用相同的輕量化預測模型多層感知機,聯邦候選集將分別訓練并將訓練過程中的梯度參數加密上傳到全局側,同時新用戶也利用少量已有數據進行訓練,同樣加密上傳訓練參數。
5.如權利要求1所述的面向冷啟動和模式遺忘的云桌
6.如權利要求1所述的面向冷啟動和模式遺忘的云桌面吞吐量預測方法,其特征在于,所述步驟2中在本地端得到兩次訓練更新前后的訓練損失后,將其上傳到全局側計算新用戶與候選用戶的相似度,當全局側聚合后的參數訓練得到的損失函數與原始損失函數相比降低的越多,說明該候選用戶與新用戶的相似度越高,認為該用戶的訓練參數有較大的指導意義,反之當損失函數降低的越少甚至增加時,則認為相似度則較低,該用戶的訓練參數的指導意義較小,從中挑選相似度最高的m個用戶用于輔助新用戶完成吞吐量預測任務,考慮預測的實時性要求,在初始階段吞吐量預測使用基本的多層感知機模型,根據相似度為候選用戶的參數設定注意力權重,具有較大指導意義的權值較高,通過加權的方式完成預測。
7.如權利要求1所述的面向冷啟動和模式遺忘的云桌面吞吐量預測方法,其特征在于,所述步驟3中,隨著使用時長增加,新用戶歷史數據逐漸積累,當超過一定閾值時便可獨立完成訓練,此時設計TDLinear模型用于提取歷史數據中吞吐量的波動部分和穩定部分的特征,在用戶較為活躍的使用云桌面時,吞吐量呈現劇烈波動,而云桌面閑置時吞吐量較為平穩,劃分滑動時間窗口,通過計算窗口內的方差來衡量吞吐量波動程度,從而分別提取到兩部分特征,針對兩部分特征分別使用記憶力模塊和EWC回顧歷史信息。
8.如權利要求1所述的面向冷啟動和模式遺忘的云桌面吞吐量預測方法,其特征在于,所述步驟4中,基于提取到的波動部分特征,通過自適應記憶模塊存儲舊模式并更新新模式,將輸入數據通過全連接層,使特征保留在少數神經元上,記憶模塊用于存儲不同模式的特征神經元,使用皮爾遜相關系數來衡量當前窗口下特征神經元和記憶模塊中已有神經元的相關性,若相關性較高則直接使用記憶模塊神經元完成訓練,相關性較低時則存入記憶模塊完成更新,對于穩定部分特征,對更新的滑動窗口的模型參數進行約束,在約束時使用相同的懲罰項來回顧以往訓練參數不斷回顧舊知識。
9.如權利要求1所述的面向冷啟動和模式遺忘的云桌面吞吐量預測方法,其特征在于,所述步驟5中,經過TDLinear模型特征的劃分,代表用戶活躍使用云桌面的波動特征和閑置時的穩定特征被分別提取,波動特征使用記憶模塊通過不斷衡量神經元相關性實現自適應更新,通過Dropout正則化來提高網絡泛化能力,防止模型過擬合,使用Ensemble來均衡不同記憶單元的預測結果,最后使用線性預測模型得到波動特征部分的第一預測結果yact。
10.如權利要求1所述的面向冷啟動和模式遺忘的云桌面吞吐量預測方法,其特征在于,所述步驟5中,對于穩定特征,采用EWC回顧歷史訓練參數,為了保留先前任務的知識,對關鍵參數施加懲罰,使它們在訓練新任務時不會輕易改變,使用相同的線性模型得到第二預測結果yidle,在輸出時將兩部分在時間維度聚合,得到最終輸出結果其中,yact為第一預測結果;yidle為第二預測結果;ypred最終輸出結果。
...【技術特征摘要】
1.一種面向冷啟動和模式遺忘的云桌面吞吐量預測方法,其特征在于,包括:
2.如權利要求1所述的面向冷啟動和模式遺忘的云桌面吞吐量預測方法,其特征在于,所述步驟1中,采用橫向聯邦學習的整體框架,該框架包括全局側和本地用戶側,所述全局側用于處理各個用戶上傳的數據,共同處理后得到結果返回給各個本地用戶。
3.如權利要求1所述的面向冷啟動和模式遺忘的云桌面吞吐量預測方法,其特征在于,所述步驟1中,首先獲取新用戶的先驗知識,所述先驗知識為用戶注冊或綁定賬號時產生,包括基本身份信息和使用信息。
4.如權利要求1所述的面向冷啟動和模式遺忘的云桌面吞吐量預測方法,其特征在于,所述步驟1中通過比較用戶的先驗知識,為新用戶選擇相關性較高的m個用戶群體作為聯邦候選集,在此過程中用戶將各自數據加密上傳到全局側,由全局側完成篩選操作,在全局側和本地用戶側使用相同的輕量化預測模型多層感知機,聯邦候選集將分別訓練并將訓練過程中的梯度參數加密上傳到全局側,同時新用戶也利用少量已有數據進行訓練,同樣加密上傳訓練參數。
5.如權利要求1所述的面向冷啟動和模式遺忘的云桌面吞吐量預測方法,其特征在于,所述步驟1中全局側將得到的訓練參數計算相似度,并通過與聯邦儲備用戶的兩輪交互,得到相似度權重,基于所述權重計算得到更新后的訓練參數,并返回給新用戶更新模型,在此過程中,新用戶只與全局側交互一次,同時需要等待聯邦候選集與全局側的交互。
6.如權利要求1所述的面向冷啟動和模式遺忘的云桌面吞吐量預測方法,其特征在于,所述步驟2中在本地端得到兩次訓練更新前后的訓練損失后,將其上傳到全局側計算新用戶與候選用戶的相似度,當全局側聚合后的參數訓練得到的損失函數與原始損失函數相比降低的越多,說明該候選用戶與新用戶的相似度越高,認為該用戶的訓練參數有較大的指導意義,反之當損失函數降低的越少甚至增加時,則認為相似度則較低,該用戶的訓練參數的指導意義較小,從中挑選相似度最高的m個用戶用于輔助新用戶完成吞吐量預測任務,考慮預測的實時性要求,在初始階段吞吐量預測使用基本的多層感知機模型,根據相似度為候選用戶的參數設定注意力權重,具有較大指導意義的權值較高...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。