【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及基站能耗管理，尤其是涉及一種基于改進(jìn)decisiontransformer模型的基站能耗優(yōu)化方法。
技術(shù)介紹
1、隨著5g技術(shù)的快速發(fā)展和廣泛應(yīng)用，5g基站的數(shù)量和能耗迅速增加，成為了通信行業(yè)可持續(xù)發(fā)展的關(guān)鍵挑戰(zhàn)。5g基站能耗的有效管理對(duì)于降低運(yùn)營(yíng)成本、提高能源效率以及減少環(huán)境影響具有重要意義。傳統(tǒng)的基站節(jié)能方法通常依賴于固定的節(jié)能策略或人工經(jīng)驗(yàn)，難以適應(yīng)動(dòng)態(tài)變化的環(huán)境和業(yè)務(wù)需求。
2、強(qiáng)化學(xué)習(xí)作為人工智能的一種方法，在智能決策領(lǐng)域取得了顯著的進(jìn)展。然而，傳統(tǒng)的強(qiáng)化學(xué)習(xí)在基站能耗管理方面面臨遷移泛化的挑戰(zhàn)。這可能是由于算法對(duì)訓(xùn)練環(huán)境過(guò)度擬合，缺乏在新的環(huán)境中進(jìn)行有效探索和適應(yīng)的能力，導(dǎo)致學(xué)習(xí)到的策略無(wú)法很好地泛化到具有不同動(dòng)態(tài)特征的新場(chǎng)景中去。
3、最近，decision?transformer模型作為一種新型的離線強(qiáng)化學(xué)習(xí)算法引起了人們的關(guān)注。該模型采用自注意力機(jī)制，能夠有效處理長(zhǎng)序列決策問(wèn)題。通過(guò)學(xué)習(xí)歷史數(shù)據(jù)中的長(zhǎng)期依賴關(guān)系，它可以自主學(xué)習(xí)和調(diào)整決策策略，以適應(yīng)不同的動(dòng)態(tài)環(huán)境，并提供更高效的能耗管理質(zhì)量。此外，decision?transformer模型在遷移泛化性能方面表現(xiàn)優(yōu)異，它可以利用多個(gè)任務(wù)或環(huán)境的歷史數(shù)據(jù)學(xué)習(xí)通用策略，因此即使面對(duì)新的、未曾見(jiàn)過(guò)的環(huán)境，仍能夠保持良好的性能。這一特點(diǎn)使其有望克服傳統(tǒng)強(qiáng)化學(xué)習(xí)所面臨的挑戰(zhàn)，并為基站能耗管理提供更加智能化和自適應(yīng)的節(jié)能策略。
4、然而，decision?transformer模型在應(yīng)用于基站能耗管理場(chǎng)景時(shí)仍存在一些局限性。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)的目的是提供一種基于改進(jìn)decisiontransformer模型的基站能耗優(yōu)化方法，以解決上述
技術(shù)介紹
中提到的問(wèn)題。
2、為實(shí)現(xiàn)上述目的，本專利技術(shù)提供了一種基于改進(jìn)decision?transformer模型的基站能耗優(yōu)化方法，包括以下步驟：
3、s1、對(duì)環(huán)境進(jìn)行建模，定義基站能耗管理場(chǎng)景下的馬爾科夫決策過(guò)程要素，包括狀態(tài)、動(dòng)作和獎(jiǎng)勵(lì)機(jī)制，并用強(qiáng)化學(xué)習(xí)訓(xùn)練并生成基站能耗管理的決策數(shù)據(jù)集，計(jì)算決策數(shù)據(jù)集中軌跡回報(bào)，對(duì)計(jì)算的軌跡回報(bào)通過(guò)bootstrap方法計(jì)算每個(gè)時(shí)間步的均值μt和標(biāo)準(zhǔn)差σt，建模數(shù)據(jù)樣本的分布；
4、s2、對(duì)軌跡回報(bào)進(jìn)行標(biāo)準(zhǔn)化處理，計(jì)算其在數(shù)據(jù)樣本中的距離分布，并進(jìn)行歸一化處理，以作為軌跡序列的提示pt；
5、s3、重構(gòu)輸入軌跡序列τ，使用decision?transformer模型對(duì)重構(gòu)的軌跡序列進(jìn)行訓(xùn)練，直至收斂，獲得最優(yōu)的基站能耗管理策略。
6、優(yōu)選的，s1中的狀態(tài)包括基站功率、總用戶數(shù)、總傳輸速率、基站休眠模式和使用中的天線數(shù)量；動(dòng)作包括調(diào)整各基站的休眠模式、使用中的天線數(shù)量和用戶關(guān)聯(lián)模式；獎(jiǎng)勵(lì)以降低基站能耗為目標(biāo)，用戶服務(wù)質(zhì)量作為懲罰項(xiàng)。
7、優(yōu)選的，s1中將決策數(shù)據(jù)集中每個(gè)決策點(diǎn)后的累積獎(jiǎng)勵(lì)表示為軌跡回報(bào)。
8、優(yōu)選的，s2中提示pt具體表達(dá)式如下：
9、
10、其中，rt是在t時(shí)間步的軌跡回報(bào)，通過(guò)標(biāo)準(zhǔn)化處理計(jì)算t時(shí)間步軌跡回報(bào)在數(shù)據(jù)樣本中的分布，接著通過(guò)sigmod函數(shù)將標(biāo)準(zhǔn)化處理的結(jié)果縮放到0和1之間作為軌跡提示pt。
11、優(yōu)選的，重構(gòu)的軌跡序列τ的具體表達(dá)式如下：
12、
13、其中，(r0,…,rt)表示從時(shí)間步0到t的軌跡回報(bào)；(p0,…,pt)表示從時(shí)間步0到t的提示；表示從時(shí)間步0到t第0到第m個(gè)基站的狀態(tài)；表示從時(shí)間步0到t第0到第m個(gè)基站的動(dòng)作；
14、模型訓(xùn)練時(shí)對(duì)離散動(dòng)作設(shè)計(jì)相應(yīng)的損失函數(shù)，具體表達(dá)式如下：
15、
16、其中，為t時(shí)間步的真實(shí)動(dòng)作概率；為t時(shí)間步模型預(yù)測(cè)的動(dòng)作概率；l為單個(gè)動(dòng)作獨(dú)熱編碼長(zhǎng)度；k為動(dòng)作空間大小。
17、因此，本專利技術(shù)采用上述的一種基于改進(jìn)decision?transformer模型的基站能耗優(yōu)化方法，具備以下有益效果：
18、(1)提出了改進(jìn)的decision?transformer模型，對(duì)齊了模型在推理時(shí)的期望回報(bào)和實(shí)際回報(bào)；
19、(2)通過(guò)加入提示，改進(jìn)的decision?transformer模型能更好地學(xué)習(xí)樣本數(shù)據(jù)的特征，解決了模型對(duì)數(shù)據(jù)集質(zhì)量的過(guò)度依賴問(wèn)題，使得模型即使在非最優(yōu)數(shù)據(jù)集上也能夠?qū)W習(xí)到最佳策略；
20、(3)通過(guò)本專利技術(shù)改進(jìn)的decision?transformer模型能夠在面對(duì)新任務(wù)時(shí)展現(xiàn)出優(yōu)異的性能，不亞于目前先進(jìn)的強(qiáng)化學(xué)習(xí)算法。
21、下面通過(guò)附圖和實(shí)施例，對(duì)本專利技術(shù)的技術(shù)方案做進(jìn)一步的詳細(xì)描述。
本文檔來(lái)自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種基于改進(jìn)Decision?Transformer模型的基站能耗優(yōu)化方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于改進(jìn)DecisionTransformer模型的基站能耗優(yōu)化方法，其特征在于：S1中的狀態(tài)包括基站功率、總用戶數(shù)、總傳輸速率、基站休眠模式和使用中的天線數(shù)量；動(dòng)作包括調(diào)整各基站的休眠模式、使用中的天線數(shù)量和用戶關(guān)聯(lián)模式；獎(jiǎng)勵(lì)以降低基站能耗為目標(biāo)，用戶服務(wù)質(zhì)量作為懲罰項(xiàng)。
3.根據(jù)權(quán)利要求1所述的一種基于改進(jìn)DecisionTransformer模型的基站能耗優(yōu)化方法，其特征在于：S1中將決策數(shù)據(jù)集中每個(gè)決策點(diǎn)后的累積獎(jiǎng)勵(lì)表示為軌跡回報(bào)。
4.根據(jù)權(quán)利要求1所述的一種基于改進(jìn)DecisionTransformer模型的基站能耗優(yōu)化方法，其特征在于，S2中提示Pt具體表達(dá)式如下：
5.根據(jù)權(quán)利要求1所述的一種基于改進(jìn)Decision?Transformer模型的基站能耗優(yōu)化方法，其特征在于，重構(gòu)的軌跡序列τ的具體表達(dá)式如下：
【技術(shù)特征摘要】
1.一種基于改進(jìn)decision?transformer模型的基站能耗優(yōu)化方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于改進(jìn)decisiontransformer模型的基站能耗優(yōu)化方法，其特征在于：s1中的狀態(tài)包括基站功率、總用戶數(shù)、總傳輸速率、基站休眠模式和使用中的天線數(shù)量；動(dòng)作包括調(diào)整各基站的休眠模式、使用中的天線數(shù)量和用戶關(guān)聯(lián)模式；獎(jiǎng)勵(lì)以降低基站能耗為目標(biāo)，用戶服務(wù)質(zhì)量作為懲罰項(xiàng)。
3.根據(jù)權(quán)利要求1所述的...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：李駿，朱銀濤，夏鵬程，張杰，曾振平，時(shí)龍，金石，蔣海濤，
申請(qǐng)(專利權(quán))人：南京理工大學(xué)，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。