本發明專利技術提供的一種基于Q?learning算法的面向有故障片上光網絡自適應容錯路由規劃方法包括：S1：根據網絡中的光路由器狀態與網絡拓撲結構，構建網絡模型，并定義網絡路徑獎勵值評估模型；S2：根據所述網絡路徑獎勵值評估模型計算當前節點到其相鄰節點的對應路徑獎勵值，從中確定最優的下一節點，更新Q表，令所述節點為當前節點；S3：若當前節點為目標節點時，結束本輪計算,得到一條所述規劃路徑及其路徑的獎勵值；若當前節點位于故障域中時，結束本輪計算；若都不是則重復步驟S2?S3；S4：根據預設的學習輪次得到若干條所述規劃路徑，從中確定最佳路徑。本發明專利技術的方法通過Q?learning算法在避免經過故障域的路徑中選擇一條最優路徑，能有效提高網絡性能。
【技術實現步驟摘要】
本專利技術屬于動態路由規劃，具體涉及一種基于q-learning算法的面向有故障片上光網絡自適應容錯路由規劃方法。
技術介紹
1、隨著硅基集成器件技術、硅－光技術的突破，片上光網絡系統比傳統片上系統具有帶寬大、低延遲、低功耗性能特點，而受到了廣泛的關注。光路由器結構作為片上光網絡的主要組成單元，其性能直接影響到片上網絡的性能。其中微環諧振器是組成光路由器的核心器件，因溫度影響或制造缺陷，微環諧振器極易因發生諧振波長漂移而導致器件故障，從而引起整個光路由器故障。當光路由器發生故障時會進一步會導致系統通信過程中數據誤傳和丟失，降低光片上網絡系統的安全性和可靠性。
技術實現思路
1、為了解決現有技術中存在的上述問題，本專利技術的目的在于提供一種基于q-learning算法的面向有故障片上光網絡自適應容錯路由規劃方法實現：
2、本專利技術提供的一種基于q-learning算法的面向有故障片上光網絡自適應容錯路由規劃方法包括：
3、s1：根據網絡中的光路由器狀態與網絡拓撲結構，構建網絡模型，并定義網絡路徑獎勵值評估模型，初始化q值；
4、其中網絡模型中包括多個光路由器組成單元的節點以及節點與節點之間的表示雙向鏈路、源節點至目標節點包括多條由數據鏈路組成的路徑及故障節點所形成的故障域；
5、網絡路徑獎勵值評估模型中包括節點與節點之間的表示雙向鏈路的插入損耗及由于光路由器狀態不同的而產生的不同插入損耗，根據不同的插入損耗設置對應的獎勵值；
<
p>6、s2：根據所述網絡路徑獎勵值評估模型計算當前節點到其相鄰節點的對應路徑獎勵值，從中確定最優的下一節點，更新q表，令所述節點為當前節點；7、s3：判斷當前節點是否為目標節點或位于故障域中；
8、若都不是則重復步驟s2-s3
9、若當前節點為目標節點時，結束本輪計算,根據所述q表，得到一條所述規劃路徑及其規劃路徑的獎勵值；
10、若當前節點位于故障域中時，結束本輪計算；
11、其中，所述規劃路徑的獎勵值為路徑規劃過程中選擇節點對應的獎勵值的總和。
12、s4：根據預設的學習輪次得到若干條所述規劃路徑，根據所述規劃路徑的獎勵值的大小，選擇所述規劃路徑獎勵值最大的規劃路徑作為最優路徑；
13、在本專利技術的一個實施例中，根據q-learning算法進行路徑規劃，得到源節點vs到所述目標節點vd的最佳規劃路徑，其中源節點vs與目標節點vd不為故障節點,包括：
14、步驟1：獲取當前網絡拓撲信息，包括：
15、多個光路由器組成單元的節點以及節點與節點之間的表示雙向鏈路，源節點至目標節點包括多條由數據鏈路組成的路徑及光路由器狀態；
16、步驟2：根據步驟1的網絡拓撲結構與網絡中的光路由器狀態，構建網絡模型，根據網絡大小設置每次最大路由跳數h，根據光路由器狀態不同而產生的插入損耗不同設置對應的獎勵值，其中插入損耗越少獎勵值越大；
17、步驟3：將源節點vs作為當前節點vk，初始化q-learning學習參數及所有節點的q值；
18、步驟4：根據所述網絡路徑獎勵值評估計算當前節點到其相鄰節點的對應路徑獎勵值，從中確定最優的下一節點，更新q表更新所述q值，并將該節點作為新的當前節點vk；
19、步驟5：判斷節點vk+1是否為目標節點；
20、如果節點vk+1是所述目標節點d，則結束本輪學習，根據所述q表，得到一條所述規劃路徑及其規劃路徑的獎勵值rq；
21、步驟6：判斷節點vk+1是否位于故障域中或當前路由跳數h>＝hmax；
22、若是，則結束本輪學習；若不是，則重復步驟4-步驟6；
23、步驟7：根據預設的學習輪次得到若干條所述規劃路徑，判斷若干條所述規劃路徑的獎勵值總和rq的大小，選擇所述規劃路徑的獎勵值rq最大的規劃路徑作為最優路徑；
24、在本專利技術的一個實施例中，所述q-learning學習參數包括：學習輪次qmax、學習率α、折扣因子γ。
25、在本專利技術的一個實施例中，所述規劃路徑的獎勵值為路徑規劃過程中選擇節點對應的獎勵值r的總和；
26、在本專利技術的一個實施例中，光路由器的狀態可分為正常狀態與故障狀態；
27、光路由器的狀態為正常狀態時，即通過控制光路由器中光開關的來能使輸入的光信號按照指定端口輸出，光路由器狀態為正常狀態的節點為正常節點；
28、光路由器的狀態為故障狀態時，會導致輸入光插入損耗嚴重或無法按照指定路徑傳輸，光路由器狀態為故障狀態的節點為故障節點；
29、在本專利技術的一個實施例中，如果一個正常節點相鄰的節點中僅剩一個正常節點，那該節點為危險節點；
30、在本專利技術的一個實施例中，如果一個正常節點相鄰的節點中均為故障節點，那該節點為不可以狀態，那該節點可視為故障節點；
31、在本專利技術的一個實施例中，相鄰的故障節點與危險節點會連結成故障域，其中故障域可分為凸型或矩形故障；
32、上述說明僅是本專利技術技術方案的概述，為了能夠更清楚了解本專利技術的技術手段，而可依照說明書的內容予以實施，并且為了讓本專利技術的上述和其他目的、特征和優點能夠更明顯易懂，以下特舉較佳實施例，并配合附圖，詳細說明如下；
本文檔來自技高網...
【技術保護點】
1.本專利技術提供的一種基于Q-learning算法的面向有故障片上光網絡自適應容錯路由規劃方法包括：
2.根據權利要求1所述的基于Q-learning算法光片上網絡自適應路由規劃方法，其特征在于，所述網絡模型包括網絡模型中包括多個光路由器組成單元的節點以及節點與節點之間的表示雙向鏈路，源節點至目標節點包括多條由數據鏈路組成的路徑及故障節點所形成的故障域。
3.根據權利要求1所述的基于Q-learning算法光片上網絡自適應路由規劃方法，其特征在于，所述網絡路徑獎勵值評估模型包括節點與節點之間的表示雙向鏈路的插入損耗及由于光路由器狀態不同的而產生的不同插入損耗，根據不同的插入損耗設置對應的獎勵值。
4.根據權利要求1所述的基于Q-learning算法的面向有故障片上光網絡自適應容錯路由規劃方法，其特征在于，光路由器的狀態可分為正常狀態與故障狀態：
5.根據權利要求1所述的基于Q-learning算法的面向有故障片上光網絡自適應容錯路由規劃方法，其特征在于，所述規劃路徑的獎勵值為路徑規劃過程中選擇節點對應的獎勵值r的總和。
>6.根據權利要求1所述的基于Q-learning算法光片上網絡自適應路由規劃方法，其特征在于，所述故障域為相鄰的故障節點與危險節點會連結成的區域。7.根據權利要求1所述的基于Q-learning算法的面向有故障片上光網絡自適應容錯路由規劃方法，其特征在于，根據預設的學習輪次得到若干條所述規劃路徑，選擇所述規劃路徑獎勵值最大的規劃路徑作為最優路徑。
8.根據權利要求1所述的基于Q-learning算法光片上網絡自適應路由規劃方法，其特征在于，所述Q值為Qk(s,a)，表示節點vk在狀態s時選擇方向a的節點作為下一節點的路徑獎勵值；狀態s代表節點vk分別與目標節點和各個故障節點的坐標差值構成的矩陣；a代表節點vk通往下一跳節點的方向。
9.根據權利要求1所述的基于Q-learning算法光片上網絡自適應路由規劃方法，其特征在于，通過下式更新Q值。
10.根據權利要求8所述的基于Q-learning算法的面向有故障片上光網絡自適應容錯路由規劃方法，其特征在于，節點vk的Q值Qk(s,a)中狀態s公式可通過下式表示。
...
【技術特征摘要】
1.本發明提供的一種基于q-learning算法的面向有故障片上光網絡自適應容錯路由規劃方法包括：
2.根據權利要求1所述的基于q-learning算法光片上網絡自適應路由規劃方法，其特征在于，所述網絡模型包括網絡模型中包括多個光路由器組成單元的節點以及節點與節點之間的表示雙向鏈路，源節點至目標節點包括多條由數據鏈路組成的路徑及故障節點所形成的故障域。
3.根據權利要求1所述的基于q-learning算法光片上網絡自適應路由規劃方法，其特征在于，所述網絡路徑獎勵值評估模型包括節點與節點之間的表示雙向鏈路的插入損耗及由于光路由器狀態不同的而產生的不同插入損耗，根據不同的插入損耗設置對應的獎勵值。
4.根據權利要求1所述的基于q-learning算法的面向有故障片上光網絡自適應容錯路由規劃方法，其特征在于，光路由器的狀態可分為正常狀態與故障狀態：
5.根據權利要求1所述的基于q-learning算法的面向有故障片上光網絡自適應容錯路由規劃方法，其特征在于，所述規劃路徑的獎勵值為路徑規劃過程中選擇節點對應的獎勵值r的總和。
【專利技術屬性】
技術研發人員：尚玉玲，潘軒銳，李春泉，姜輝，武紹云，唐博洋，黃國濤，宋卓凡，鄧淑婕，
申請(專利權)人：桂林電子科技大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。