【技術實現步驟摘要】
本專利技術涉及半導體，具體而言，涉及一種氮化鋁模板工藝參數的優化方法、裝置和可讀存儲介質。
技術介紹
1、目前，氮化鋁(aln)模板制備通常使用mocvd(金屬有機化學氣相沉積，metal-organic?chemical?vapor?deposition)技術，mocvd技術能夠實現高質量、高速的薄膜生長。
2、在相關技術中，通過mocvd技術制備氮化鋁模板時，會通過經驗數據控制氮化鋁模板的工藝參數來優化氮化鋁模板的生長質量。但是經驗數據依賴人工經驗和主觀判斷，使得工藝參數(如溫度、流量、壓力等)的設置會依賴于歷史經驗或試錯法，導致優化氮化鋁模板的工藝參數的過程效率較低。
3、同時，通過mocvd技術制備氮化鋁模板時，通常使用預設的固定參數進行薄膜制備，缺乏有效的實時反饋機制。在氮化鋁模板生長過程中，無法根據實時監測數據(如反射率曲線、溫度、氣體流量等)進行靈活的生長過程調整。這使得氮化鋁模板在生長過程中容易出現波動，均勻性和晶體質量可能隨著時間增加而逐漸變差。
4、同時，在氮化鋁模板生長過程中，傳統的優化方法通常只針對單一參數進行調整，缺乏對多參數交互影響的系統性考慮，使得在高維度的參數空間中，優化效率低下，且難以避免局部最優解。尤其在大尺寸外延生長中，傳統優化方法難以全面整合溫度、氣體流量、壓力等多個因素的影響，無法實現全局最優，從而影響薄膜的質量和生產效率。
技術實現思路
1、本專利技術旨在至少解決現有技術或相關技術中存在的技術問題之一。
2、為此，本專利技術的第一方面提出一種基于深度強化學習的氮化鋁模板工藝參數的優化方法。
3、本專利技術的第二方面提出一種基于深度強化學習的氮化鋁模板工藝參數的處理裝置。
4、本專利技術的第三方面提出一種可讀存儲介質。
5、有鑒于此，本專利技術的第一方面提供了一種基于深度強化學習的氮化鋁模板工藝參數的優化方法，包括：設置氮化鋁模板的一個或者多個工藝參數；基于制備氮化鋁模板的工藝參數，定義狀態空間和動作空間；構建神經網絡價值函數q(s，a)＝θ(s，a)，其中，q(s，a)為狀態動作對的價值，θ為神經網絡，s為狀態空間參數，a為待評估價值的動作，其中神經網絡的輸入層以狀態空間作為輸入，神經網絡的輸出層對應動作空間中的各個動作的價值，神經網絡的權重參數集合為w，偏置參數集合為b；在每個時間步結束時，基于神經網絡價值函數q(s，a)計算出的狀態動作對的價值，采用ε-貪婪策略選擇并實施動作，以改變相應的工藝參數；構建獎勵函數，用于在第n個時間步結束時，計算對應于第n-1個時間步結束時實施動作的獎勵值，獎勵函數與氮化鋁模板生長的反射率曲線相關，且n≥2；在預定時長內，在每個時間步結束時實施動作改變工藝參數來生長氮化鋁模板，并根據價值函數和獎勵函數，對神經網絡θ進行訓練，形成新的神經網絡價值函數q(s，a)。
6、本專利技術所提出的基于深度強化學習的氮化鋁模板工藝參數的優化方法，在預定時長內，氮化鋁模板生長過程中，利用價值函數和獎勵函數，對神經網絡θ進行訓練，可得到新的神經網絡價值函數q(s，a)。在每個時間步結束時，根據新的神經網絡價值函數q(s，a)計算出的狀態動作對的價值，采用ε-貪婪策略選擇并在每個時間步結束時實施動作，以改變氮化鋁模板的工藝參數，進而對氮化鋁模板生長過程進行控制，使得氮化鋁模板生長得更均勻、更穩定。同時，本專利技術通過基于深度強化學習的氮化鋁模板工藝參數的優化方法代替了人工經驗進行優化的方法，實現了對氮化鋁模板工藝參數的自動優化，提高了氮化鋁模板的工藝參數優化過程的效率，進而提升了氮化鋁模板的整體穩定性和生產效率。
7、通過對神經網絡θ進行訓練，使得神經網絡θ在氮化鋁模板生長中能夠實時響應監測數據的變化，確保工藝的靈活性。相比傳統的固定參數設置，該神經網絡θ能夠在生長過程中實時優化薄膜質量，從而能生長出均勻、穩定的氮化鋁模板。
8、同時，通過對神經網絡θ進行訓練，使得基于深度強化學習的氮化鋁模板的工藝參數的優化方法具有全局優化的能力，該方法能夠在多維參數空間中同時考慮工藝參數中復雜因素的交互作用，從而實現對大尺寸氮化鋁外延生長過程的全局優化。該方法避免了局部最優解的局限性，確保優化過程更加全面高效。
9、其中，時間步為相鄰兩個實施動作的間隔時長。
10、具體地，采用神經網絡構建價值函數，可表達出氮化鋁模板生長的狀態與輸出動作價值的精確對應關系，具體為將氮化鋁模板的生長狀態參數輸入到神經網絡的輸入層中，在神經網絡的輸出層獲取到動作空間中的各個動作的價值。其中，神經網絡還設置有權重參數集合w和偏置參數集合b。權重參數集合w和偏置參數集合b在神經網絡訓練過程中，權重參數集合w和偏置參數集合b會不斷被調整，目的是讓神經網絡的輸出盡可能符合預期的結果。其中，氮化鋁模板的工藝參數為溫度、壓力、氣體流量等，狀態空間由上述參數中選取，可表達出氮化鋁模板的生長狀態；動作空間用于增大工藝參數、保持工藝參數不變或減小工藝參數，例如將溫度增大或減小1℃，以對狀態空間參數進行調整。
11、具體地，獎勵函數用于在每個時間步結束時，計算對應于上一個時間步結束時實施動作的獎勵值。例如，在第n個時間步結束時，計算對應于第n-1個時間步結束時實施動作的獎勵值，第n-1個時間步為第n個時間步的上一時間步，且n大于等于2。其中，在氮化鋁模板外延片的中心和氮化鋁模板外延片靠近邊緣的位置分別設置原位監測探頭，實時監測獲取反射率曲線，獎勵函數與氮化鋁模板生長的反射率曲線相關，反射率曲線變化會改變獎勵函數的變化，進而改變相應的實施動作的獎勵值。
12、另外，本專利技術提供的上述技術方案中的基于深度強化學習的氮化鋁模板的工藝參數的優化方法，還可以具有如下附加技術特征：
13、在本專利技術的一些技術方案中，可選地，神經網絡為全連接層神經網絡。
14、在該技術方案中，神經網絡為全連接層神經網絡，全連接層神經網絡具有特征提取能力強、擬合能力出色、模型表達能力好的特點，使得構建的價值函數更能精準地表達出狀態與輸出動作價值的對應關系，為深度強化學習過程提供了有效的決策依據。
15、在本專利技術的一些技術方案中，可選地，對于n-1個時間步結束時實施動作an-1的獎勵函數定義為：rn-1＝α·(σcn+σen-σcn-1-σen-1)-β·(un-un-1)，其中，rn-1為獎勵值，α、β為權重系數，用于平衡(σcn+σen-σcn-1-σen-1)和(un-un-1)對獎勵的貢獻程度，且n≥2；σcn表示在第n個時間步結束時，以此時刻為終點的時間窗口內，氮化鋁的外延片中心點的原位監測反射率曲線上的多個第一采樣值的標準差；σcn-1表示在第n-1個時間步結束時，以此時刻為終點的時間窗口內，氮化鋁的外延片中心點的原位監測反射率曲線上的多個第一采樣值的標準差；σen表示在第n個時間步結束時，以此時刻為終點的時間窗口內，氮化鋁的外延片邊緣處的原位監測反射率曲線上的多本文檔來自技高網...
【技術保護點】
1.一種基于深度強化學習的氮化鋁模板工藝參數的優化方法，其特征在于，包括：
2.根據權利要求1所述的基于深度強化學習的氮化鋁模板工藝參數的優化方法，其特征在于，所述神經網絡為全連接層神經網絡。
3.根據權利要求1所述的基于深度強化學習的氮化鋁模板工藝參數的優化方法，其特征在于，對于n-1個時間步結束時實施動作An-1的獎勵函數定義為：
4.根據權利要求3所述的基于深度強化學習的氮化鋁模板工藝參數的優化方法，其特征在于，根據所述神經網絡價值函數和所述獎勵函數，對所述神經網絡θ進行訓練包括：
5.根據權利要求4所述的基于深度強化學習的氮化鋁模板工藝參數的優化方法，其特征在于，還包括：
6.根據權利要求1所述的基于深度強化學習的氮化鋁模板工藝參數的優化方法，其特征在于，還包括：
7.根據權利要求1所述的基于深度強化學習的氮化鋁模板工藝參數的優化方法，其特征在于，所述狀態空間參數至少包括多個以下參數：
8.根據權利要求1所述的基于深度強化學習的氮化鋁模板工藝參數的優化方法，其特征在于，所述動作空間至少包括
9.根據權利要求1所述的基于深度強化學習的氮化鋁模板工藝參數的優化方法，其特征在于，所述神經網絡包括：
10.一種基于深度強化學習的氮化鋁模板工藝參數的處理裝置，其特征在于，包括：
11.一種可讀存儲介質，其上存儲有程序或指令，其特征在于，所述程序或所述指令被處理器執行時實現如權利要求1至9中任一項所述的基于深度強化學習的氮化鋁模板工藝參數的優化方法的步驟。
...【技術特征摘要】
1.一種基于深度強化學習的氮化鋁模板工藝參數的優化方法，其特征在于，包括：
2.根據權利要求1所述的基于深度強化學習的氮化鋁模板工藝參數的優化方法，其特征在于，所述神經網絡為全連接層神經網絡。
3.根據權利要求1所述的基于深度強化學習的氮化鋁模板工藝參數的優化方法，其特征在于，對于n-1個時間步結束時實施動作an-1的獎勵函數定義為：
4.根據權利要求3所述的基于深度強化學習的氮化鋁模板工藝參數的優化方法，其特征在于，根據所述神經網絡價值函數和所述獎勵函數，對所述神經網絡θ進行訓練包括：
5.根據權利要求4所述的基于深度強化學習的氮化鋁模板工藝參數的優化方法，其特征在于，還包括：
6.根據權利要求1所述的基于深度強化學習的氮化鋁模板工藝...
【專利技術屬性】
技術研發人員：李方政，管昌雨，朱虹，
申請(專利權)人：蘇州中科重儀半導體材料有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。