【技術(shù)實現(xiàn)步驟摘要】
本申請涉及作業(yè)車間調(diào)度，尤其涉及一種基于強(qiáng)化學(xué)習(xí)的加工裝配混合柔性作業(yè)車間調(diào)度方法。
技術(shù)介紹
1、隨著國際市場競爭環(huán)境的日益激烈以及客戶個性化定制產(chǎn)品的激增，生產(chǎn)模式正朝著多品種、小批量的方向演變，并逐漸成為主流。在這種生產(chǎn)模式下，產(chǎn)品通常由多個模塊化零部件組成，先通過加工工序完成各個零部件的加工，然后再通過裝配工序?qū)⒘悴考b配成成品，從而滿足客戶的個性化定制需求。
2、然而實際生產(chǎn)中訂單到達(dá)時間不確定，零部件種類繁多，工藝流程復(fù)雜，加工時間也存在差異，傳統(tǒng)方式難以控制各零部件的生產(chǎn)進(jìn)度，裝配過程中常因某個零部件尚未加工完成，導(dǎo)致產(chǎn)品裝配受阻，進(jìn)而造成在制品庫存積壓、成品產(chǎn)量減少、交貨延遲等一系列問題。因此，需要實現(xiàn)動態(tài)調(diào)度過程中加工和裝配工序的協(xié)同調(diào)度，從而適應(yīng)當(dāng)前個性化需求的生產(chǎn)實際，滿足復(fù)雜工藝環(huán)境的調(diào)度。
技術(shù)實現(xiàn)思路
1、本申請?zhí)峁┮环N基于強(qiáng)化學(xué)習(xí)的加工裝配混合柔性作業(yè)車間調(diào)度方法，以解決現(xiàn)有作業(yè)車間調(diào)度方法不能滿足復(fù)雜工藝環(huán)境的問題。
2、本申請?zhí)峁┮环N基于強(qiáng)化學(xué)習(xí)的加工裝配混合柔性作業(yè)車間調(diào)度方法，所述方法包括：
3、根據(jù)柔性作業(yè)車間和柔性裝配車間的混合調(diào)度實例生成訓(xùn)練集；所述訓(xùn)練集包括工序的前置工序信息、可選機(jī)器信息以及加工/裝配時間信息；
4、基于馬爾可夫決策和所述訓(xùn)練集構(gòu)建強(qiáng)化學(xué)習(xí)模型；所述強(qiáng)化學(xué)習(xí)模型包括智能體、環(huán)境狀態(tài)表示模塊、動作選擇模塊、狀態(tài)轉(zhuǎn)移模塊、收益模塊和策略模塊；
5、通過雙編碼器和解
6、采用基于近端策略優(yōu)化的multi-ppo深度強(qiáng)化學(xué)習(xí)框架學(xué)習(xí)所述工序選擇動作策略和機(jī)器選擇動作策略，以生成生產(chǎn)調(diào)度方案。
7、本申請通過鄰接矩陣的方式將機(jī)加工序選擇和裝配工序選擇合并為工序動作選擇智能體，同樣將機(jī)加工序機(jī)器分配和裝配站選擇合并為機(jī)器動作選擇智能體，再通過兩個智能體實現(xiàn)包含加工和裝配的柔性作業(yè)車間生產(chǎn)調(diào)度。該方法可減少智能體數(shù)量，增強(qiáng)模型的穩(wěn)定性、降低模型的復(fù)雜度，并且滿足多階段加工、裝配混合工藝條件下的動態(tài)柔性作業(yè)車間調(diào)度。
8、可選的，所述智能體包括工序動作選擇智能體和機(jī)器動作選擇智能體；
9、所述工序動作選擇智能體用于學(xué)習(xí)工序選擇動作策略，以進(jìn)行工序動作選擇；
10、所述機(jī)器動作選擇智能體用于學(xué)習(xí)機(jī)器選擇動作策略，以進(jìn)行機(jī)器動作選擇。
11、所述工序動作選擇智能體和機(jī)器動作選擇智能體協(xié)同工作，不斷優(yōu)化其決策過程，從而更靈活的適應(yīng)復(fù)雜工藝環(huán)境，提高調(diào)度質(zhì)量。
12、可選的，所述環(huán)境狀態(tài)表示模塊用于描述在每個時間步的全局狀態(tài)；所述全局狀態(tài)包括工序局部狀態(tài)和機(jī)器局部狀態(tài)；
13、所述工序局部狀態(tài)由析取圖表示；所述機(jī)器局部狀態(tài)由所有機(jī)器在每個時間步的狀態(tài)組成。
14、可選的，所述動作選擇模塊用于：
15、在所述時間步，根據(jù)所述工序選擇動作策略在可加工工序集合中進(jìn)行工件工序動作選擇，以獲得工件工序動作；其中，所述可加工工序集合中所有工件工序的前置工序已完成加工；
16、根據(jù)所述機(jī)器選擇動作策略在所述工件工序動作的可加工機(jī)器集合中進(jìn)行機(jī)器動作選擇，以獲得機(jī)器動作。
17、可選的，所述狀態(tài)轉(zhuǎn)移模塊用于：
18、在所述時間步，利用所述智能體執(zhí)行所述工序選擇動作和所述機(jī)器選擇動作；
19、根據(jù)所述工序選擇動作和所述機(jī)器選擇動作添加析取弧，以更新析取圖作為新的工序局部狀態(tài)；
20、更新機(jī)器完成時間和已選工件工序的加工時間，以獲得新的全局狀態(tài)。
21、可選的，所述收益模塊用于根據(jù)收益函數(shù)計算每個時間步的短期收益，以評估調(diào)度質(zhì)量。
22、可選的，所述策略模塊內(nèi)部設(shè)有工件選擇策略和機(jī)器選擇策略；
23、所述工件選擇策略用于根據(jù)工件工序動作空間產(chǎn)生的概率分布選擇工序動作；
24、所述機(jī)器選擇策略用于基于工序動作和機(jī)器動作空間產(chǎn)生的概率分布選擇機(jī)器動作。
25、可選的，所述雙編碼器采用圖同構(gòu)網(wǎng)絡(luò)和全連接網(wǎng)絡(luò)分別對工序局部狀態(tài)和機(jī)器局部狀態(tài)進(jìn)行編碼；所述解碼器用于對每一個時間步進(jìn)行解碼操作，以構(gòu)建生產(chǎn)調(diào)度方案。
26、可選的，所述multi-ppo算法包括一個評價函數(shù)和兩個執(zhí)行函數(shù)；
27、所述評價函數(shù)用于引導(dǎo)兩個所述執(zhí)行函數(shù)進(jìn)行更新；
28、兩個所述執(zhí)行函數(shù)分別學(xué)習(xí)所述工序選擇動作策略和所述機(jī)器選擇動作策略。
29、由以上技術(shù)方案可知，本申請?zhí)峁┮环N基于強(qiáng)化學(xué)習(xí)的加工裝配混合柔性作業(yè)車間調(diào)度方法，所述方法包括：根據(jù)柔性作業(yè)車間和柔性裝配車間的混合調(diào)度實例生成訓(xùn)練集；所述訓(xùn)練集包括工序的前置工序信息、可選機(jī)器信息以及加工/裝配時間信息；基于馬爾可夫決策和所述訓(xùn)練集構(gòu)建強(qiáng)化學(xué)習(xí)模型；所述強(qiáng)化學(xué)習(xí)模型包括智能體、環(huán)境狀態(tài)表示模塊、動作選擇模塊、狀態(tài)轉(zhuǎn)移模塊、收益模塊和策略模塊；通過雙編碼器和解碼器參數(shù)化所述強(qiáng)化學(xué)習(xí)模型中的工序動作選擇策略和機(jī)器動作選擇策略；采用基于近端策略優(yōu)化的multi-ppo深度強(qiáng)化學(xué)習(xí)框架學(xué)習(xí)所述工序選擇動作策略和機(jī)器選擇動作策略，以生成生產(chǎn)調(diào)度方案，解決現(xiàn)有作業(yè)車間調(diào)度方法不能滿足復(fù)雜工藝環(huán)境的問題。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種基于強(qiáng)化學(xué)習(xí)的加工裝配混合柔性作業(yè)車間調(diào)度方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的基于強(qiáng)化學(xué)習(xí)的加工裝配混合柔性作業(yè)車間調(diào)度方法，其特征在于，所述智能體包括工序動作選擇智能體和機(jī)器動作選擇智能體；
3.根據(jù)權(quán)利要求1所述的基于強(qiáng)化學(xué)習(xí)的加工裝配混合柔性作業(yè)車間調(diào)度方法，其特征在于，所述環(huán)境狀態(tài)表示模塊用于描述在每個時間步的全局狀態(tài)；所述全局狀態(tài)包括工序局部狀態(tài)和機(jī)器局部狀態(tài)；
4.根據(jù)權(quán)利要求3所述的基于強(qiáng)化學(xué)習(xí)的加工裝配混合柔性作業(yè)車間調(diào)度方法，其特征在于，所述動作選擇模塊用于：
5.根據(jù)權(quán)利要求4所述的基于強(qiáng)化學(xué)習(xí)的加工裝配混合柔性作業(yè)車間調(diào)度方法，其特征在于，所述狀態(tài)轉(zhuǎn)移模塊用于：
6.根據(jù)權(quán)利要求1所述的基于強(qiáng)化學(xué)習(xí)的加工裝配混合柔性作業(yè)車間調(diào)度方法，其特征在于，
7.根據(jù)權(quán)利要求1所述的基于強(qiáng)化學(xué)習(xí)的加工裝配混合柔性作業(yè)車間調(diào)度方法，其特征在于，所述策略模塊內(nèi)部設(shè)有工件選擇策略和機(jī)器選擇策略；
8.根據(jù)權(quán)利要求1所述的基于強(qiáng)化學(xué)習(xí)的加工裝配混合柔性作業(yè)車間調(diào)度方
9.根據(jù)權(quán)利要求1所述的基于強(qiáng)化學(xué)習(xí)的加工裝配混合柔性作業(yè)車間調(diào)度方法，其特征在于，所述Multi-PPO算法包括一個評價函數(shù)和兩個執(zhí)行函數(shù)；
...【技術(shù)特征摘要】
1.一種基于強(qiáng)化學(xué)習(xí)的加工裝配混合柔性作業(yè)車間調(diào)度方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的基于強(qiáng)化學(xué)習(xí)的加工裝配混合柔性作業(yè)車間調(diào)度方法，其特征在于，所述智能體包括工序動作選擇智能體和機(jī)器動作選擇智能體；
3.根據(jù)權(quán)利要求1所述的基于強(qiáng)化學(xué)習(xí)的加工裝配混合柔性作業(yè)車間調(diào)度方法，其特征在于，所述環(huán)境狀態(tài)表示模塊用于描述在每個時間步的全局狀態(tài)；所述全局狀態(tài)包括工序局部狀態(tài)和機(jī)器局部狀態(tài)；
4.根據(jù)權(quán)利要求3所述的基于強(qiáng)化學(xué)習(xí)的加工裝配混合柔性作業(yè)車間調(diào)度方法，其特征在于，所述動作選擇模塊用于：
5.根據(jù)權(quán)利要求4所述的基于強(qiáng)化學(xué)習(xí)的加工裝配混合柔性作業(yè)車間調(diào)度方法，其特征在于，所述狀態(tài)...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：陶怡，王露，張建奇，范營營，張岐，王曉婷，李坤東，郭萌，
申請(專利權(quán))人：西安航天自動化股份有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。