System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內的位置。 參數名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技術實現步驟摘要】
本專利技術涉及因果發現數據處理,尤其涉及一種基于蒙特卡洛樹的自適應因果發現方法及設備。
技術介紹
1、因果發現技術是從觀測數據中發現因果關系,目前進行因果發現的技術主要利用一系列統計測試、識別變量的馬爾科夫毯以及信息論度量的方法,每一種因果發現方法所能處理的數據類型存在著很大的局限性。高維、非線性數據的因果關系難以識別,時間序列和動態數據的因果推斷復雜性較高,而多變量交互和混雜因素則進一步增加了因果推斷的難度。這些因素使得因果發現技術的準確性和適用性受到限制。
2、基于分數和基于約束的因果發現方法在復雜觀測數據集(如高維、非線性、有噪聲的數據)上存在局限性。基于分數的方法依賴特定的模型假設,計算復雜度高,并且對噪聲與未觀測混雜因素敏感;而基于約束的方法則受制于條件獨立性檢驗在小樣本和復雜數據上的準確性,計算量隨變量數增加呈指數增長,并難以處理循環因果關系和未觀測混雜因素。這些方法的局限性使其在復雜數據場景中難以準確推斷因果結構。
技術實現思路
1、有鑒于此,本專利技術提供一種基于蒙特卡洛樹的自適應因果發現的方法及設備,利用約束縮小可能圖的搜索空間,再通過評分選擇出最佳的因果結構,從而提升因果發現的準確率。
2、本專利技術實施例解決其技術問題所采用的技術方案是:
3、一種基于蒙特卡洛樹的自適應因果發現的方法,包括:
4、一種基于蒙特卡洛樹的自適應因果發現方法,包括:
5、步驟s1,獲取已經預處理后的觀測數據集d={dm}和統
6、步驟s2,訓練代理模型fb:構建所述因果發現算法集合a及梯度提升樹模型,利用訓練集dtrain及路徑組合{xn}訓練所述梯度提升樹模型,得到代理模型fb;
7、步驟s3,建立蒙特卡洛樹,從所述因果發現算法集合a中選定根節點后,利用所述代理模型fb預測待擴展路徑的性能評分,根據路徑擴展到節點的性能預期和探索獎勵選定子節點,逐層擴展至葉子節點;
8、步驟s4,運行蒙特卡洛樹,根據每個節點得出的因果圖中的所有因果關系使用投票選舉的方式,得出最終的因果圖g*、以及利用所述代理模型fb預測g*所對應產生結果的路徑的性能評分;
9、步驟s5,計算出完整算法路徑中各節點的探索獎勵和性能預期,將所述探索獎勵和所述性能預期從葉節點沿路徑向上回傳至根節點;
10、步驟s6,基于蒙特卡洛樹搜索過的所有路徑,更新所述代理模型fb;
11、步驟s7,利用所述蒙特卡洛樹以及所述代理模型fb處理因果發現任務,選擇出性能評分最高的因果發現算法路徑,利用路徑中各節點組成的因果算法組合探究所述因果發現任務。
12、較優地,所述步驟s1之前,還對觀測數據集d進行預處理,預處理過程包括:
13、步驟s11,檢測各元素集合dm中的空值與異常值,刪除空值所在行以及異常值所在行;
14、步驟s11,若元素集合dm中各元素表現為連續型,則定義所述元素集合dm的類型為continuous;
15、步驟s12,若元素集合dm中各元素表現為離散型,則定義所述元素集合dm的類型為discrete。
16、較優地,所述步驟s2包括:
17、步驟s21,構建所述因果發現算法集合a,并按照因果發現算法所能處理的觀測數據類型對集合a進行劃分,得到算法集合ai,i∈{continuous,discrete},其中,算法集合acontinuous表示用于處理連續型數據集合的因果發現算法集合,算法集合adiscrete表示用于處理離散型數據集合的因果發現算法集合;
18、步驟s22,根據集合類型劃分所述訓練集dtrain,得到兩個訓練集dtrain-i,i∈{continuous,discrete};
19、步驟s23,建立所述梯度提升樹模型并進行訓練后得到所述代理模型fb,實施步驟包括:
20、步驟s231,在訓練初始階段生成一組隨機的路徑組合{xn},n∈[1,n],在訓練數據集dtrain-i中對每個路徑運行集合ai中的因果發現算法aij,生成因果圖并計算性能評分f(xn):
21、f(xn)=w1·shd(xn)+w2·auprc(xn)+w3·tpr(xn)-w4·fdr(xn)
22、式中,w1、w2、w3、w4為權重,shd(xn)表示路徑xn的結構漢明距離,auprc(xn)表示路徑xn的精度召回率,tpr(xn)表示路徑xn的真正例率,fdr(xn)表示路徑xn的錯誤發現率;
23、步驟s232,為每個路徑xn提取出特征其中,包含路徑結構、算法選擇aij以及數據集特征θtrain-i;
24、步驟s233,建立訓練集使用訓練集訓練所述代理模型fb,所述代理模型fb的目標是最小化預測值與真實分數之間的誤差,公式為:
25、
26、其中,當到達最大訓練次數或者loss收斂時,所述代理模型fb訓練結束。
27、較優地,所述步驟s3包括:
28、步驟s31,根據觀測數據集dtrain-i的統計信息集θtrain-i,從集合ai中隨機選擇ai(s0)作為蒙特卡洛樹的初始節點;
29、步驟s32,利用所述代理模型fb預測蒙特卡洛樹中當前路徑s選擇擴展到候選節點a的性能,得到預測的性能評分fb(s.a),a∈ai,計算所述當前路徑s選擇擴展到候選節點a后的預期性能q(s,a):
30、
31、其中,q(s,a)表示當前路徑s選擇擴展到候選節點a后的平均性能預測值,x(s.a)表示從路徑s.a擴展生成的完整路徑集合;x表示從s.a出發生成的一條完整路徑,f(x)表示完整路徑x的性能評分,β表示權重因子;
32、步驟s33,在訓練過程中,每次計算q(s,a)后更新n(s,a)和n(s),其中,n(s,a)表示為當前路徑s擴展到候選節點a的訪問次數,n(s)為當前路徑s的訪問次數;
33、步驟s34,計算并更新路徑s.a的探索獎勵u(s,a):
34、
35、其中,c為控制探索程度的正常數;
36、步驟s35,基于性能預期q(s,a)與探索獎勵u(s,a)構建概率選擇策略π:
37、score(s,a)=q(s,a)+u(s,a)
38、
39、其中,score(s,a)代表選擇候選節點a的選擇分數,∑b∈a(s)exp(score(s,b))表示計算所有在s路徑中所要擴展的a算法得分的指數和,a(s)為候選節點集合;
40、步驟s36,基于alphagoze本文檔來自技高網...
【技術保護點】
1.一種基于蒙特卡洛樹的自適應因果發現方法,其特征在于,包括:
2.如權利要求1所述的基于蒙特卡洛樹的自適應因果發現方法,其特征在于,所述步驟S1之前,還對觀測數據集D進行預處理,預處理過程包括:
3.如權利要求2所述的基于蒙特卡洛樹的自適應因果發現方法,其特征在于,所述步驟S2包括:
4.如權利要求3所述的基于蒙特卡洛樹的自適應因果發現方法,其特征在于,所述步驟S3包括:
5.如權利要求4所述的基于蒙特卡洛樹的自適應因果發現方法,其特征在于,所述步驟S4包括:
6.如權利要求5所述的基于蒙特卡洛樹的自適應因果發現方法,其特征在于,所述步驟S5包括:
7.如權利要求6所述的基于蒙特卡洛樹的自適應因果發現方法,其特征在于,所述步驟S6包括:
8.一種電子設備,包括:至少一個處理器;以及與所述至少一個處理器通信連接的存儲器;其中,所述存儲器存儲有可被所述至少一個處理器執行的指令,所述指令被所述至少一個處理器執行,以使所述至少一個處理器能夠執行權利要求1-7中任一項所述的方法。
9.一種存儲
10.一種計算機程序產品,包括計算機程序,所述計算機程序在被處理器執行時實現根據權利要求1-7中任一項所述的方法。
...【技術特征摘要】
1.一種基于蒙特卡洛樹的自適應因果發現方法,其特征在于,包括:
2.如權利要求1所述的基于蒙特卡洛樹的自適應因果發現方法,其特征在于,所述步驟s1之前,還對觀測數據集d進行預處理,預處理過程包括:
3.如權利要求2所述的基于蒙特卡洛樹的自適應因果發現方法,其特征在于,所述步驟s2包括:
4.如權利要求3所述的基于蒙特卡洛樹的自適應因果發現方法,其特征在于,所述步驟s3包括:
5.如權利要求4所述的基于蒙特卡洛樹的自適應因果發現方法,其特征在于,所述步驟s4包括:
6.如權利要求5所述的基于蒙特卡洛樹的自適應因果發現方法,其特征在于,所述步驟s5包括:
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。