【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請(qǐng)涉及大數(shù)據(jù)領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。
技術(shù)介紹
1、在全球化的金融環(huán)境中，銀行交易系統(tǒng)正面臨著日益復(fù)雜的交易場(chǎng)景和多樣化的客戶需求。隨著國(guó)際市場(chǎng)的開放和跨境金融活動(dòng)的增加，交易系統(tǒng)不僅需要處理大量的交易數(shù)據(jù)，還需應(yīng)對(duì)不同地區(qū)的監(jiān)管要求。這種復(fù)雜性使得銀行在交易過程中的風(fēng)險(xiǎn)防控和客戶服務(wù)方面面臨巨大挑戰(zhàn)。
2、相關(guān)技術(shù)中，銀行系統(tǒng)在處理交易數(shù)據(jù)的風(fēng)險(xiǎn)防控和個(gè)性化推送服務(wù)時(shí)，通過對(duì)接不同的外部系統(tǒng)分別進(jìn)行風(fēng)險(xiǎn)防控和個(gè)性化推送，例如在風(fēng)險(xiǎn)防控過程中，通過特定的接口將交易信息發(fā)送至特定處理系統(tǒng)進(jìn)行處理，處理系統(tǒng)對(duì)交易進(jìn)行簡(jiǎn)單的名單檢索后反饋交易系統(tǒng)；或者在交易完成后利用處理系統(tǒng)對(duì)交易數(shù)據(jù)的分析與處理，進(jìn)行事后的風(fēng)險(xiǎn)分析，數(shù)據(jù)處理不及時(shí)，上述風(fēng)險(xiǎn)處理方式往往難以實(shí)時(shí)處理和分析海量數(shù)據(jù)，導(dǎo)致風(fēng)險(xiǎn)識(shí)別和響應(yīng)的滯后，難以保障交易安全。此外，目前的個(gè)性化推送服務(wù)弊端如是。
技術(shù)實(shí)現(xiàn)思路
1、本申請(qǐng)實(shí)施例提供數(shù)據(jù)處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，以至少解決上述技術(shù)問題之一。
2、根據(jù)本申請(qǐng)的第一方面，提供一種數(shù)據(jù)處理方法，包括：
3、在監(jiān)測(cè)到用戶終端向交易系統(tǒng)發(fā)起交易數(shù)據(jù)后，將所述交易數(shù)據(jù)輸入至預(yù)訓(xùn)練的數(shù)據(jù)處理模型中，所述數(shù)據(jù)處理模型是基于歷史交易數(shù)據(jù)訓(xùn)練得到的多任務(wù)模型，包括用于預(yù)測(cè)交易風(fēng)險(xiǎn)的風(fēng)險(xiǎn)防控任務(wù)，以及用于的預(yù)測(cè)用戶偏好的定向投放任務(wù)；
4、基于所述數(shù)據(jù)處理模型中的所述風(fēng)險(xiǎn)防控任務(wù)和所述定向投放任務(wù)，同時(shí)
5、根據(jù)所述風(fēng)險(xiǎn)防控?cái)?shù)據(jù)和所述定向投放數(shù)據(jù)中的至少之一，生成推送數(shù)據(jù)，并將所述推送數(shù)據(jù)傳輸至所述用戶終端。
6、在一種可能的實(shí)施方式中，所述方法還包括：
7、從所述交易系統(tǒng)中獲取歷史交易數(shù)據(jù)；
8、對(duì)所述歷史交易數(shù)據(jù)進(jìn)行預(yù)處理，得到訓(xùn)練數(shù)據(jù)集；
9、基于所述訓(xùn)練數(shù)據(jù)集提取用于初始數(shù)據(jù)處理模型中風(fēng)險(xiǎn)防控任務(wù)和定向投放任務(wù)的共享特征，所述共享特征包括如下中的至少之一：交易頻率、交易金額、地理位置、設(shè)備信息和歷史行為模式；
10、基于所述共享特征訓(xùn)練初始機(jī)器學(xué)習(xí)模型，得到所述數(shù)據(jù)處理模型；其中，所述初始機(jī)器學(xué)習(xí)模型包括如下中的至少之一：邏輯回歸、k近鄰、支持向量機(jī)和決策樹。
11、在一種可能的實(shí)施方式中，所述對(duì)所述歷史交易數(shù)據(jù)進(jìn)行預(yù)處理，得到訓(xùn)練數(shù)據(jù)集，包括：
12、基于python語(yǔ)言，對(duì)所述歷史交易數(shù)據(jù)進(jìn)行預(yù)處理，以過濾出所述歷史交易數(shù)據(jù)中的無(wú)效數(shù)據(jù)，得到清洗數(shù)據(jù)；
13、將所述清洗數(shù)據(jù)進(jìn)行數(shù)據(jù)結(jié)構(gòu)化處理，得到結(jié)構(gòu)化數(shù)據(jù)；
14、基于所述結(jié)構(gòu)化數(shù)據(jù)，確定所述歷史交易數(shù)據(jù)中的各數(shù)據(jù)類型，并針對(duì)每個(gè)數(shù)據(jù)類型的數(shù)據(jù)繪制對(duì)應(yīng)的箱線圖；
15、基于所述箱線圖確定異常值范圍，并基于所述異常值范圍查找對(duì)應(yīng)的異常值，并對(duì)所述異常值進(jìn)行平滑處理或者剔除，得到異常處理數(shù)據(jù)；
16、基于所述異常處理數(shù)據(jù)，得到所述訓(xùn)練數(shù)據(jù)。
17、在一種可能的實(shí)施方式中，在對(duì)所述歷史交易數(shù)據(jù)進(jìn)行預(yù)處理后，還包括：
18、將經(jīng)過預(yù)處理的歷史交易數(shù)據(jù)劃分為所述訓(xùn)練數(shù)據(jù)集和驗(yàn)證數(shù)據(jù)集；
19、所述基于所述共享特征訓(xùn)練初始數(shù)據(jù)處理模型，得到所述數(shù)據(jù)處理模型，包括：
20、基于所述共享特征訓(xùn)練初始數(shù)據(jù)處理模型，得到數(shù)據(jù)處理中間模型；
21、基于所述驗(yàn)證數(shù)據(jù)集驗(yàn)證所述數(shù)據(jù)處理中間模型的學(xué)習(xí)曲率是否符合預(yù)期收斂能力，在符合預(yù)期收斂能力時(shí)，得到所述數(shù)據(jù)處理模型。
22、在一種可能的實(shí)施方式中，在基于所述數(shù)據(jù)處理模型中的所述風(fēng)險(xiǎn)防控任務(wù)和所述定向投放任務(wù)，同時(shí)對(duì)所述交易數(shù)據(jù)進(jìn)行處理之前，還包括：
23、基于所述數(shù)據(jù)處理模型中的特征提取模塊，提取所述交易數(shù)據(jù)中的共享特征；
24、所述基于所述數(shù)據(jù)處理模型中的所述風(fēng)險(xiǎn)防控任務(wù)和所述定向投放任務(wù)，同時(shí)對(duì)所述交易數(shù)據(jù)進(jìn)行處理，包括：
25、基于所述數(shù)據(jù)處理模型中的所述風(fēng)險(xiǎn)防控任務(wù)和所述定向投放任務(wù)，同時(shí)對(duì)所述共享特征進(jìn)行處理。
26、在一種可能的實(shí)施方式中，所述根據(jù)所述風(fēng)險(xiǎn)防控?cái)?shù)據(jù)和所述定向投放數(shù)據(jù)中的至少之一，生成推送數(shù)據(jù)，包括如下中的至少之一：
27、響應(yīng)于所述用戶終端發(fā)起的風(fēng)險(xiǎn)防控監(jiān)測(cè)指示消息，根據(jù)所述風(fēng)險(xiǎn)防控?cái)?shù)據(jù)，生成推送數(shù)據(jù)；
28、響應(yīng)于所述用戶終端發(fā)起的定向推送指示消息，根據(jù)所述定向投放數(shù)據(jù)，生成推送數(shù)據(jù)；
29、響應(yīng)于所述用戶終端發(fā)起的風(fēng)險(xiǎn)防控監(jiān)測(cè)指示消息和定向推送指示消息，根據(jù)所述風(fēng)險(xiǎn)防控?cái)?shù)據(jù)和所述定向投放數(shù)據(jù)，生成推送數(shù)據(jù)。
30、在一種可能的實(shí)施方式中，所述方法應(yīng)用于定向投放工具，所述定向投放工具通過應(yīng)用程序編程接口api集成在所述交易系統(tǒng)中。
31、根據(jù)本申請(qǐng)的第二方面，提供一種數(shù)據(jù)處理裝置，包括：
32、模型輸入模塊，用于在監(jiān)測(cè)到用戶終端向交易系統(tǒng)發(fā)起交易數(shù)據(jù)后，將所述交易數(shù)據(jù)輸入至預(yù)訓(xùn)練的數(shù)據(jù)處理模型中，所述數(shù)據(jù)處理模型是基于歷史交易數(shù)據(jù)訓(xùn)練得到的多任務(wù)模型，包括用于預(yù)測(cè)交易風(fēng)險(xiǎn)的風(fēng)險(xiǎn)防控任務(wù)，以及用于的預(yù)測(cè)用戶偏好的定向投放任務(wù)；
33、模型處理模塊，用于基于所述數(shù)據(jù)處理模型中的所述風(fēng)險(xiǎn)防控任務(wù)和所述定向投放任務(wù)，同時(shí)對(duì)所述交易數(shù)據(jù)進(jìn)行處理，得到風(fēng)險(xiǎn)防控?cái)?shù)據(jù)和定向投放數(shù)據(jù)；
34、數(shù)據(jù)推送模塊，用于根據(jù)所述風(fēng)險(xiǎn)防控?cái)?shù)據(jù)和所述定向投放數(shù)據(jù)，生成推送數(shù)據(jù)，并將所述推送數(shù)據(jù)傳輸至所述用戶終端。
35、在一種可能的實(shí)施方式中，所述裝置還包括：
36、數(shù)據(jù)獲取模塊，用于從所述交易系統(tǒng)中獲取歷史交易數(shù)據(jù)；
37、預(yù)處理模塊，用于對(duì)所述歷史交易數(shù)據(jù)進(jìn)行預(yù)處理，得到訓(xùn)練數(shù)據(jù)集；
38、第一特征提取模塊，用于基于所述訓(xùn)練數(shù)據(jù)集提取用于初始數(shù)據(jù)處理模型中風(fēng)險(xiǎn)防控任務(wù)和定向投放任務(wù)的共享特征，所述共享特征包括如下中的至少之一：交易頻率、交易金額、地理位置、設(shè)備信息和歷史行為模式；
39、訓(xùn)練模塊，用于基于所述共享特征訓(xùn)練初始機(jī)器學(xué)習(xí)模型，得到所述數(shù)據(jù)處理模型；其中，所述初始機(jī)器學(xué)習(xí)模型包括如下中的至少之一：邏輯回歸、k近鄰、支持向量機(jī)和決策樹。
40、在一種可能的實(shí)施方式中，所述預(yù)處理模塊，包括：
41、清洗單元，用于基于python語(yǔ)言，對(duì)所述歷史交易數(shù)據(jù)進(jìn)行預(yù)處理，以過濾出所述歷史交易數(shù)據(jù)中的無(wú)效數(shù)據(jù)，得到清洗數(shù)據(jù)；
42、結(jié)構(gòu)化單元，用于將所述清洗數(shù)據(jù)進(jìn)行數(shù)據(jù)結(jié)構(gòu)化處理，得到結(jié)構(gòu)化數(shù)據(jù)；
43、箱線圖繪制單元，用于基于所述結(jié)構(gòu)化數(shù)據(jù)，確定所述歷史交易數(shù)據(jù)中的各數(shù)據(jù)類型，并針對(duì)每個(gè)數(shù)據(jù)類型的數(shù)據(jù)繪制對(duì)應(yīng)的箱線圖；
44、異常處理單元，用于基于所述箱線圖確定異常值范圍，并基于所述異常值范圍查找對(duì)應(yīng)的異常值，并對(duì)所本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種數(shù)據(jù)處理方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述對(duì)所述歷史交易數(shù)據(jù)進(jìn)行預(yù)處理，得到訓(xùn)練數(shù)據(jù)集，包括：
4.根據(jù)權(quán)利要求2或3所述的方法，其特征在于，在對(duì)所述歷史交易數(shù)據(jù)進(jìn)行預(yù)處理后，還包括：
5.根據(jù)權(quán)利要求2-4任一項(xiàng)所述的方法，其特征在于，在基于所述數(shù)據(jù)處理模型中的所述風(fēng)險(xiǎn)防控任務(wù)和所述定向投放任務(wù)，同時(shí)對(duì)所述交易數(shù)據(jù)進(jìn)行處理之前，還包括：
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述風(fēng)險(xiǎn)防控?cái)?shù)據(jù)和所述定向投放數(shù)據(jù)中的至少之一，生成推送數(shù)據(jù)，包括如下中的至少之一：
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法應(yīng)用于定向投放工具，所述定向投放工具通過應(yīng)用程序編程接口API集成在所述交易系統(tǒng)中。
8.一種數(shù)據(jù)處理裝置，其特征在于，包括：
9.一種電子設(shè)備，其特征在于，包括：存儲(chǔ)器，處理器；
10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)
...【技術(shù)特征摘要】
1.一種數(shù)據(jù)處理方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述對(duì)所述歷史交易數(shù)據(jù)進(jìn)行預(yù)處理，得到訓(xùn)練數(shù)據(jù)集，包括：
4.根據(jù)權(quán)利要求2或3所述的方法，其特征在于，在對(duì)所述歷史交易數(shù)據(jù)進(jìn)行預(yù)處理后，還包括：
5.根據(jù)權(quán)利要求2-4任一項(xiàng)所述的方法，其特征在于，在基于所述數(shù)據(jù)處理模型中的所述風(fēng)險(xiǎn)防控任務(wù)和所述定向投放任務(wù)，同時(shí)對(duì)所述交易數(shù)據(jù)進(jìn)行處理之前，還包括：
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：房立坤，
申請(qǐng)(專利權(quán))人：中國(guó)銀行股份有限公司，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。