【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及gpu數(shù)據(jù)處理處理，具體為基于gpu加速計(jì)量計(jì)算的數(shù)據(jù)處理系統(tǒng)及方法。
技術(shù)介紹
1、數(shù)據(jù)處理系統(tǒng)是指一種用于處理和管理數(shù)據(jù)的軟件或硬件系統(tǒng)，它提供了一種標(biāo)準(zhǔn)化和結(jié)構(gòu)化的方式來管理和使用數(shù)據(jù)，以幫助用戶更好地理解和利用數(shù)據(jù)，數(shù)據(jù)處理系統(tǒng)是指運(yùn)用計(jì)算機(jī)處理信息而構(gòu)成的系統(tǒng)，通過該系統(tǒng)對數(shù)據(jù)信息進(jìn)行加工、整理，計(jì)算得到各種分析指標(biāo)，轉(zhuǎn)變?yōu)橐子诒蝗藗兯邮艿男畔⑿问剑⒖梢詫⑻幚砗蟮男畔⑦M(jìn)行貯存，gpu：系統(tǒng)的核心組件，專門設(shè)計(jì)用于圖形處理和大規(guī)模并行計(jì)算，gpu具有數(shù)千個小型處理器(流處理器)，能夠同時處理大量數(shù)據(jù)和任務(wù)，特別適用于深度學(xué)習(xí)、科學(xué)計(jì)算和圖形渲染等需要高度并行化的工作負(fù)載；cpu：雖然gpu是系統(tǒng)的主要計(jì)算單元，但cpu仍然扮演著重要角色，cpu負(fù)責(zé)執(zhí)行系統(tǒng)的各種控制任務(wù)，如操作系統(tǒng)運(yùn)行、任務(wù)調(diào)度和通信等，同時，cpu和gpu通常會協(xié)同工作，以充分發(fā)揮各自的優(yōu)勢；內(nèi)存與顯存：內(nèi)存用于存儲cpu處理的數(shù)據(jù)和程序，而顯存則專門用于存儲gpu處理的數(shù)據(jù)和程序，高速的顯存可以更快地進(jìn)行數(shù)據(jù)傳輸和計(jì)算，從而進(jìn)一步提高計(jì)算速度，但傳統(tǒng)上，中央處理單元(cpu)負(fù)責(zé)處理計(jì)算機(jī)系統(tǒng)的各種運(yùn)算任務(wù)，cpu的架構(gòu)是有利于x86指令集的串行架構(gòu)，從設(shè)計(jì)思路上更適合盡可能快地完成一個任務(wù)，然而，cpu在處理并行計(jì)算時效率較低，因?yàn)槠浜诵臄?shù)量較少，且由于其架構(gòu)特點(diǎn)，并不適合處理運(yùn)算密度高、多并發(fā)線程和頻繁存儲器訪問的任務(wù)，gpu的任務(wù)是在屏幕上合成顯示數(shù)百萬個像素的圖像，需要同時處理幾百萬個任務(wù)，因此被設(shè)計(jì)成可并行處理很多任務(wù)，從
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)的目的在于提供基于gpu加速計(jì)量計(jì)算的數(shù)據(jù)處理系統(tǒng)及方法，以解決上述
技術(shù)介紹
中提出的現(xiàn)有的基于gpu加速計(jì)量計(jì)算的數(shù)據(jù)處理中對于圖像數(shù)據(jù)的計(jì)算處理仍存在不夠高效的情況，圖像數(shù)據(jù)中容易出現(xiàn)重復(fù)的圖像數(shù)據(jù)，也會出現(xiàn)模糊不清的圖像數(shù)據(jù)，現(xiàn)有的gpu計(jì)算圖像數(shù)據(jù)時不具備對此類型圖像數(shù)據(jù)進(jìn)行預(yù)先處理，容易造成gpu計(jì)算資源的浪費(fèi)，影響計(jì)算出圖像數(shù)據(jù)結(jié)果的效率的問題。
2、為實(shí)現(xiàn)上述目的，本專利技術(shù)提供如下技術(shù)方案：基于gpu加速計(jì)量計(jì)算的數(shù)據(jù)處理系統(tǒng)，包括圖像數(shù)據(jù)采集模塊、數(shù)據(jù)采集端關(guān)聯(lián)模塊、數(shù)據(jù)存儲模塊、數(shù)據(jù)分析模塊、gpu處理模塊、cpu處理模塊、數(shù)據(jù)去重模塊、免處理數(shù)據(jù)加密模塊、數(shù)據(jù)加速計(jì)算模塊、數(shù)據(jù)解密模塊、數(shù)據(jù)預(yù)處理模塊、gpu加速計(jì)算模塊、結(jié)果分析模塊、數(shù)據(jù)處理可視化模塊、性能加速調(diào)節(jié)模塊、人工數(shù)據(jù)變更記錄模塊，所述圖像數(shù)據(jù)采集模塊的輸出端與數(shù)據(jù)采集端關(guān)聯(lián)模塊的輸入端通訊連接，所述數(shù)據(jù)采集端關(guān)聯(lián)模塊與數(shù)據(jù)存儲模塊雙向連接，所述數(shù)據(jù)存儲模塊的輸出端與數(shù)據(jù)分析模塊的輸入端通訊連接，所述數(shù)據(jù)分析模塊與gpu處理模塊雙向連接，所述gpu處理模塊與cpu處理模塊雙向連接，所述cpu處理模塊的輸出端與數(shù)據(jù)去重模塊的輸入端通訊連接，所述數(shù)據(jù)去重模塊的輸出端與免處理數(shù)據(jù)加密模塊的輸入端通訊連接，所述免處理數(shù)據(jù)加密模塊的輸出端與數(shù)據(jù)加速計(jì)算模塊的輸入端通訊連接，所述數(shù)據(jù)加速計(jì)算模塊的輸出端與數(shù)據(jù)解密模塊的輸入端通訊連接，所述數(shù)據(jù)解密模塊的輸出端與數(shù)據(jù)預(yù)處理模塊的輸入端通訊連接，所述數(shù)據(jù)預(yù)處理模塊與gpu加速計(jì)算模塊雙向連接，所述gpu加速計(jì)算模塊的輸出端與結(jié)果分析模塊的輸入端通訊連接，所述結(jié)果分析模塊的輸出端與數(shù)據(jù)處理可視化模塊的輸入端通訊連接，所述數(shù)據(jù)處理可視化模塊與性能加速調(diào)節(jié)模塊雙向連接，所述數(shù)據(jù)處理可視化模塊與人工數(shù)據(jù)變更記錄模塊雙向連接；
3、所述圖像數(shù)據(jù)采集模塊用于對需要處理的圖像數(shù)據(jù)進(jìn)行采集處理；
4、所述數(shù)據(jù)采集端關(guān)聯(lián)模塊用于對外部的各個輸入圖像數(shù)據(jù)的已認(rèn)證設(shè)備進(jìn)行關(guān)聯(lián)處理；
5、所述數(shù)據(jù)存儲模塊用于對數(shù)據(jù)進(jìn)行暫存和管理，對采集的數(shù)據(jù)進(jìn)行隊(duì)列存儲；
6、所述數(shù)據(jù)分析模塊用于對數(shù)據(jù)存儲模塊內(nèi)的圖像數(shù)據(jù)進(jìn)行原始圖數(shù)據(jù)進(jìn)行劃分，并對任務(wù)進(jìn)行分配處理；
7、所述gpu處理模塊用于通過gpu的小型處理器對圖形數(shù)據(jù)進(jìn)行并行計(jì)算處理；
8、所述cpu處理模塊用于對數(shù)據(jù)處理的各種控制任務(wù)進(jìn)行執(zhí)行；
9、所述數(shù)據(jù)去重模塊用于對同批次圖像數(shù)據(jù)中存在相同的重復(fù)數(shù)據(jù)進(jìn)行去除，完成數(shù)據(jù)處理的去重工作；
10、所述免處理數(shù)據(jù)加密模塊用于對加密代碼進(jìn)行設(shè)置，對重復(fù)的免處理圖像數(shù)據(jù)進(jìn)行代碼加密保護(hù)處理；
11、所述數(shù)據(jù)加速計(jì)算模塊用于對圖像數(shù)據(jù)進(jìn)行隔離計(jì)算，對未隔離的圖像數(shù)據(jù)進(jìn)行共享處理，共享后完成同步共享計(jì)算處理；
12、所述數(shù)據(jù)解密模塊用于對代碼加密后的免處理圖像數(shù)據(jù)進(jìn)行解密處理；
13、所述數(shù)據(jù)預(yù)處理模塊用于對圖像數(shù)據(jù)進(jìn)行整合處理，對數(shù)據(jù)冗余進(jìn)行消除處理；
14、所述gpu加速計(jì)算模塊用于對圖像數(shù)據(jù)的計(jì)算進(jìn)行加速處理；
15、所述結(jié)果分析模塊用于對校驗(yàn)機(jī)制進(jìn)行建立，使用校驗(yàn)和、哈希值對數(shù)據(jù)結(jié)果的準(zhǔn)確性進(jìn)行核對，確保數(shù)據(jù)在傳輸和處理過程中沒有發(fā)生錯誤或損壞，對計(jì)算結(jié)果與預(yù)期結(jié)果進(jìn)行比較、使用不同的算法進(jìn)行驗(yàn)證核對處理；
16、所述數(shù)據(jù)處理可視化模塊用于將處理后的數(shù)據(jù)結(jié)果以圖表、圖像、動畫的形式直觀地呈現(xiàn)出來，人員通過圖表、圖像、動畫對算法和參數(shù)設(shè)置進(jìn)行調(diào)整處理；
17、所述性能加速調(diào)節(jié)模塊用于對gpu程序中的內(nèi)存進(jìn)行管理，對gpu的計(jì)算核心進(jìn)行調(diào)整處理；
18、所述人工數(shù)據(jù)變更記錄模塊在人工對gpu計(jì)算數(shù)據(jù)管理變更時進(jìn)行記錄處理。
19、作為優(yōu)選，所述數(shù)據(jù)分析模塊包括數(shù)據(jù)任務(wù)分解單元和動態(tài)任務(wù)分配單元，所述數(shù)據(jù)任務(wù)分解單元的輸出端與動態(tài)任務(wù)分配單元的輸入端通訊連接；
20、所述數(shù)據(jù)任務(wù)分解單元用于對原始圖數(shù)據(jù)進(jìn)行劃分，并將劃分后的數(shù)據(jù)分配到各個gpu設(shè)備中；
21、所述動態(tài)任務(wù)分配單元用于對任務(wù)量的大小進(jìn)行估計(jì)，將任務(wù)分成不同的組，并根據(jù)任務(wù)量分配計(jì)算資源，對任務(wù)量進(jìn)行分配。
22、作為優(yōu)選，所述數(shù)據(jù)去重模塊包括重復(fù)數(shù)據(jù)記錄單元和重復(fù)數(shù)據(jù)免處理單元，所述重復(fù)數(shù)據(jù)記錄單元的輸出端與重復(fù)數(shù)據(jù)免處理單元的輸入端通訊連接；
23、所述重復(fù)數(shù)據(jù)記錄單元用于對當(dāng)前數(shù)據(jù)中存在重復(fù)情況的數(shù)據(jù)進(jìn)行記錄處理；
24、所述重復(fù)數(shù)據(jù)免處理單元用于將記錄的重復(fù)數(shù)據(jù)進(jìn)行免計(jì)算處理操作。
25、作為優(yōu)選，所述數(shù)據(jù)加速計(jì)算模塊包括數(shù)據(jù)處理隔離單元和數(shù)據(jù)處理共享單元，所述數(shù)據(jù)處理隔離單元的輸出端與數(shù)據(jù)處理共享單元的輸入端通訊連接；<本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.基于GPU加速計(jì)量計(jì)算的數(shù)據(jù)處理系統(tǒng)，其特征在于，包括圖像數(shù)據(jù)采集模塊、數(shù)據(jù)采集端關(guān)聯(lián)模塊、數(shù)據(jù)存儲模塊、數(shù)據(jù)分析模塊、GPU處理模塊、CPU處理模塊、數(shù)據(jù)去重模塊、免處理數(shù)據(jù)加密模塊、數(shù)據(jù)加速計(jì)算模塊、數(shù)據(jù)解密模塊、數(shù)據(jù)預(yù)處理模塊、GPU加速計(jì)算模塊、結(jié)果分析模塊、數(shù)據(jù)處理可視化模塊、性能加速調(diào)節(jié)模塊、人工數(shù)據(jù)變更記錄模塊，所述圖像數(shù)據(jù)采集模塊的輸出端與數(shù)據(jù)采集端關(guān)聯(lián)模塊的輸入端通訊連接，所述數(shù)據(jù)采集端關(guān)聯(lián)模塊與數(shù)據(jù)存儲模塊雙向連接，所述數(shù)據(jù)存儲模塊的輸出端與數(shù)據(jù)分析模塊的輸入端通訊連接，所述數(shù)據(jù)分析模塊與GPU處理模塊雙向連接，所述GPU處理模塊與CPU處理模塊雙向連接，所述CPU處理模塊的輸出端與數(shù)據(jù)去重模塊的輸入端通訊連接，所述數(shù)據(jù)去重模塊的輸出端與免處理數(shù)據(jù)加密模塊的輸入端通訊連接，所述免處理數(shù)據(jù)加密模塊的輸出端與數(shù)據(jù)加速計(jì)算模塊的輸入端通訊連接，所述數(shù)據(jù)加速計(jì)算模塊的輸出端與數(shù)據(jù)解密模塊的輸入端通訊連接，所述數(shù)據(jù)解密模塊的輸出端與數(shù)據(jù)預(yù)處理模塊的輸入端通訊連接，所述數(shù)據(jù)預(yù)處理模塊與GPU加速計(jì)算模塊雙向連接，所述GPU加速計(jì)算模塊的輸出端與結(jié)果分析模塊的輸入端通訊
2.根據(jù)權(quán)利要求1所述的基于GPU加速計(jì)量計(jì)算的數(shù)據(jù)處理系統(tǒng)，其特征在于，所述數(shù)據(jù)分析模塊包括數(shù)據(jù)任務(wù)分解單元和動態(tài)任務(wù)分配單元，所述數(shù)據(jù)任務(wù)分解單元的輸出端與動態(tài)任務(wù)分配單元的輸入端通訊連接；
3.根據(jù)權(quán)利要求2所述的基于GPU加速計(jì)量計(jì)算的數(shù)據(jù)處理系統(tǒng)，其特征在于，所述數(shù)據(jù)去重模塊包括重復(fù)數(shù)據(jù)記錄單元和重復(fù)數(shù)據(jù)免處理單元，所述重復(fù)數(shù)據(jù)記錄單元的輸出端與重復(fù)數(shù)據(jù)免處理單元的輸入端通訊連接；
4.根據(jù)權(quán)利要求3所述的基于GPU加速計(jì)量計(jì)算的數(shù)據(jù)處理系統(tǒng)，其特征在于，所述數(shù)據(jù)加速計(jì)算模塊包括數(shù)據(jù)處理隔離單元和數(shù)據(jù)處理共享單元，所述數(shù)據(jù)處理隔離單元的輸出端與數(shù)據(jù)處理共享單元的輸入端通訊連接；
5.根據(jù)權(quán)利要求4所述的基于GPU加速計(jì)量計(jì)算的數(shù)據(jù)處理系統(tǒng)，其特征在于，所述數(shù)據(jù)解密模塊包括數(shù)據(jù)加密解密單元和數(shù)據(jù)解密單元，所述數(shù)據(jù)加密解密單元與數(shù)據(jù)解密單元雙向連接；
6.根據(jù)權(quán)利要求5所述的基于GPU加速計(jì)量計(jì)算的數(shù)據(jù)處理系統(tǒng)，其特征在于，所述數(shù)據(jù)預(yù)處理模塊包括圖像數(shù)據(jù)清洗單元、圖像數(shù)據(jù)整合單元和圖像數(shù)據(jù)冗余消除單元，所述圖像數(shù)據(jù)清洗單元與圖像數(shù)據(jù)整合單元雙向連接，所述圖像數(shù)據(jù)整合單元與圖像數(shù)據(jù)冗余消除單元雙向連接；
7.根據(jù)權(quán)利要求6所述的基于GPU加速計(jì)量計(jì)算的數(shù)據(jù)處理系統(tǒng)，其特征在于，所述GPU加速計(jì)算模塊包括深度學(xué)習(xí)單元、數(shù)據(jù)計(jì)算單元、矩陣算法單元、卷積運(yùn)算單元；
8.根據(jù)權(quán)利要求7所述的基于GPU加速計(jì)量計(jì)算的數(shù)據(jù)處理系統(tǒng)，其特征在于，所述人工數(shù)據(jù)變更記錄模塊包括處理日志單元、人工數(shù)據(jù)處理單元、信息驗(yàn)證單元、數(shù)據(jù)備份恢復(fù)單元，所述處理日志單元與人工數(shù)據(jù)處理單元雙向連接，所述人工數(shù)據(jù)處理單元與信息驗(yàn)證單元雙向連接；
9.根據(jù)權(quán)利要求8所述的基于GPU加速計(jì)量計(jì)算的數(shù)據(jù)處理系統(tǒng)，其特征在于，所述人工數(shù)據(jù)變更記錄模塊雙向連接有數(shù)據(jù)備份恢復(fù)模塊，所述數(shù)據(jù)備份恢復(fù)模塊用于對圖像數(shù)據(jù)處理前的原始數(shù)據(jù)進(jìn)行記錄備份，在存在圖像數(shù)據(jù)惡意的情況時進(jìn)行備份恢復(fù)處理。
10.基于GPU加速計(jì)量計(jì)算的數(shù)據(jù)處理方法，其特征在于，包括以下步驟：
...【技術(shù)特征摘要】
1.基于gpu加速計(jì)量計(jì)算的數(shù)據(jù)處理系統(tǒng)，其特征在于，包括圖像數(shù)據(jù)采集模塊、數(shù)據(jù)采集端關(guān)聯(lián)模塊、數(shù)據(jù)存儲模塊、數(shù)據(jù)分析模塊、gpu處理模塊、cpu處理模塊、數(shù)據(jù)去重模塊、免處理數(shù)據(jù)加密模塊、數(shù)據(jù)加速計(jì)算模塊、數(shù)據(jù)解密模塊、數(shù)據(jù)預(yù)處理模塊、gpu加速計(jì)算模塊、結(jié)果分析模塊、數(shù)據(jù)處理可視化模塊、性能加速調(diào)節(jié)模塊、人工數(shù)據(jù)變更記錄模塊，所述圖像數(shù)據(jù)采集模塊的輸出端與數(shù)據(jù)采集端關(guān)聯(lián)模塊的輸入端通訊連接，所述數(shù)據(jù)采集端關(guān)聯(lián)模塊與數(shù)據(jù)存儲模塊雙向連接，所述數(shù)據(jù)存儲模塊的輸出端與數(shù)據(jù)分析模塊的輸入端通訊連接，所述數(shù)據(jù)分析模塊與gpu處理模塊雙向連接，所述gpu處理模塊與cpu處理模塊雙向連接，所述cpu處理模塊的輸出端與數(shù)據(jù)去重模塊的輸入端通訊連接，所述數(shù)據(jù)去重模塊的輸出端與免處理數(shù)據(jù)加密模塊的輸入端通訊連接，所述免處理數(shù)據(jù)加密模塊的輸出端與數(shù)據(jù)加速計(jì)算模塊的輸入端通訊連接，所述數(shù)據(jù)加速計(jì)算模塊的輸出端與數(shù)據(jù)解密模塊的輸入端通訊連接，所述數(shù)據(jù)解密模塊的輸出端與數(shù)據(jù)預(yù)處理模塊的輸入端通訊連接，所述數(shù)據(jù)預(yù)處理模塊與gpu加速計(jì)算模塊雙向連接，所述gpu加速計(jì)算模塊的輸出端與結(jié)果分析模塊的輸入端通訊連接，所述結(jié)果分析模塊的輸出端與數(shù)據(jù)處理可視化模塊的輸入端通訊連接，所述數(shù)據(jù)處理可視化模塊與性能加速調(diào)節(jié)模塊雙向連接，所述數(shù)據(jù)處理可視化模塊與人工數(shù)據(jù)變更記錄模塊雙向連接；
2.根據(jù)權(quán)利要求1所述的基于gpu加速計(jì)量計(jì)算的數(shù)據(jù)處理系統(tǒng)，其特征在于，所述數(shù)據(jù)分析模塊包括數(shù)據(jù)任務(wù)分解單元和動態(tài)任務(wù)分配單元，所述數(shù)據(jù)任務(wù)分解單元的輸出端與動態(tài)任務(wù)分配單元的輸入端通訊連接；
3.根據(jù)權(quán)利要求2所述的基于gpu加速計(jì)量計(jì)算的數(shù)據(jù)處理系統(tǒng)，其特征在于，所述數(shù)據(jù)去重模塊包括重復(fù)數(shù)據(jù)記錄單元和重復(fù)數(shù)據(jù)免...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：張琦，鐘志鋒，韓鈴，鄒賢，
申請(專利權(quán))人：招商信諾人壽保險有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。