【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)屬于大型數(shù)據(jù)存儲優(yōu)化領(lǐng)域，具體涉及一種基于矩陣關(guān)聯(lián)性降低的數(shù)據(jù)存儲優(yōu)化方法與系統(tǒng)。
技術(shù)介紹
1、矩陣作為數(shù)據(jù)表示和計算的基本工具，不僅常見于統(tǒng)計分析等應(yīng)用數(shù)學(xué)學(xué)科中，在物理、計算機(jī)等領(lǐng)域也有著廣泛的應(yīng)用。通常情況下，計算機(jī)視覺、無線通信、聲吶、相控陣?yán)走_(dá)、射電天文等領(lǐng)域的信號均可用矩陣來呈現(xiàn)，并且在某些維度上存在一定的關(guān)聯(lián)性，因此，在數(shù)學(xué)上可以用矩陣組來表示這樣的情況。
2、隨著互聯(lián)網(wǎng)的普及和智能化設(shè)備的廣泛應(yīng)用，全球數(shù)據(jù)量呈爆炸式增長。據(jù)預(yù)測，未來幾年內(nèi)，全球數(shù)據(jù)將增長數(shù)倍，這種增長給數(shù)據(jù)存儲技術(shù)帶來了巨大壓力。數(shù)據(jù)存儲的硬件成本和運營成本也在不斷上升，企業(yè)需要在保證數(shù)據(jù)存儲需求的同時，控制成本，提高存儲效率。許多研究基于矩陣分解技術(shù)，通過將大矩陣分布到多個節(jié)點上進(jìn)行存儲和并行計算，達(dá)到了存儲和計算效率的提升。在歐美等地區(qū)，特別是在人工智能、數(shù)據(jù)科學(xué)領(lǐng)域，對矩陣運算和存儲優(yōu)化的研究相對成熟，出現(xiàn)了許多高效的算法和框架。國內(nèi)的研究機(jī)構(gòu)和高校在基于矩陣的數(shù)據(jù)存儲優(yōu)化方面，尤其是大數(shù)據(jù)和云計算技術(shù)發(fā)展與應(yīng)用方面的研究逐步增多。
3、使用以往常規(guī)的算法處理將產(chǎn)生成倍的計算量，存儲需求也會增加，這對于處理器件或者算法的實現(xiàn)成本以及功耗提出了非常巨大的挑戰(zhàn)。隨著環(huán)保意識的提高，數(shù)據(jù)存儲的可持續(xù)性發(fā)展也成為了一個重要議題，降低數(shù)據(jù)存儲設(shè)備的能耗，是數(shù)據(jù)存儲技術(shù)發(fā)展的一個重要方向。因此，對矩陣間的關(guān)聯(lián)性進(jìn)行充分挖掘，來最終實現(xiàn)其具有低復(fù)雜度的計算和存儲，具有重要的意義與價值。因此，研究基于矩陣關(guān)聯(lián)性降低計算
技術(shù)實現(xiàn)思路
1、本專利技術(shù)針對現(xiàn)有技術(shù)存在的問題，提供了一種基于矩陣關(guān)聯(lián)性降低的數(shù)據(jù)存儲優(yōu)化方法與系統(tǒng)，通過挖掘矩陣之間的關(guān)聯(lián)性并設(shè)計有效的優(yōu)化算法，可以降低計算復(fù)雜度和存儲需求，提高數(shù)據(jù)處理和存儲的效率和質(zhì)量。
2、為解決以上技術(shù)問題，本專利技術(shù)提供如下技術(shù)方案：一種基于矩陣關(guān)聯(lián)性降低的數(shù)據(jù)存儲優(yōu)化方法，包括以下步驟：
3、s1、針對不同的矩陣類型計算相隔矩陣之間的相關(guān)性系數(shù)，之后根據(jù)相隔矩陣間的相關(guān)系數(shù)剔除不能進(jìn)行插值操作的矩陣，保留能進(jìn)行插值操作的矩陣；
4、s2、基于統(tǒng)計顯著性檢驗的閾值選擇方法確定相關(guān)性系數(shù)閾值，利用相關(guān)性系數(shù)閾值剔除不需要進(jìn)行插值操作的矩陣，保留需要進(jìn)行插值操作的矩陣；
5、s3、針對需要插值的矩陣，分別采用兩矩陣插值法、三矩陣插值法對矩陣進(jìn)行插值操作；
6、s4、通過比較矩陣之間的相關(guān)性系數(shù)以及對應(yīng)的矩陣插值所得矩陣中不符合約束條件個數(shù)，查看矩陣插值法的效果，進(jìn)一步降低計算復(fù)雜度，實現(xiàn)數(shù)據(jù)存儲的最佳優(yōu)化策略。
7、進(jìn)一步地，前述的步驟s1中，矩陣包括實矩陣、復(fù)矩陣；
8、相關(guān)性系數(shù)計算如下式：
9、實矩陣a＝[aij]m×n和實矩陣b＝[bij]m×n之間的相關(guān)性系數(shù)為：
10、
11、其中，m為矩陣行數(shù)，n為矩陣列數(shù)，
12、復(fù)矩陣a＝ar+aii和復(fù)矩陣b＝br+bii(ar,ai,br,bi)之間的相關(guān)性系數(shù)為：
13、
14、當(dāng)相關(guān)性系數(shù)越接近于1時，兩個矩陣的相關(guān)性越強(qiáng)。
15、進(jìn)一步地，前述的步驟s1還包括在計算過程中通過約束條件使所有矩陣的計算復(fù)雜度達(dá)到最低；約束條件為：
16、ρmin(v)≥0.99?????(3)
17、其中，ρmin為最小精度，v為矩陣。
18、進(jìn)一步地，前述的步驟s1中，根據(jù)相隔矩陣間的相關(guān)系數(shù)剔除不能進(jìn)行插值操作的矩陣，保留能進(jìn)行插值操作的矩陣，具體如下：
19、
20、其中，yes表示能插值，no表示不能插值,rs為閾值，該閾值rs用于使?jié)M足約束條件。
21、進(jìn)一步地，前述的步驟s2包括以下子步驟：
22、s2.1、設(shè)置顯著性水平α，表示在零假設(shè)為真時，錯誤地拒絕零假設(shè)的概率；
23、s2.2、對數(shù)據(jù)進(jìn)行統(tǒng)計檢驗：利用t檢驗方法對數(shù)據(jù)進(jìn)行處理，檢查數(shù)據(jù)是否滿足假設(shè)條件，并計算得到相應(yīng)的p值，其中p值表示在零假設(shè)為真時，觀察到當(dāng)前樣本數(shù)據(jù)或極端數(shù)據(jù)出現(xiàn)的概率；
24、s2.3、將步驟s2.2的p值與顯著性水平進(jìn)行比較，如果p＜α，則認(rèn)為結(jié)果具有統(tǒng)計顯著性，如果p≥α，則認(rèn)為結(jié)果不具有統(tǒng)計顯著性，接受零假設(shè)或無法得出結(jié)論；
25、s2.4、確定閾值：閾值由顯著性水平確定，當(dāng)p＜α?xí)r，對應(yīng)的結(jié)果或參數(shù)被認(rèn)為是顯著的，則顯著性水平α對應(yīng)的結(jié)果為閾值。
26、進(jìn)一步地，前述的步驟s3中，兩矩陣插值法具體是：將vj,k-1與vj,k+1做加權(quán)平均從而計算即：
27、
28、其中，0≤α≤1，此插值算法的計算量為nl次加法或減法。
29、進(jìn)一步地，前述的步驟s3中，三矩陣插值法具體是：采用三個矩陣來插值兩個矩陣，即用vj,k，vj,k+2和vj,k+4計算和表示為：
30、
31、其中，為加權(quán)系數(shù)。
32、進(jìn)一步地，前述的一種基于矩陣關(guān)聯(lián)性降低的數(shù)據(jù)存儲優(yōu)化方法，利用拉格朗日插值法的基函數(shù)來確定加權(quán)系數(shù)，令vj,k，vj,k+1，vj,k+2，vj,k+3，vj,k+4對應(yīng)一維的坐標(biāo)為x0＝0，x1＝1，x2＝2，x3＝3，x4＝4，借助于點x0，x2，x4構(gòu)造如下插值基函數(shù)：
33、
34、將x1和x3代入上式得到加權(quán)系數(shù)為：
35、
36、此插值算法的計算量為2nl次加法或減法。
37、本專利技術(shù)另一方面突出一種電子設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機(jī)程序，所述處理器執(zhí)行所述計算機(jī)程序時實現(xiàn)本專利技術(shù)方法中任一項所述方法的步驟。
38、本專利技術(shù)還提供一種計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，其特征在于，所述計算機(jī)程序被處理器執(zhí)行時實現(xiàn)本專利技術(shù)方法中任一項所述方法的步驟。
39、相較于現(xiàn)有技術(shù)，本專利技術(shù)采用以上技術(shù)方案的有益技術(shù)效果如下：
40、(1)通過分析矩陣間的關(guān)聯(lián)性，定義矩陣的相關(guān)系數(shù)，設(shè)置相關(guān)系數(shù)閾值，可以找出不需要插值的矩陣，并選擇合適的算法進(jìn)行求解，進(jìn)一步降低了矩陣計算的復(fù)雜度。
41、(2)基于插值算法提出的優(yōu)化方案，可以選擇更加規(guī)范和科學(xué)的數(shù)據(jù)存儲方式，便于實現(xiàn)平臺存儲資源的管理，為后期存儲選擇提供參考依據(jù)。
42、(3)不同于傳統(tǒng)的優(yōu)化模型，需要對數(shù)據(jù)進(jìn)行逐條計算處理，基于矩陣關(guān)聯(lián)性的數(shù)據(jù)存儲優(yōu)化方法能夠降低計算復(fù)雜度，減少投入成本和系統(tǒng)能耗，有助于實現(xiàn)綠色計算。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點】
1.一種基于矩陣關(guān)聯(lián)性降低的數(shù)據(jù)存儲優(yōu)化方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于矩陣關(guān)聯(lián)性降低的數(shù)據(jù)存儲優(yōu)化方法，其特征在于，步驟S1中，矩陣包括實矩陣、復(fù)矩陣；
3.根據(jù)權(quán)利要求1所述的一種基于矩陣關(guān)聯(lián)性降低的數(shù)據(jù)存儲優(yōu)化方法，其特征在于，步驟S1還包括在計算過程中通過約束條件使所有矩陣的計算復(fù)雜度達(dá)到最低；約束條件為：
4.根據(jù)權(quán)利要求1所述的一種基于矩陣關(guān)聯(lián)性降低的數(shù)據(jù)存儲優(yōu)化方法，其特征在于，步驟S1中，根據(jù)相隔矩陣間的相關(guān)系數(shù)剔除不能進(jìn)行插值操作的矩陣，保留能進(jìn)行插值操作的矩陣，具體如下：
5.根據(jù)權(quán)利要求1所述的一種基于矩陣關(guān)聯(lián)性降低的數(shù)據(jù)存儲優(yōu)化方法，其特征在于，步驟S2包括以下子步驟：
6.根據(jù)權(quán)利要求4所述的一種基于矩陣關(guān)聯(lián)性降低的數(shù)據(jù)存儲優(yōu)化方法，其特征在于，步驟S3中，兩矩陣插值法具體是：將Vj,k-1與Vj,k+1做加權(quán)平均從而計算即：
7.根據(jù)權(quán)利要求4所述的一種基于矩陣關(guān)聯(lián)性降低的數(shù)據(jù)存儲優(yōu)化方法，其特征在于，步驟S3中，三矩陣插值法具體是：采用三個矩陣來
8.根據(jù)權(quán)利要求7所述的一種基于矩陣關(guān)聯(lián)性降低的數(shù)據(jù)存儲優(yōu)化方法，其特征在于，利用拉格朗日插值法的基函數(shù)來確定加權(quán)系數(shù)，令Vj,k，Vj,k+1，Vj,k+2，Vj,k+3，Vj,k+4對應(yīng)一維的坐標(biāo)為x0＝0，x1＝1，x2＝2，x3＝3，x4＝4，借助于點x0，x2，x4構(gòu)造如下插值基函數(shù)：
9.一種電子設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計算機(jī)程序時實現(xiàn)權(quán)利要求1至8中任一項所述方法的步驟。
10.一種計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，其特征在于，所述計算機(jī)程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1至8中任一項所述方法的步驟。
...【技術(shù)特征摘要】
1.一種基于矩陣關(guān)聯(lián)性降低的數(shù)據(jù)存儲優(yōu)化方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于矩陣關(guān)聯(lián)性降低的數(shù)據(jù)存儲優(yōu)化方法，其特征在于，步驟s1中，矩陣包括實矩陣、復(fù)矩陣；
3.根據(jù)權(quán)利要求1所述的一種基于矩陣關(guān)聯(lián)性降低的數(shù)據(jù)存儲優(yōu)化方法，其特征在于，步驟s1還包括在計算過程中通過約束條件使所有矩陣的計算復(fù)雜度達(dá)到最低；約束條件為：
4.根據(jù)權(quán)利要求1所述的一種基于矩陣關(guān)聯(lián)性降低的數(shù)據(jù)存儲優(yōu)化方法，其特征在于，步驟s1中，根據(jù)相隔矩陣間的相關(guān)系數(shù)剔除不能進(jìn)行插值操作的矩陣，保留能進(jìn)行插值操作的矩陣，具體如下：
5.根據(jù)權(quán)利要求1所述的一種基于矩陣關(guān)聯(lián)性降低的數(shù)據(jù)存儲優(yōu)化方法，其特征在于，步驟s2包括以下子步驟：
6.根據(jù)權(quán)利要求4所述的一種基于矩陣關(guān)聯(lián)性降低的數(shù)據(jù)存儲優(yōu)化方法，其特征在于，步驟s3中，兩矩陣插值法具體是：將vj,k-1與vj,k+1做加權(quán)平均從而計算...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：宋金晨，楊水淮，馬楠，侯蘇校，李嘉欣，余躍，孫林林，
申請(專利權(quán))人：南通大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。