【技術實現步驟摘要】
本專利技術涉及數據分析，具體而言，涉及一種能夠使用大模型完成大數據分析的方法。
技術介紹
1、隨著信息技術的迅速發展，數據的產生、存儲和處理量呈現出爆炸性的增長。大數據技術因其能夠處理海量數據集并提供有價值的洞察而變得至關重要。企業和研究機構利用大數據分析來發現趨勢、模式和關聯，這對于決策支持、市場分析、客戶關系管理等方面具有顯著的價值。
2、傳統的大數據分析方法依賴于統計和機器學習算法來處理和分析數據。然而，隨著數據量的不斷增大，這些方法在計算資源、處理速度和模型復雜度方面遇到了挑戰。特別是在面對數據混合的大規模數據集時，傳統方法往往難以高效判斷是否可以將所有的數據進行協同性傳輸，降低了數據分析效率。
技術實現思路
1、本專利技術實施例提供一種能夠使用大模型完成大數據分析的方法，用以解決現有技術中無法對海量數據進行高效分析，無法將數據快速地輸入到模型中，導致數據分析效率低的技術問題。
2、為了實現上述目的，本專利技術提供了一種能夠使用大模型完成大數據分析的方法，包括：
3、獲取原始分析數據，并對所述原始分析數據進行數據預處理，得到平滑數據鏈和不規則數據鏈；
4、對所述平滑數據鏈和所述不規則數據鏈進行分析，并基于分析結果判斷是否對所述平滑數據鏈和所述不規則數據鏈生成傳輸關聯標記；
5、當判斷對所述平滑數據鏈和所述不規則數據鏈生成傳輸關聯標記時，將所述平滑數據鏈和所述不規則數據鏈進行連接，得到待傳輸數據鏈；
6、
7、基于所述數據分析大模型對所述待傳輸數據鏈進行數據分析，并將數據分析結果進行展示，其中，數據分析包括數據遞歸，數據增長率，數據過渡率。
8、進一步地，在獲取原始分析數據，并對所述原始分析數據進行數據預處理，得到平滑數據鏈和不規則數據鏈時，包括：
9、基于預先訓練的數據重要度評價模型輸出每一個原始分析數據的重要度值；
10、將所有的重要度值進行部署，并根據預設的曲線擬合方法對所有的重要度值進行曲線擬合，得到平滑的重要度值曲線；
11、判斷是否存在未被擬合的重要度值，若是，則分別計算所有未被擬合的重要度值與所述重要度值曲線的距離；
12、將所有的距離和預設距離進行數值對比，將所有小于或等于所述預設距離的距離與所述重要度值曲線建立關聯標識；
13、將所有大于所述預設距離的距離與所述重要度值曲線建立非關聯標識；
14、根據所述重要度值曲線對應的原始分析數據和所述關聯標識對應的原始分析數據生成所述平滑數據鏈；
15、根據所述非關聯標識對應的原始分析數據生成所述不規則數據鏈。
16、進一步地，在對所述平滑數據鏈和所述不規則數據鏈進行分析，并基于分析結果判斷是否對所述平滑數據鏈和所述不規則數據鏈生成傳輸關聯標記時，包括：
17、基于重要度值大小關系分別對所述平滑數據鏈和所述不規則數據鏈進行排序，并提取所述平滑數據鏈的尾分析數據和所述不規則數據鏈的頭分析數據，且所述尾分析數據的重要度值最小，所述頭分析數據的重要度值最大；
18、確定所述尾分析數據對于所述平滑數據鏈的第一數據價值度；
19、
20、其中，a1為第一數據價值度，n1為平滑數據鏈的原始分析數據數量，a為尾分析數據對應的重要度值，e?i為平滑數據鏈的第i個原始分析數據對應的重要度值，f?i為第i個原始分析數據對應的權重；
21、確定所述頭分析數據對于所述不規則數據鏈的第二數據價值度；
22、
23、其中，a2為第二數據價值度，n2為不規則數據鏈的原始分析數據數量，g為頭分析數據對應的重要度值，hj為不規則數據鏈的第j個原始分析數據對應的重要度值，kj為第j個原始分析數據對應的權重；
24、計算所述第一數據價值度和所述第二數據價值度之間的數據價值度差值；
25、獲取預先設定的預設數據價值度差值，若所述數據價值度差值大于或等于所述預設數據價值度差值，則對所述尾分析數據和所述頭分析數據生成鏈間關聯標識；
26、對所述平滑數據鏈和所述不規則數據鏈的剩余所有原始分析數據進行分析，并基于分析結果生成對應的鏈間關聯標識；
27、統計所有的鏈間關聯標識的標識數量，并根據所述標識數量判斷是否對所述平滑數據鏈和所述不規則數據鏈生成傳輸關聯標記。
28、進一步地，在統計所有的鏈間關聯標識的標識數量，并根據所述標識數量判斷是否對所述平滑數據鏈和所述不規則數據鏈生成傳輸關聯標記時，包括：
29、獲取預先設定的預設標識數量，根據所述標識數量和所述預設標識數量之間的關系判斷是否對所述平滑數據鏈和所述不規則數據鏈生成傳輸關聯標記；
30、當所述標識數量小于所述預設標識數量時，則判斷不對所述平滑數據鏈和所述不規則數據鏈生成傳輸關聯標記；
31、當所述標識數量大于或等于所述預設標識數量時，則判斷對所述平滑數據鏈和所述不規則數據鏈生成傳輸關聯標記。
32、進一步地，在基于所有的數據傳輸偏差值設定所述待傳輸數據鏈的傳輸速度時，包括：
33、從所有的數據傳輸偏差值中提取相同的數據傳輸偏差值，并構建多個數據傳輸偏差值集合；
34、統計數據傳輸偏差值集合的第一集合數量；
35、從所有的數據傳輸偏差值集合中分別提取一個數據傳輸偏差值，并計算第一數據傳輸偏差值和值；
36、獲取預先設定的預設數據傳輸偏差值，剔除所有小于所述預設數據傳輸偏差值的數據傳輸偏差值集合，統計剩余的數據傳輸偏差值集合的第二集合數量；
37、從剩余的數據傳輸偏差值集合中分別提取一個數據傳輸偏差值，并計算第二數據傳輸偏差值和值；
38、根據所述第一集合數量、第二集合數量、第一數據傳輸偏差值和值和第二數據傳輸偏差值和值計算所述待傳輸數據鏈的總體偏差因子；
39、基于所述總體偏差因子設定所述待傳輸數據鏈的傳輸速度。
40、進一步地，在根據所述第一集合數量、第二集合數量、第一數據傳輸偏差值和值和第二數據傳輸偏差值和值計算所述待傳輸數據鏈的總體偏差因子時，包括：
41、根據下式計算所述待傳輸數據鏈的總體偏差因子：
42、
43、其中，r為待傳輸數據鏈的總體偏差因子，s2為第二數據傳輸偏差值和值，s1為第一數據傳輸偏差值和值，w1為第一集合數量，w2為第二集合數量，r為預設數據傳輸偏差值。
44、進一步地，在基于所述總體偏差因子設定所述待傳輸數據鏈的傳輸速度時，包括：
45、設定多個總體偏差因子區間，其中，每個總本文檔來自技高網...
【技術保護點】
1.一種能夠使用大模型完成大數據分析的方法，其特征在于，包括：
2.根據權利要求1所述的能夠使用大模型完成大數據分析的方法，其特征在于，在獲取原始分析數據，并對所述原始分析數據進行數據預處理，得到平滑數據鏈和不規則數據鏈時，包括：
3.根據權利要求2所述的能夠使用大模型完成大數據分析的方法，其特征在于，在對所述平滑數據鏈和所述不規則數據鏈進行分析，并基于分析結果判斷是否對所述平滑數據鏈和所述不規則數據鏈生成傳輸關聯標記時，包括：
4.根據權利要求3所述的能夠使用大模型完成大數據分析的方法，其特征在于，在統計所有的鏈間關聯標識的標識數量，并根據所述標識數量判斷是否對所述平滑數據鏈和所述不規則數據鏈生成傳輸關聯標記時，包括：
5.根據權利要求1所述的能夠使用大模型完成大數據分析的方法，其特征在于，在基于所有的數據傳輸偏差值設定所述待傳輸數據鏈的傳輸速度時，包括：
6.根據權利要求5所述的能夠使用大模型完成大數據分析的方法，其特征在于，在根據所述第一集合數量、第二集合數量、第一數據傳輸偏差值和值和第二數據傳輸偏差值和值計算所述
7.根據權利要求6所述的能夠使用大模型完成大數據分析的方法，其特征在于，在基于所述總體偏差因子設定所述待傳輸數據鏈的傳輸速度時，包括：
8.根據權利要求1所述的能夠使用大模型完成大數據分析的方法，其特征在于，所述數據分析大模型的訓練方法如下：
...【技術特征摘要】
1.一種能夠使用大模型完成大數據分析的方法，其特征在于，包括：
2.根據權利要求1所述的能夠使用大模型完成大數據分析的方法，其特征在于，在獲取原始分析數據，并對所述原始分析數據進行數據預處理，得到平滑數據鏈和不規則數據鏈時，包括：
3.根據權利要求2所述的能夠使用大模型完成大數據分析的方法，其特征在于，在對所述平滑數據鏈和所述不規則數據鏈進行分析，并基于分析結果判斷是否對所述平滑數據鏈和所述不規則數據鏈生成傳輸關聯標記時，包括：
4.根據權利要求3所述的能夠使用大模型完成大數據分析的方法，其特征在于，在統計所有的鏈間關聯標識的標識數量，并根據所述標識數量判斷是否對所述平滑數據鏈和所述不規則數據鏈生成傳輸關聯...
【專利技術屬性】
技術研發人員：邵為濤，張娜，張利東，張志勇，張悅旸，李冬冬，胡敏，
申請(專利權)人：北京中科睿途科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。