【技術實現步驟摘要】
本公開涉及半導體顯示制造領域和人工智能，更具體地，涉及一種數據分析方法、裝置、電子設備、存儲介質和程序產品。
技術介紹
1、隨著傳感器技術、半導體制造工藝、通信技術的快速發展，大數據與人工智能(artificial?intelligence，ai)技術已經得到了廣泛應用，對社會與民生以及各行各業均產生了較大影響。而對于處理大規模數據集的存儲和計算，一般使用基于hadoop生態系統的數據倉庫系統，該數據倉庫系統包括了分布式文件系統hdfs和數據倉庫查詢工具hive。在hive中，元數據不會自動刷新，導致無法實時查詢尚未添加分區信息的數據。相關技術中的定時刷新方法雖然可以解決這個問題，但需要用戶手動維護和執行，難以實現自動化的分區維護，從而難以獲得實時的查詢數據。
技術實現思路
1、鑒于上述問題，本公開提供了一種數據分析方法、裝置、電子設備、存儲介質和程序產品。
2、根據本公開的一方面，提供了一種數據分析方法，包括：
3、響應于數據查詢請求，利用分區工具解析查詢請求中的查詢語句，得到目標分區表的分區信息，其中，數據查詢請求用于查詢與目標任務對應的目標數據；以及
4、自動更新目標分區表的分區信息，得到更新后的分區信息。
5、根據本公開的實施例，分區工具部署在數據倉庫中。
6、根據本公開的實施例，上述方法還包括：
7、根據更新后的分區信息從分布式文件系統中讀取目標數據。
8、根據本公開的實施例，該方法應用于
9、利用至少一個數據分析模型對與目標數據進行分析，并從至少一個數據分析模型中確定目標分析模型；以及
10、響應于第一用戶根據目標數據完成對目標分析模型的調參操作，利用調參后的目標分析模型對目標數據進行分析，得到與目標任務對應的目標分析結果。
11、根據本公開的實施例，目標任務包括任務類型；
12、利用至少一個數據分析模型對目標數據進行分析，并從至少一個數據分析模型中確定目標分析模型包括：
13、根據任務類型獲取目標產品的目標數據；
14、利用至少一個數據分析模型，對目標數據進行數據分析，得到至少一個分析結果；以及
15、確定至少一個分析結果中的最優分析結果，并確定與最優分析結果對應的數據分析模型為目標分析模型。
16、根據本公開的實施例，上述方法還包括：
17、對目標數據進行標準化處理，得到處理后的目標數據；以及
18、將處理后的目標數據按照預設格式存儲至數據倉庫。
19、根據本公開的實施例，上述方法還包括：
20、對處理后的目標數據進行特征提取，得到特征數據；
21、其中，利用至少一個數據分析模型對目標數據進行數據分析，得到至少一個分析結果包括：
22、利用至少一個數據分析模型對特征數據進行數據分析，得到至少一個分析結果。
23、根據本公開的實施例，查詢語句中包含目標分區表的標識信息；利用分區工具解析查詢請求中的查詢語句，得到目標分區表的分區信息包括：
24、利用分區工具解析查詢語句中的目標分區表的標識信息；
25、根據目標分區表的標識信息確定目標分區表的分區信息。
26、根據本公開的實施例，自動更新目標分區表的分區信息，得到更新后的分區信息包括：
27、根據分區信息和預設分區策略，在確定需要對目標分區表添加分區的情況下，為目標分區表添加新的分區信息，得到更新后的分區信息。
28、根據本公開的實施例，上述方法還包括：
29、在為目標分區表添加分區之前，從緩存中獲取在預設操作周期內已添加分區的分區表信息；
30、在確定已添加分區的分區表信息中不包括目標分區表的標識信息的情況下，為目標分區表添加新的分區信息，得到更新后的分區信息；
31、將目標分區表的標識信息存儲至緩存中。
32、根據本公開的實施例，預設分區策略包括以下至少之一：按照時間的分區策略、按照表名的分區策略、按照查詢條件的分區策略、按照預設配置文件的分區策略。
33、根據本公開的實施例，標準化處理包括以下至少之一：格式轉換、單位轉換、異常值篩選。
34、根據本公開的實施例，根據更新后的分區信息從分布式文件系統中讀取目標數據包括：
35、根據更新后的分區信息得到目標分區表中的分區目錄；
36、根據分區目錄從分布式文件系統中查詢與分區目錄對應的數據，得到目標數據。
37、根據本公開的實施例，上述方法還包括：
38、利用預設開發工具創建工程項目；
39、在工程項目的指定文件中添加數據倉庫的依賴；
40、在指定文件中創建分區工具的工具包，并在工具包中創建實現目標接口的類，利用目標接口的目標方法自動更新分區信息，其中，目標方法在分區工具解析查詢語句完成之后，獲取目標分區表的分區信息之前執行。
41、根據本公開的實施例，上述方法還包括：
42、將工具包生成預設文件格式的工具文件；
43、將工具文件復制到數據倉庫的目標目錄中，并修改數據倉庫的配置文件，完成對分區工具的配置。
44、根據本公開的實施例，上述方法還包括：
45、在數據倉庫中創建測試表，測試表包含當前測試分區；
46、在分布式文件系統中添加測試數據，其中，當前測試分區不包含與測試數據對應的測試分區；
47、執行測試查詢語句，得到查詢數據，其中，查詢語句包含測試表信息；
48、在確定查詢結果中包含與測試數據的情況下，確定測試表的當前分區信息已自動更新。
49、根據本公開的實施例，上述方法還包括：
50、使用圖標形式，可視化顯示目標分析結果。
51、根據本公開的實施例，任務類型包括產品品質分析類型或生產計劃分析類型。
52、根據本公開的實施例，在任務類型為產品品質分析類型的情況下，目標數據包括工藝參數數據、設備配置參數數據、產品的過程狀態參數數據和品質檢測指標數據，其中品質檢測指標數據包括至少一個品質檢查指標；
53、其中，利用調參后的目標分析模型對目標數據進行分析，得到與目標任務對應的目標分析結果包括：
54、針對至少一個品質檢測指標中的每個品質檢測指標，從工藝參數數據、設備配置參數數據、產品的過程狀態參數數據中確定與品質檢測指標相關的數據，得到目標子數據；
55、利用調參后的目標分析模型對目標子數據進行分析，得到與品質檢測指標對應的目標分析子結果；
56、根據目標分析子結果確定目標分析結果。
57、根據本公開的實施例，目標分析子結果表征目標子數據與品質檢測指標之間的相關度。...
【技術保護點】
1.一種數據分析方法，所述方法包括：
2.根據權利要求1所述的方法，其中，所述分區工具部署在數據倉庫中。
3.根據權利要求1所述的方法，還包括：
4.根據權利要求3所述的方法，所述方法應用于數據分析平臺，其中，所述數據分析平臺包括至少一個數據分析模型，所述方法還包括：
5.根據權利要求4所述的方法，其中，所述目標任務包括任務類型；
6.根據權利要求4所述的方法，還包括：
7.根據權利要求6所述的方法，還包括：
8.根據權利要求1所述的方法，其中，所述查詢語句中包含所述目標分區表的標識信息；所述利用分區工具解析所述查詢請求中的查詢語句，得到目標分區表的分區信息包括：
9.根據權利要求1所述的方法，其中，所述自動更新所述目標分區表的分區信息，得到更新后的分區信息包括：
10.根據權利要求9所述的方法，還包括：
11.根據權利要求9或10所述的方法，其中，所述預設分區策略包括以下至少之一：按照時間的分區策略、按照表名的分區策略、按照查詢條件的分區策略、按照預設配置文件
12.根據權利要求6所述的方法，其中，所述標準化處理包括以下至少之一：格式轉換、單位轉換、異常值篩選。
13.根據權利要求3所述的方法，其中，所述根據所述更新后的分區信息從分布式文件系統中讀取所述目標數據包括：
14.根據權利要求1所述的方法，還包括：
15.根據權利要求14所述的方法，還包括：
16.根據權利要求2所述的方法，還包括：
17.根據權利要求4所述的方法，還包括：
18.根據權利要求5所述的方法，其中，所述任務類型包括產品品質分析類型或生產計劃分析類型。
19.根據權利要求18所述的方法，其中，在所述任務類型為所述產品品質分析類型的情況下，所述目標數據包括工藝參數數據、設備配置參數數據、產品的過程狀態參數數據和品質檢測指標數據，其中品質檢測指標數據包括至少一個品質檢查指標；
20.根據權利要求19所述的方法，其中，所述目標分析子結果表征所述目標子數據與所述品質檢測指標之間的相關度。
21.根據權利要求19所述的方法，其中，所述根據所述任務類型獲取所述目標產品的目標數據包括：
22.根據權利要求18所述的方法，其中，在所述任務類型為所述生產計劃分析類型的情況下，所述目標數據包括生產任務數據、設備產能數據和物料數據；
23.根據權利要求22所述的方法，其中，所述根據所述任務類型獲取所述目標產品的目標數據包括：
24.一種數據分析裝置，所述裝置包括：
25.一種電子設備，包括存儲器和處理器，所述存儲器中存儲有所述處理器可執行的指令，所述指令在由所述處理器執行時使所述處理器執行如權利要求1至23中任一項所述的方法。
26.一種存儲有計算機指令的非瞬時計算機可讀存儲介質，其中，所述計算機指令用于使所述計算機執行根據權利要求1至23中任一項所述的方法。
27.一種計算機程序產品，包括計算機程序，所述計算機程序在被處理器執行時實現根據權利要求1至23中任一項所述的方法。
...【技術特征摘要】
1.一種數據分析方法，所述方法包括：
2.根據權利要求1所述的方法，其中，所述分區工具部署在數據倉庫中。
3.根據權利要求1所述的方法，還包括：
4.根據權利要求3所述的方法，所述方法應用于數據分析平臺，其中，所述數據分析平臺包括至少一個數據分析模型，所述方法還包括：
5.根據權利要求4所述的方法，其中，所述目標任務包括任務類型；
6.根據權利要求4所述的方法，還包括：
7.根據權利要求6所述的方法，還包括：
8.根據權利要求1所述的方法，其中，所述查詢語句中包含所述目標分區表的標識信息；所述利用分區工具解析所述查詢請求中的查詢語句，得到目標分區表的分區信息包括：
9.根據權利要求1所述的方法，其中，所述自動更新所述目標分區表的分區信息，得到更新后的分區信息包括：
10.根據權利要求9所述的方法，還包括：
11.根據權利要求9或10所述的方法，其中，所述預設分區策略包括以下至少之一：按照時間的分區策略、按照表名的分區策略、按照查詢條件的分區策略、按照預設配置文件的分區策略。
12.根據權利要求6所述的方法，其中，所述標準化處理包括以下至少之一：格式轉換、單位轉換、異常值篩選。
13.根據權利要求3所述的方法，其中，所述根據所述更新后的分區信息從分布式文件系統中讀取所述目標數據包括：
14.根據權利要求1所述的方法，還包括：
15.根據權利要求14所述的方法，還包括：
16.根據權利要求2所述的方法，...
【專利技術屬性】
技術研發人員：張寧，關蕊，樊林，趙鵬，文晉曉，周希波，楊卓士，褚虓，
申請(專利權)人：京東方科技集團股份有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。