【技術實現步驟摘要】
本專利技術涉及權限控制，尤其涉及一種基于hivemetastore的權限控制方法。
技術介紹
1、現有技術中，hive是基于hadoop的一個數據倉庫工具，用來進行數據提取、轉化、加載，這是一種可以查詢、分析、存儲在hadoop中的大規模數據的機制。hivemetastore和hiveserver2是hive中兩個不同的組件，它們在hive的體系結構中扮演著不同的角色，但它們之間有一定的關系。hivemetastore是hive的元數據存儲和管理組件。hivemetastore負責管理hive中的表、分區、列的屬性等元數據信息。h?iveserver2是hive的服務接口，用于提供遠程客戶端對hive的訪問。允許客戶端使用不同的編程語言(如java、python)通過thrift接口與hive進行通信。此外還有兩種客戶端h?ive-c?l?i與bee?l?ine。hive-c?l?i是通過metastore訪問元數據的，beeline將sql提交給hiveserver2，由hiveserver2編譯，然后訪問metastore，提交作業。
2、目前針對hive的權限控制技術包括ranger和sentry等都是在hiveserver2端來校驗用戶權限，從而達到權限控制的目的，但是如果用戶使用的h?ive-c?l?i提交作業，這種方式不通過hiveserver2，直接與metastore進行交互，這樣就沒有辦法對用戶的權限進行控制。
3、中國專利公開號：cn111046447a公開了一種權限控制方法和權限控制
技術實現思路
1、為此，本專利技術提供一種基于hivemetastore的權限控制方法，用以克服現有技術中由于在某一時間段需要同步的數據的數據量比較大，導致數據同步發生延遲，導致數據同步不完整，進而導致權限的配置出現錯誤，導致權限通過的數量減少從而造成權限控制的全面性下降的問題。
2、為實現上述目的，本專利技術提供一種基于hivemetastore的權限控制方法，包括以下步驟：將hivemetastore中的元數據信息提交到hiveserver2中以輸出優化數據，將所述優化數據輸入到權限校驗插件中與策略文件進行匹配驗證；當所述匹配驗證通過時將對應的元數據信息返回至輸入端；獲取若干驗證周期內權限驗證的驗證通過次數；基于權限驗證的驗證通過次數的方差對權限控制的全面性進行判定；若判定所述全面性不符合要求，則對權限校驗插件的并發同步連接數量進行調節或執行對策略文件匹配的穩定性的確定過程；若確定所述穩定性不符合要求，則對策略文件的緩存刷新頻率進行調節或基于平均權限驗證時長對權限校驗插件單次批處理的數據量進行初次調節；基于初次調節后的單次批處理的數據量對優化數據進行單個周期的批處理后獲取若干提交周期內hiveserver2的吞吐量；基于hiveserver2的平均吞吐量對權限校驗插件單次批處理的數據量進行二次調節。
3、進一步地，調節所述權限校驗插件的并發同步連接數量的步驟包括：
4、基于權限驗證的驗證通過次數的方差判定權限控制的全面性；
5、若所述權限驗證的驗證通過次數的方差滿足第一方差條件或第二方差條件，則判定權限控制的全面性不符合要求；
6、若所述權限驗證的驗證通過次數的方差僅滿足所述第二方差條件，對權限校驗插件的并發同步連接數量進行增大；
7、其中，所述第一方差條件為，權限驗證的驗證通過次數的方差大于預設第一方差且小于等于預設第二方差；所述第二方差條件為，權限驗證的驗證通過次數的方差大于預設第二方差。
8、進一步地，確定所述策略文件匹配的穩定性的過程包括：所述權限驗證的驗證通過次數的方差僅滿足所述第一方差條件時，初步判定策略文件匹配的穩定性不符合要求，并根據驗證權限的平均通過量對策略文件匹配的穩定性進行二次判定。
9、進一步地，所述權限校驗插件的并發同步連接數量的增大幅度通過權限驗證的驗證通過次數的方差與預設第二方差的差值確定。
10、進一步地，調節所述策略文件的緩存刷新頻率的步驟包括：
11、獲取若干權限校驗周期內驗證權限的通過量，并對驗證權限的平均通過量進行計算；
12、將所述驗證權限的平均通過量分別與預設第一通過量和預設第二通過量進行對比；
13、若所述驗證權限的平均通過量大于所述預設第一通過量，則二次判定策略文件匹配的穩定性不符合要求；
14、若所述驗證權限的平均通過量大于所述預設第一通過量且小于等于預設第二通過量，對策略文件的緩存刷新頻率進行增大；
15、若所述驗證權限的平均通過量大于所述預設第二通過量，初步判定優化數據的存儲有效性不符合要求，并根據平均權限驗證時長對優化數據的存儲有效性進行二次判定；
16、其中，所述策略文件的緩存刷新頻率的增大幅度通過驗證權限的平均通過量與預設第一通過量的差值確定。
17、進一步地，所述驗證權限的平均通過量的計算公式為：
18、
19、其中，z為驗證權限的平均通過量，xa為第a個權限校驗周期內通過權限驗證的用戶的數量，n為權限校驗周期的數量，n為大于等于1的自然數。
20、進一步地，初次調節所述權限校驗插件單次批處理的數據量的步驟包括：
21、基于所述平均權限驗證時長二次判定優化數據的存儲有效性；
22、若所述平均權限驗證時長大于預設驗證時長，則二次判定優化數據的存儲有效性不符合要求，并對權限校驗插件單次批處理的數據量進行減小。
23、進一步地，所述權限校驗插件單次批處理的數據量的減小幅度通過平均權限驗證時長與預設驗證時長的差值確定。
24、進一步地，二次調節所述權限校驗插件單次批處理的數據量的步驟包括：
25、獲取若干提交周期內hiveserver2的吞吐量，并對hiveserver2的平均吞吐量進行計算；
26、將所述hiveserver2的平均吞吐量與預設吞吐量進行對比；
27、若所述hiveserver2的平均吞吐量大于本文檔來自技高網...
【技術保護點】
1.一種基于HiveMetaStore的權限控制方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于HiveMetaStore的權限控制方法，其特征在于，調節所述權限校驗插件的并發同步連接數量的步驟包括：
3.根據權利要求2所述的基于HiveMetaStore的權限控制方法，其特征在于，確定所述策略文件匹配的穩定性的過程包括：所述權限驗證的驗證通過次數的方差僅滿足所述第一方差條件時，初步判定策略文件匹配的穩定性不符合要求，并根據驗證權限的平均通過量對策略文件匹配的穩定性進行二次判定。
4.根據權利要求3所述的基于HiveMetaStore的權限控制方法，其特征在于，所述權限校驗插件的并發同步連接數量的增大幅度通過權限驗證的驗證通過次數的方差與預設第二方差的差值確定。
5.根據權利要求4所述的基于HiveMetaStore的權限控制方法，其特征在于，調節所述策略文件的緩存刷新頻率的步驟包括：
6.根據權利要求5所述的基于HiveMetaStore的權限控制方法，其特征在于，所述驗證權限的平均通過量的計算公式為：<...
【技術特征摘要】
1.一種基于hivemetastore的權限控制方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于hivemetastore的權限控制方法，其特征在于，調節所述權限校驗插件的并發同步連接數量的步驟包括：
3.根據權利要求2所述的基于hivemetastore的權限控制方法，其特征在于，確定所述策略文件匹配的穩定性的過程包括：所述權限驗證的驗證通過次數的方差僅滿足所述第一方差條件時，初步判定策略文件匹配的穩定性不符合要求，并根據驗證權限的平均通過量對策略文件匹配的穩定性進行二次判定。
4.根據權利要求3所述的基于hivemetastore的權限控制方法，其特征在于，所述權限校驗插件的并發同步連接數量的增大幅度通過權限驗證的驗證通過次數的方差與預設第二方差的差值確定。
5.根據權利要求4所述的基于hivemetastore的權限控制方法，其特征在于，調節所述策略文件的...
【專利技術屬性】
技術研發人員：高海玲，高經郡，呂彥奎，
申請(專利權)人：北京科杰科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。