本發明公開了一種基于HDFS批量設置存儲策略加速方法，屬于大數據存儲領域，本發明通過Java?API向NameNode發起RPC請求，申請setBatchedStoragePolicy（批量設置存儲策略）文件；為Client提供setB...

本發明公開了一種基于YARN資源動態感知變化加速集群處理的方法，涉及大數據存儲領域，本發明使用YARN的動態資源策略，用戶會根據時段來區分集群資源的分配情況。如：在夜晚時段集群資源主要傾向于數據歸檔等任務，白天時段集群資源主要傾向于查詢...

本發明公開了一種基于HDFS批量重命名文件加速方法，涉及大數據存儲技術領域，極大地減少Client與NameNode的RPC交互次數，以及減少FileSystem寫鎖writeLock持有次數，提高NameNode處理性能；Client...

本發明公開了一種基于HDFS分段加載元數據優化方法，涉及大數據存儲領域，在NameNode啟動過程中，將磁盤元數據fsimage和edits文件加載到內存中；加載長時間未進行合并的元數據文件，會遇到內存使用量過大，頻繁的垃圾回收；在Jv...

本發明公開了一種基于HDFS批量刪除文件加速方法，涉及大數據存儲技術領域，通過為Client提供批量刪除文件的方法，極大地減少Client與NameNode的交互次數，從而減少多次發起的網絡延時開銷。同時也會降低NameNode的CPU...

本發明公開了一種基于HDFS寫數據均衡的策略方法，屬于大數據存儲領域，本發明通過引入考慮數據節點的磁盤使用率，將磁盤使用率過高的節點從可選的節點列表中移除，從而在寫數據的時候，盡可能保持集群節點的存儲使用率均衡。客戶端在寫數據時候，會向...

本發明涉及數據計算技術領域，更具體地說是一種Spark任務輸出目錄并行加速方法，并行加速方法具體步驟包括：job啟動創建目錄、Task運行創建文件、Task運行創建目錄、commitTask數據轉移和創建標記文件；通過對FileOutp...

本發明公開了一種基于圖計算的ID?Mapping方法，涉及大數據計算技術領域，包含信息提取模塊、預計算模塊、圖計算模塊、迭代計算模塊，用于提升ID?Mapping的準確度，并且使ID關系具有可靠性與實時性。通過定義ID關系的統計要素，并...

本發明涉及大數據存儲技術領域，提供一種基于HDFS批量訪問元數據和定制輕量級內存結構的加速方法，包括Client通過JavaAPI，調用FileSystem類listLocatedStatus方法獲取指定多個文件或者目錄下的元數據信息，...

本發明公開了一種基于Spark?SQL的SortMergeJoin連接計算優化方法，涉及大數據、數據庫領域；本發明通過對原生Spark?SQL邏輯執行計劃的匹配，重新實現自定義執行計劃編排；通過減少作業本身的Shuffle操作，在提升了...

本發明涉及編程建模技術領域，提供了一種編程式建模的數據分析方法，所述數據分析方法基于

本發明涉及大數據存儲技術領域，提供一種基于考慮負載和磁盤介質的HDFS讀數據方法，包括Client(客戶端)，NameNode(名字節點)以及DataNode(數據節點)三部分，HDFS讀數據方法步驟如下：獲取文件列表并排序、讀取數據、...

本發明涉及一種流式數據處理方法，針對流式數據進行實時處理，以預設分組條件分發至各個類別緩存分組分別實現聚合壓縮，引入數據溫度創新偵測設計，實時獲得各類別緩存分組分別對應的數據溫度，進而根據實時數據溫度、以及預設溫度下限閾值，個性化實現各...

本發明涉及大數據存儲技術領域，提供了一種HDFS短路寫的加速方法，包括：HDFS客戶端，HDFS集群有兩類節點，并以管理者

本發明涉及大數據計算技術領域，更具體地說是一種基于預編譯模板技術的SparkSQL編譯優化方法，包括：匹配預編譯模板，檢查提交的SQL是否可以匹配SparkDriver端預先配置的預編譯SQL模板；以及獲取緩存中執行計劃，根據匹配到的預...

本發明涉及一種基于BFS+DFS的圖數據快速多層擴線方法，基于預設目標類型對象集，設計首先以正向搜索方式，執行各目標對象對應預設最大關系層數K的關系網的搜索；然后以反向搜索方式，執行以各目標對象出發、關于預設關聯屬性下的關系對象網搜索；...

本發明公開了一種基于實體對象的自動數據冷熱識別方法，涉及數據科學和數據庫領域，主要用于數據存儲和計算領域，包含實體特征抽取、數據溫度初始化、數據溫度更新、冷熱閾值判定、冷熱數據標記五部分，將數據中包含的一組實體進行屬性和行為等維度的特征...

本發明公開了一種基于讀寫分離的HDFS隨機讀加速方法，涉及大數據存儲領域，將HDFS的讀和寫完全分離。數據的讀寫依然采取HDFS的API，寫入以順序寫為主，保持原HdfsDirectory機制不變；將查詢邏輯下沉至DataNode，直接...

本發明提供一種基于分區聚集鍵的Spark SQL分布式位圖連接計算優化方法，通過檢查連接計算字段是否可以映射為聚集鍵，選擇可以映射的連接計算字段進行優化，然后根據運行時統計信息確認參與運算的大小表情況，接著對小表數據進行聚集鍵映射，明確...

本發明提供一種多數據處理引擎代碼自動生成的方法，包括以下步驟：步驟一：規范系統，定義與引擎無關的開發規范，用戶遵循該規范開發邏輯；步驟二：模板系統，根據各引擎特點，定義各引擎的適配模板，該模板只需被定義一次；步驟三：代碼生成系統，根據用...