一種數據平臺系統的擴展方法、系統及電子設備技術方案

本發明專利技術提供一種數據平臺系統的擴展方法、系統及電子設備，所述數據平臺系統包括：所述管理節點、及與所述管理節點通信連接的至少一個數據節點，所述管理節點向待添加數據節點發送用于配置系統環境的腳本文件，以供所述待添加數據節點執行所述腳本文件后完成相應的系統環境設置；所述管理節點為所述待添加數據節點安裝相關應用，從而完成所述待添加數據節點向所述數據平臺系統的添加。相比于傳統圖形化添加節點的方法，本發明專利技術的方法可以節省三分之二以上的時間，錯誤率卻降低了99%，且僅需執行一個腳本就可以實現多個數據節點的添加，大大降低了人力物力等資源成本。

Method, system and electronic equipment for extending data platform system

System and electronic device of the invention provides an expansion method, data platform system, including the data platform system: the management node and the at least one data communication management node node connection, the management node sends the data to be used to add nodes to configure the system for the script file. The data add node executes the script file after the completion of the corresponding system environment settings; the management node is the node to add data related to the installation of applications, thus completing the data to add nodes to add the data platform system. Compared to the traditional graphical method for adding nodes, the method of the invention can save more than 2/3 of the time, the error rate was reduced by 99%, and only need to execute a script you can add multiple data nodes, greatly reduces the manpower resource cost.

【技術實現步驟摘要】

本專利技術涉及計算機通信及互聯網、軟件管理后臺
，特別是涉及一種數據平臺系統的擴展方法、系統及電子設備。
技術介紹
近幾年來，隨著計算機和信息技術的迅猛發展和普及應用，行業應用系統的規模迅速擴大，行業應用所產生的數據呈爆炸性增長，動輒數百TB甚至數十至數百PB規模的行業/企業大數據已遠遠超出了現有傳統的計算技術和信息系統的處理能力，因此，尋求有效的大數據處理技術、方法和手段已經成為現實世界的迫切需求。鑒于大數據處理需求的迫切性和重要性，近年來大數據技術已經在全球學術界、工業界和各國政府得到高度關注和重視，全球掀起了一個可與20世紀90年代的信息高速公路相提并論的研究熱潮。美國和歐洲一些發達國家政府都從國家科技戰略層面提出了一系列的大數據技術研發計劃，以推動政府機構、重大行業、學術界和工業界對大數據技術的探索研究和應用。大數據的處理需要大量的硬件支撐，沒有硬件支撐就沒有大數據的各種數據分析管理。當數據量呈現幾何量級的增長，如果硬件不能快速的部署變為大數據的節點，就無法滿足日常系統的使用情況。如何快速部署大數據系統，方便地增加大數據服務器的節點數量，是亟待解決的一重要課題。
技術實現思路
鑒于以上所述現有技術的缺點，本專利技術的目的在于提供一種數據平臺系統的擴展方法、系統及電子設備，用于快速地將硬件設備部署為大數據處理系統中的計算節點，從而為大數據的分析和管理提供硬件支撐。為實現上述目的及其他相關目的，本專利技術提供一種數據平臺系統的擴展方法，應用于所述數據平臺系統，其中，所述數據平臺系統包括：所述管理節點、及與所述管理節點通信連接的至少一個數據節點，所述方法包括：所述管理節點向待添加數據節點發送用于配置系統環境的腳本文件，以供所述待添加數據節點執行所述腳本文件后完成相應的系統環境設置；所述管理節點為所述待添加數據節點安裝相關應用，從而完成所述待添加數據節點向所述數據平臺系統的添加。于本專利技術一實施例中，所述數據平臺系統的類型包括：CDH系統。于本專利技術一實施例中，所述腳本文件的內容包括：安裝執行所述腳本文件的命令的工具編譯包、編輯所述待添加數據節點的名稱、關閉安全設置、安裝常用軟件包、開啟ntp時間服務并加入自動啟動項、修改swappiness以降低對swap緩存的使用、安裝CDH系統運行環境及語言環境、強制刷新、及重啟所述待添加數據節點中的一種或多種組合。于本專利技術一實施例中，所述為待添加數據節點安裝相關應用，包括：添加CDH管理員賬號、開啟CDH客戶端服務、進行所述待添加數據節點的功能安裝、及開啟所述待添加數據節點的計算功能中的一種或多種組合。于本專利技術一實施例中，所述至少一個數據節點分別關聯有與其一一對應的至少一個預設負荷值，在所述向待添加的數據節點發送腳本文件之前，所述方法還包括：獲取所述至少一個數據節點的實際負荷值，并分別與對應的預設負荷值比對；若檢測到存在實際負荷值不小于預設負荷值的數據節點，則開始擴展所述數據平臺系統。為實現上述目的及其他相關目的，本專利技術提供一種數據平臺系統的擴展系統，應用于所述數據平臺系統，其中，所述數據平臺系統包括：所述管理節點、及與所述管理節點通信連接的至少一個數據節點，所述系統包括：腳本發送模塊，用于所述管理節點向待添加數據節點發送用于配置系統環境的腳本文件，以供所述待添加數據節點執行所述腳本文件后完成相應的系統環境設置；應用安裝模塊，用于所述管理節點為所述待添加數據節點安裝相關應用，從而完成所述待添加數據節點向所述數據平臺系統的添加。于本專利技術一實施例中，所述數據平臺系統的類型包括：CDH系統。于本專利技術一實施例中，所述腳本文件的內容包括：安裝執行所述腳本文件的命令的工具編譯包、編輯所述待添加數據節點的名稱、關閉安全設置、安裝常用軟件包、開啟ntp時間服務并加入自動啟動項、修改swappiness以降低對swap緩存的使用、安裝CDH系統運行環境及語言環境、強制刷新、及重啟所述待添加數據節點中的一種或多種組合。于本專利技術一實施例中，所述為待添加數據節點安裝相關應用，包括：添加CDH管理員賬號、開啟CDH客戶端服務、進行所述待添加數據節點的功能安裝、及開啟所述待添加數據節點的計算功能中的一種或多種組合。于本專利技術一實施例中，所述至少一個數據節點分別關聯有與其一一對應的至少一個預設負荷值，所述系統還包括：比對模塊，用于在所述向待添加的數據節點發送腳本文件之前：獲取所述至少一個數據節點的實際負荷值，并分別與對應的預設負荷值比對；若檢測到存在實際負荷值不小于預設負荷值的數據節點，則向所述腳本發送模塊發送開始擴展所述數據平臺系統的指令。為實現上述目的及其他相關目的，本專利技術提供一種電子設備，包括如上任一所述的數據平臺系統的擴展系統。如上所述，本專利技術的數據平臺系統的擴展方法、系統及電子設備，具有以下有益效果：1)節省時間：傳統的節點服務器添加需要在圖形界面添加，步驟繁瑣，安裝等待時間長，報錯信息少，如果一旦遇到錯誤，此節點需要重新安裝系統才能被再次添加；本專利技術采用腳本方式快速擴充節點計算服務器，節約時間和成本，滿足日益龐大的海量數據處理需求；2)數據可靠：使用命令行添加節點服務器，經驗證，幾乎可以排除所有人為錯誤，添加上去的節點穩定，能夠快速并入CDH系統提供計算；3)系統故障率低：成熟命令行腳本，添加節點服務器，提前定義好系統的基礎環境，變量，規避了圖形化界面添加未考慮到的方面，使計算節點發生系統故障的幾率大大降低。附圖說明圖1顯示為本專利技術一實施例的CDH系統結構示意圖。圖2顯示為本專利技術一實施例的數據平臺系統的擴展方法流程圖。圖3顯示為本專利技術一實施例的腳本內容示意圖。圖4顯示為本專利技術一實施例的數據平臺系統的擴展系統模塊圖。圖5顯示為本專利技術一實施例的包括擴展系統的電子設備示意圖。元件標號說明4數據平臺系統的擴展系統400比對模塊401腳本發送模塊402應用安裝模塊5電子設備S201～S202步驟具體實施方式以下通過特定的具體實例說明本專利技術的實施方式，本領域技術人員可由本說明書所揭露的內容輕易地了解本專利技術的其他優點與功效。本專利技術還可以通過另外不同的具體實施方式加以實施或應用，本說明書中的各項細節也可以基于不同觀點與應用，在沒有背離本專利技術的精神下進行各種修飾或改變。需說明的是，在不沖突的情況下，以下實施例及實施例中的特征可以相互組合。需要說明的是，以下實施例中所提供的圖示僅以示意方式說明本專利技術的基本構想，遂圖式中僅顯示與本專利技術中有關的組件而非按照實際實施時的組件數目、形狀及尺寸繪制，其實際實施時各組件的型態、數量及比例可為一種隨意的改變，且其組件布局型態也可能更為復雜。本專利技術提供一種數據平臺系統的擴展方法，該數據平臺系統包括管理節點及與其通信連接的數據節點。例如，該數據平臺系統為圖1所示的CDH(Cloudera’sDistributionIncludingApacheHadoop)系統，該CDH系統基于Apache協議，基于ApacheHadoop和相關project開發，100％開源，可以做批量處理，交互式SQL查詢和及時查詢，基于角色的權限控制等，是企業中使用最廣的Hadoop分發版本。在該CDH系統中，NameNode為管理節點，用于接收HDFSClient的數據處理需求，并將該數本文檔來自技高網...

【技術保護點】
一種數據平臺系統的擴展方法，其特征在于，應用于所述數據平臺系統，其中，所述數據平臺系統包括：所述管理節點、及與所述管理節點通信連接的至少一個數據節點，所述方法包括：所述管理節點向待添加數據節點發送用于配置系統環境的腳本文件，以供所述待添加數據節點執行所述腳本文件后完成相應的系統環境設置；所述管理節點為所述待添加數據節點安裝相關應用，從而完成所述待添加數據節點向所述數據平臺系統的添加。

【技術特征摘要】
1.一種數據平臺系統的擴展方法，其特征在于，應用于所述數據平臺系統，其中，所述數據平臺系統包括：所述管理節點、及與所述管理節點通信連接的至少一個數據節點，所述方法包括：所述管理節點向待添加數據節點發送用于配置系統環境的腳本文件，以供所述待添加數據節點執行所述腳本文件后完成相應的系統環境設置；所述管理節點為所述待添加數據節點安裝相關應用，從而完成所述待添加數據節點向所述數據平臺系統的添加。2.根據權利要求1所述的數據平臺系統的擴展方法，其特征在于，所述數據平臺系統的類型包括：CDH系統。3.根據權利要求2所述的數據平臺系統的擴展方法，其特征在于，所述腳本文件的內容包括：安裝執行所述腳本文件的命令的工具編譯包、編輯所述待添加數據節點的名稱、關閉安全設置、安裝常用軟件包、開啟ntp時間服務并加入自動啟動項、修改swappiness以降低對swap緩存的使用、安裝CDH系統運行環境及語言環境、強制刷新、及重啟所述待添加數據節點中的一種或多種組合。4.根據權利要求2所述的數據平臺系統的擴展方法，其特征在于，所述為待添加數據節點安裝相關應用，包括：添加CDH管理員賬號、開啟CDH客戶端服務、進行所述待添加數據節點的功能安裝、及開啟所述待添加數據節點的計算功能中的一種或多種組合。5.根據權利要求1所述的數據平臺系統的擴展方法，其特征在于，所述至少一個數據節點分別關聯有與其一一對應的至少一個預設負荷值，在所述向待添加的數據節點發送腳本文件之前，所述方法還包括：獲取所述至少一個數據節點的實際負荷值，并分別與對應的預設負荷值比對；若檢測到存在實際負荷值不小于預設負荷值的數據節點，則開始擴展所述數據平臺系統。6.一種數據平臺系統的擴展系統，其特征在于，應用于所述數據平臺系統，其中，所述數據平臺...

【專利技術屬性】
技術研發人員：張琛，霍建華，蘇賢，
申請(專利權)人：上海冰穹網絡科技有限公司，
類型：發明
國別省市：上海;31