【技術實現步驟摘要】
本專利技術屬于程序移植，特別涉及一種基于國產申威處理器的hadoop移植方法及系統。
技術介紹
1、近年來，數據在各行各業以大規模的態勢持續增加，大數據正在改變著人民的生活、工作、思想。面對如此海量的數據，越來越多的企業開始重視數據。hadoop是apache開源基金會開發的分布式系統，由hdfs和yarn組成，適用于大數據領域的分布式存儲和計算，是當前廣泛使用的大數據計算工具。
2、基于國產申威處理器作為國產自主可控的高性能計算cpu，具有強大的計算能力。openeuler(開放原子開源基金會的歐拉操作系統)是一個開源的操作系統，目前已支持申威處理器。將hadoop移植在國產申威openeuler系統上，為大數據處理提供先行范例演示。
3、當前hadoop程序還無法在國產申威平臺上運行，在將hadoop移植到國產申威openeuler系統過程中，需要克服一系列挑戰，這些挑戰包括：軟件兼容性；由于國產申威處理器采用特定的硬件建構和操作系統，需要確保hadoop能在這些環境下正常運行；這涉及到對hadoop的源代碼修改，以適應國產申威的編譯器、庫和系統配置。
技術實現思路
1、本專利技術的目的在于克服現有技術的上述不足，本專利技術提供一種基于國產申威處理器的hadoop移植方法及系統，首次將hadoop移植到國產申威openeuler操作系統上，推動其在大數據處理領域的應用，可作為申威平臺的iaas(software?as?a?service)提供給客戶使用。
2、為解決上述技術問題，本專利技術提供了一種基于國產申威處理器的hadoop移植方法，包括如下步驟：
3、步驟一：修改hadoop源代碼，使其通過申威編譯器的編譯環境；
4、步驟二：在編譯鏈接規則文件中，添加申威openeuler系統編譯選項及對應的申威openeuler系統編譯規則；
5、步驟三：設置項目子工程的鏈接依賴庫；
6、步驟四：在申威openeuler系統編譯選項下，通過申威編譯器對修改后的hadoop源代碼進行編譯，生成申威處理器可執行程序。
7、優選的，所述步驟一中，修改hadoop源代碼具體為：添加申威架構的bulk_crc32.c校驗文件。
8、優選的，所述步驟二中，在編譯鏈接規則文件中，添加申威openeuler系統編譯選項及對應的申威openeuler系統編譯規則，具體為：
9、在build.sh中添加編譯指令；
10、在hadoopjni.cmake文件中添加申威架構；
11、在hadoop-common-project/hadoop-common/src/cmakelists.txt中添加bulk_crc32_sw_64.c申威校驗文件選項。
12、優選的，所述步驟三中，設置項目子工程的鏈接依賴庫，具體為：編譯時通過配置文件設置hadooputils模塊和tirpc模塊鏈接為靜態庫。
13、優選的，所述步驟四中，通過申威編譯器對修改后的hadoop源代碼進行編譯，具體為：選擇編譯為基于申威架構的運行程序；采用本地編譯方式生成申威處理器的可執行程序。
14、優選的，還包括：在所述步驟三中：通過pom.xml指定所需依賴的倉庫。
15、本專利技術還提供了一種基于國產申威處理器的hadoop移植系統，采用如上述所述的方法，包括：
16、代碼修改模塊，被配置為：修改hadoop源代碼，使其通過申威編譯器的編譯選項；
17、選項添加模塊，被配置為：在編譯鏈接的規則文件中，添加申威openeuler系統編譯選項及對應的申威openeuler系統編譯規則；
18、校驗文件模塊，被配置為：添加申威的crc32校驗文件，以支持大數據校驗功能；
19、代碼編譯模塊，被配置為：在申威openeuler系統編譯選項下，通過申威編譯器對修改后的hadoop源代碼進行編譯，生成申威處理器可執行程序。
20、本專利技術還提供了一種存儲介質，非暫時性存儲計算機可讀指令，其中，當非暫時性計算機可讀指令由計算機執行時，執行如上述所述的方法。
21、本專利技術還提供了一種電子設備，包括：
22、存儲器，用于非暫時性存儲計算機可讀指令；
23、處理器，用于運行所述計算機可讀指令；其中，所述計算機可讀指令被所述處理器運行時，執行如上述所述的方法。
24、本專利技術與現有技術相比，具有如下有益效果：
25、本專利技術成功的將hadoop在申威處理器openeuler系統上進行了編譯和運行，填補了申威處理器openeuler系統上大數據軟件方面地空白；將hadoop移植在國產申威openeuler系統上，為大數據處理提供先行范例演示。解決方案的實際操作并不復雜，為在申威處理器上進行安裝使用或進行程序優化提供了方便的安裝方案，從而大大減少了安裝時間，為使用和優化都提供了堅實的基礎。
26、而且本專利技術的hadoop編譯方式與現有的編譯方法不同之處在于：1)申威處理器平臺為自主研發的平臺，一些編譯規則需要特需的在cmake文件中指定并做出相應修改。2)需要對hadoop源碼進行修改，來適配并通過申威編譯器，通過上述方法，實現了hadoop的國產移植和一鍵編譯的效果，大大提升了工作效率和準確度。
本文檔來自技高網...【技術保護點】
1.一種基于國產申威處理器的hadoop移植方法，其特征在于，包括如下步驟：
2.如權利要求1所述的一種基于國產申威處理器的hadoop移植方法，其特征在于，所述步驟一中，修改hadoop源代碼具體為：添加申威架構的bulk_crc32.c校驗文件。
3.如權利要求1所述的一種基于國產申威處理器的hadoop移植方法，其特征在于，所述步驟三中，設置項目子工程的鏈接依賴庫，具體為：編譯時通過配置文件設置hadooputils模塊和tirpc模塊鏈接為靜態庫。
4.如權利要求1所述的一種基于國產申威處理器的hadoop移植方法，其特征在于，所述步驟四中，通過申威編譯器對修改后的hadoop源代碼進行編譯，具體為：選擇編譯為基于申威架構的運行程序；采用本地編譯方式生成申威處理器的可執行程序。
5.如權利要求1所述的一種基于國產申威處理器的hadoop移植方法，其特征在于，還包括：在所述步驟四中：通過pom.xml指定所需依賴的倉庫。
6.一種基于國產申威處理器的hadoop移植系統，采用如權利要求1~5任一項所述的方法，其特征
7.一種存儲介質，其特征在于，非暫時性存儲計算機可讀指令，其中，當非暫時性計算機可讀指令由計算機執行時，執行如權利要求1~5任一項所述的方法。
8.一種電子設備，其特征在于，包括：
...【技術特征摘要】
1.一種基于國產申威處理器的hadoop移植方法，其特征在于，包括如下步驟：
2.如權利要求1所述的一種基于國產申威處理器的hadoop移植方法，其特征在于，所述步驟一中，修改hadoop源代碼具體為：添加申威架構的bulk_crc32.c校驗文件。
3.如權利要求1所述的一種基于國產申威處理器的hadoop移植方法，其特征在于，所述步驟三中，設置項目子工程的鏈接依賴庫，具體為：編譯時通過配置文件設置hadooputils模塊和tirpc模塊鏈接為靜態庫。
4.如權利要求1所述的一種基于國產申威處理器的hadoop移植方法，其特征在于，所述步驟四中，通過申威編譯器...
【專利技術屬性】
技術研發人員：陳慎慎，馬昌虎，王軍，
申請(專利權)人：中電科申泰信息科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。