本發明專利技術屬于高性能計算的技術領域，更具體地，涉及一種鏡像構建過程中所需依賴永久化存儲的方法，該方法通過建立基于加密編碼轉換、分布式廣域網跨域對等傳輸與存儲系統，將鏡像構建過程中所需的原始文件、構建文件以及最終產生的鏡像文件進行內容切分后加以擾碼，最終傳輸到對等網絡中進行永久保存。在鏡像制作過程中，使用轉碼后生成的唯一標識符對應用安裝所需的依賴文件進行引用和獲取。通過這種方法構建的應用鏡像，在任何時候都不會因引用失效而出現構建失敗的問題，從而實現容器鏡像構建的可重復性，有效解決鏡像構建過程中安裝文件或其依賴的第三方文件無法永久化引用的問題。
【技術實現步驟摘要】
本專利技術屬于高性能計算的，更具體地，涉及一種鏡像構建過程中所需依賴永久化存儲的方法。
技術介紹
1、在高性能計算領域，應用軟件安裝是一個非常復雜的過程。除了利用操作系統自帶的軟件管理和安裝工具如rpm、yum、apt等以外，很多軟件還采用了源碼編譯的方式進行安裝。這些方法對操作系統都有較多的依賴，尤其在一個平臺部署多個軟件或者一個軟件的多個版本更是一項具有挑戰的工作。軟件依賴的多樣性也讓軟件的管理變得異常困難。
2、為了解決這些問題，容器方法應運而生，它具有隔離應用的功能，可以讓大量不同依賴的軟件部署在一個平臺上。容器通過虛擬化技術讓開發者將應用及其依賴打包在一起，從而實現在不同環境中的一致運行，讓不同進程進行了隔離，從而實現了整個容器在底層共享內核，在上層共享應用。
3、docker容器由于需要root權限且對高性能計算場景需要的作業調度、mpi和gpu以及infiniband不友好的支持，使得singularity成為高性能計算場景使用最多的容器。容器通常以鏡像的方式給用戶使用，每種hpc應用軟件的鏡像需要單獨制作。singularity定義了鏡像制作格式，通過用戶在一個自定義的def文件中將軟件的安裝過程封裝在這個文件中，這個def文件中有封裝軟件安裝需要的操作系統、各種軟件和依賴的源碼安裝包、補丁等等，最后將這def文件通過鏡像打包的方式制作成后綴為sif的singularity容器鏡像，該文件是只讀屬性，可以運行在基于相同內核的任何系統環境中，從而解決該軟件和某個系統存在的依賴關系。
<
p>4、但是上述singularity容器鏡像在構建過程中需要的高性能計算hpc應用軟件安裝包及其依賴軟件、基礎鏡像iso都是通過網絡下載獲得的，如果這些安裝包下載的網絡地址失效或者下載地址更新都會導致從原來的地址無法獲得該軟件包，比如在singularity的def文件中經常通過定義網絡鏈接的方式在構建過程中獲得該應用程序的軟件，如果該下載地址訪問失效就會導致無法獲得該軟件安裝包，那么鏡像在自動構建的過程中就會產生報錯，最終導致該鏡像無法制作成功，這種缺陷也讓構建鏡像無法實現可重復性，而計算結果的可重復性對高性能計算應用研究來說至關重要。如果在鏡像構建的過程中讓這些安裝及其依賴的源碼包永久化的保存，就可以上述問題。5、例如，專利文獻us106487850a提到一種云環境下獲取鏡像的方法和設備，但該方法同樣面臨著網絡資源失效的問題；專利文獻cn107301022a探討了一種基于容器的云存儲解決方案，但在實際應用中，云端資源同樣可能因鏈接失效而無法訪問，導致鏡像構建失敗。高性能計算環境對鏡像的依賴性尤其突出，因為計算結果的可重復性至關重要。所有涉及基于容器的高性能計算方法，都缺乏持久化存儲的處理。
技術實現思路
1、本專利技術旨在克服上述現有技術的至少一種缺陷，提供一種鏡像構建過程中所需依賴永久化存儲的方法，該方法通過建立基于加密編碼轉換、分布式廣域網跨域對等傳輸與存儲系統，將鏡像構建過程中所需的原始文件、構建文件以及最終產生的鏡像文件進行內容切分后加以擾碼，最終傳輸到對等網絡中進行永久保存。在鏡像制作過程中，使用轉碼后生成的唯一標識符對應用安裝所需的依賴文件進行引用和獲取。通過這種方法構建的應用鏡像，在任何時候都不會因引用失效而出現構建失敗的問題，從而實現容器鏡像構建的可重復性，有效解決鏡像構建過程中安裝文件或其依賴的第三方文件無法永久化引用的問題。本專利技術可應用于高性能計算應用容器文件的構建。
2、本專利技術詳細的技術方案如下：
3、一種鏡像構建過程中所需依賴永久化存儲的方法，所述方法包括：
4、s1、將目標應用、目標應用依賴的其他第三方文件、構建目標文件所需的操作系統環境文件通過基于二次剩余問題的加密算法進行分段編碼；
5、s2、對分布式廣域網跨域對等傳輸與存儲系統進行配置，然后將分段編碼后的數據發送到配置好的分布式廣域網跨域對等傳輸與存儲系統中；
6、s3、在將分段編碼后的數據發送到分布式廣域網跨域對等傳輸與存儲系統中時，不同編碼的數據發送到不同的存儲節點進行保存，相同編碼的數據發送到多個數據存儲節點進行保存；數據發送方式以并發發送；
7、s4、在將分段編碼后的數據發送到分布式廣域網跨域對等傳輸與存儲系統中時，從不同編碼數據段計算出文件數據的整體校驗碼，并將該校驗碼編碼后也發送到分布式廣域網跨域對等傳輸與存儲系統中，從而保證數據的可再生性和災難可恢復性；
8、s5、所有分段編碼數據的整體校驗碼為文件的唯一標識符，原始數據任意位置的數據變動都將導致最終標識符的改變，該標識符確定了數據的完整性和單一性；
9、s6、修改鏡像定義文件，將原本通過網絡鏈接獲取的安裝包及依賴項改為通過文件數據的整體校驗碼作為唯一標識進行鏡像構建過程中所有涉及到的依賴文件的獲取；
10、s7、完成鏡像定義文件修改后開始構建鏡像，從分布式廣域網跨域對等傳輸與存儲系統中獲取鏡像構建過程中所有涉及到的依賴文件執行鏡像構建操作，構建完成后，對生成的鏡像文件進行測試。
11、進一步地，所述的基于二次剩余問題的加密算法是指給定一個整數p和一個奇素數a，判斷是否存在整數x使得當計算?x的平方后，它除以p的余數恰好是a。
12、進一步地，所述分布式廣域網跨域對等傳輸與存儲系統中的數據按照一定策略分段并分布存儲在不同的節點上，可以分散數據存儲的壓力，即使部分節點失效，仍可通過其他節點恢復數據，確保數據安全性和可用性，而且充分利用各個節點的上傳帶寬；系統中的數據傳輸和存儲不僅限于單個局域網，而是跨越多個地理區域或網絡域，解決了傳統存儲系統在廣域網環境中傳輸效率低下的問題；存儲在系統中的數據，以分段后每一段數據的編碼作為鍵值來查找到數據對應的存儲節點并實現對應段數據的存取；而且系統中每個存儲節點具有唯一的id，通過哈希環算法支持節點的動態加入與離開；
13、所述哈希環算法是指通過將數據和節點映射到一個邏輯環上解決數據在動態分布式節點間的負載均衡問題，在節點的增加或移除時，盡量減少數據的遷移，從而提高系統的可擴展性和穩定性。
14、進一步地，在s7所述構建鏡像過程中，使用唯一標識符將存儲在分布式廣域網跨域對等傳輸與存儲系統中所需的內容，并發的從各段對應的存儲節點傳輸，從而加快傳輸速度。
15、進一步地，所述存儲節點如果在防火墻后，優先通過udp打洞技術建立數據直接傳輸的管道，如果管道建立失敗，則通過具有公網地址的服務器進行數據路由轉發從而獲取數據。
16、進一步地，所述對分布式廣域網跨域對等傳輸與存儲系統進行配置具體是指：
17、初始化節點：初始化分布式廣域網跨域對等傳輸與存儲系統節點，這將創建一個本地節點，用于與分布式廣域網跨域對等傳輸與存儲系統網絡的交互；同時在初始化節點階段設置健康檢查機制，檢測節點在啟動守護進程階段可能遇到的硬件或配置異本文檔來自技高網
...
【技術保護點】
1.一種鏡像構建過程中所需依賴永久化存儲的方法，其特征在于，所述方法包括：
2.根據權利要求1所述的一種鏡像構建過程中所需依賴永久化存儲的方法，其特征在于，所述的基于二次剩余問題的加密算法是指給定一個整數p和一個奇素數a，判斷是否存在整數x使得當計算?x的平方后，它除以p的余數恰好是a。
3.根據權利要求1所述的一種鏡像構建過程中所需依賴永久化存儲的方法，其特征在于，所述分布式廣域網跨域對等傳輸與存儲系統中的數據按照一定策略分段并分布存儲在不同的節點上；系統中的數據傳輸和存儲跨越多個地理區域或網絡域；存儲在系統中的數據，以分段后每一段數據的編碼作為鍵值來查找到數據對應的存儲節點并實現對應段數據的存取；而且系統中每個存儲節點具有唯一的ID，通過哈希環算法支持節點的動態加入與離開；
4.根據權利要求1所述的一種鏡像構建過程中所需依賴永久化存儲的方法，其特征在于，在S7所述構建鏡像過程中，使用唯一標識符將存儲在分布式廣域網跨域對等傳輸與存儲系統中所需的內容，并發的從各段對應的存儲節點傳輸。
5.根據權利要求3所述的一種鏡像構建過程中所需依賴永久化存儲的方法，其特征在于，所述存儲節點如果在防火墻后，優先通過UDP打洞技術建立數據直接傳輸的管道，如果管道建立失敗，則通過具有公網地址的服務器進行數據路由轉發從而獲取數據。
6.根據權利要求1所述的一種鏡像構建過程中所需依賴永久化存儲的方法，其特征在于，所述對分布式廣域網跨域對等傳輸與存儲系統進行配置具體是指：
7.根據權利要求1所述的一種鏡像構建過程中所需依賴永久化存儲的方法，其特征在于，每次對鏡像構建過程中所有涉及到的依賴文件以及最終產生的鏡像文件進行任何的修改都生成新的唯一標識并通過記錄這些唯一標識管理文件的不同版本。
8.根據權利要求7所述的一種鏡像構建過程中所需依賴永久化存儲的方法，其特征在于，當需要對鏡像進行更新時，利用所述新的唯一標識獲取安裝包與依賴文件進行鏡像構建并將舊版鏡像及依賴文件進行存儲。
...
【技術特征摘要】
1.一種鏡像構建過程中所需依賴永久化存儲的方法，其特征在于，所述方法包括：
2.根據權利要求1所述的一種鏡像構建過程中所需依賴永久化存儲的方法，其特征在于，所述的基于二次剩余問題的加密算法是指給定一個整數p和一個奇素數a，判斷是否存在整數x使得當計算?x的平方后，它除以p的余數恰好是a。
3.根據權利要求1所述的一種鏡像構建過程中所需依賴永久化存儲的方法，其特征在于，所述分布式廣域網跨域對等傳輸與存儲系統中的數據按照一定策略分段并分布存儲在不同的節點上；系統中的數據傳輸和存儲跨越多個地理區域或網絡域；存儲在系統中的數據，以分段后每一段數據的編碼作為鍵值來查找到數據對應的存儲節點并實現對應段數據的存取；而且系統中每個存儲節點具有唯一的id，通過哈希環算法支持節點的動態加入與離開；
4.根據權利要求1所述的一種鏡像構建過程中所需依賴永久化存儲的方法，其特征在于，在s7所述構建鏡像過程中，使用唯一標識符將存儲在分布式廣域網跨域對等傳輸與存...
【專利技術屬性】
技術研發人員：陳文波，張洋，
申請(專利權)人：蘭州大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。