分布式計算平臺及其文件管理方法技術

本發明專利技術涉及一種分布式計算平臺及其文件管理方法，應用服務器接收根據AGW協議傳輸的協議數據包，發送協議標識和解密后的協議數據包至網關服務器。網關服務器在協議標識表征數據上傳請求時，對接收的解密后的協議數據包進行提取得到文件信息并發送至節點服務器進行存儲；網關服務器在協議標識表征文件操作請求時，對接收的解密后的協議數據包進行提取得到操作信息，將操作信息發送至節點服務器，控制節點服務器反向連接到應用服務器進行文件數據傳輸。建立應用服務器、網關服務器和節點服務器之間的AGW協議通信，使得分布式計算平臺不受語言限制，架構簡單，降低了實現復雜度和用戶應用設計復雜度，從而降低了平臺的后期維護成本。

【技術實現步驟摘要】
分布式計算平臺及其文件管理方法
本專利技術涉及計算機
，特別是涉及一種分布式計算平臺及其文件管理方法。
技術介紹
計算和存儲是信息產業發展的兩大主題，分布式計算平臺用于整合計算和存儲資源，如何平衡計算的靈活性和數據分析的高效性一直是學術界和產業界的研究熱點。大數據概念出現后以數據為中心的分布式系統研究越來越得到人們的關注，設計出具有靈活高效的面向數據的分布式系統成為了當前系統架構研究的重要課題。分布式文件系統是高性能計算和大數據平臺系統的根基，是系統在高并發請求、數據量暴增和大數據傳輸環境下穩定進行數據傳輸的保障。目前的分布式計算平臺主要包含Hadoop和MPI(MessagePassingInterface，信息傳遞接口)兩大分支，其中Hadoop采用HDFS文件系統，只適合對大文件進行處理，無法高效存儲大量小文件，且是重量級文件系統，設計與使用較為復雜；MPI由于沒有分布式文件系統，支持無法有效地對大數據應用進行處理。由于應用開發語言的多樣性和應用領域的多元化，傳統的分布式計算平臺為不同語言開發定制接口并為不同的應用領域定制功能，導致系統架構復雜，增加實現復雜度，增加用戶應用設計復雜度，增加系統的后期維護成本。傳統的分布式計算平臺存在維護成本高的缺點。
技術實現思路
基于此，有必要針對上述問題，提供一種可降低后期維護成本的分布式計算平臺及其文件管理方法。一種分布式計算平臺，包括應用服務器、網關服務器和節點服務器，所述應用服務器與所述網關服務器通過AGW協議通信連接，所述網關服務器和所述節點服務器通過AGW協議通信連接，所述節點服務器和所述應用服務器通過AGW協議通信連接；所述應用服務器用于接收根據所述AGW協議傳輸的協議數據包，對所述協議數據包進行反序列化和解密，得到協議標識和解密后的協議數據包并發送至所述網關服務器，所述協議標識表征協議的請求目的；以及接收所述節點服務器傳輸的文件數據并輸出；所述網關服務器用于在接收的協議標識表征數據上傳請求時，對接收的解密后的協議數據包進行提取得到文件信息并發送至所述節點服務器進行存儲；在接收的協議標識表征文件操作請求時，對接收的解密后的協議數據包進行提取得到操作信息，將所述操作信息發送至所述節點服務器，并控制所述節點服務器根據所述操作信息反向連接到所述應用服務器進行文件數據傳輸。一種分布式計算平臺的文件管理方法，包括以下步驟：應用服務器接收根據AGW協議傳輸的協議數據包，對所述協議數據包進行反序列化和解密，得到協議標識和解密后的協議數據包并發送至網關服務器；所述網關服務器在接收的協議標識表征數據上傳請求時，對接收的解密后的協議數據包進行提取得到文件信息并發送至所述節點服務器進行存儲；所述網關服務器在接收的協議標識表征文件操作請求時，對接收的解密后的協議數據包進行提取得到操作信息，將所述操作信息發送至節點服務器；所述網關服務器控制所述節點服務器根據所述操作信息反向連接到所述應用服務器進行文件數據傳輸；所述應用服務器接收所述節點服務器傳輸的文件數據并輸出。上述分布式計算平臺及其文件管理方法，應用服務器接收根據AGW協議傳輸的協議數據包，對協議數據包進行反序列化和解密，得到協議標識和解密后的協議數據包并發送至網關服務器。網關服務器在接收的協議標識表征數據上傳請求時，對接收的解密后的協議數據包進行提取得到文件信息并發送至節點服務器進行存儲；網關服務器在接收的協議標識表征文件操作請求時，對接收的解密后的協議數據包進行提取得到操作信息，將操作信息發送至節點服務器。網關服務器控制節點服務器根據操作信息反向連接到應用服務器進行文件數據傳輸，應用服務器接收節點服務器傳輸的文件數據并輸出。建立應用服務器、網關服務器和節點服務器之間的AGW協議通信，使得分布式計算平臺不受語言限制，只需按照AGW協議的標準即可進行文件數據的操作，架構簡單，降低了實現復雜度和用戶應用設計復雜度，從而降低了平臺的后期維護成本。附圖說明圖1為一實施例中分布式計算平臺的結構圖；圖2為一實施例中分布式計算平臺的文件管理原理圖；圖3為一實施例中分布式計算平臺的文件管理方法的流程圖；圖4為另一實施例中分布式計算平臺的文件管理方法的流程圖。具體實施方式在一個實施例中，一種分布式計算平臺，如圖1所示，包括應用服務器110、網關服務器120和節點服務器130，應用服務器110與網關服務器120通過AGW(AppGateWork，應用網關節點)協議通信連接，網關服務器120和節點服務器130通過AGW協議通信連接，節點服務器130和應用服務器110通過AGW協議通信連接。應用服務器110、網關服務器120和節點服務器130的數量均可以使一個或多個，當應用服務器110、網關服務器120和節點服務器130的均為多個時，可根據實際需求調整應用服務器110與網關服務器120之間，網關服務器120與節點服務器130之間，以及節點服務器130與應用服務器110之間的通信映射關系。AGW協議是該平臺文件系統的數據進行流轉的標準，通過該協議保證數據傳輸的正確性和完整性，AGW協議適用于支持Socket通信的語言接入。具體地，把用戶接入應用服務器110的協議稱為AGW協議中的對外協議，把應用服務器110、網關服務器120、節點服務器130之間使用的協議稱為AGW協議中的對內協議。AGW協議的格式由協議長度、協議標識、加密后的協議內容這三部分組成。其中，用4個字節的空間來存儲整條協議的長度，用于在接收到該協議數據時，按這個長度取出數據包，隨后用2個字節的空間來存協議標識。協議標識表示該協議的請求目的，具體類型并不唯一。例如，一條登錄協議的標識代號是10001，當解析出該協議的標識代號后，系統會根據代號來執行登錄操作，協議標識的后面為加密的協議內容，包含用戶名、密碼等。本實施例中，協議標識可表征數據上傳請求和文件操作請求兩種，其中，文件操作請求包括文件訪問請求和文件更新請求。應用服務器110用于接收根據AGW協議傳輸的協議數據包，對協議數據包進行反序列化和解密，得到協議標識和解密后的協議數據包并發送至網關服務器120；以及接收節點服務器130傳輸的文件數據并輸出。應用服務商可通過駐留的應用服務器110向分布式計算平臺發送請求以進行文件存儲、訪問和更新等操作。以AGW協議的規范來傳輸數據，使平臺不受語言限制。協議數據包的具體類型也不唯一，本實施例中協議數據包為二進制數據包，便于進行數據提取操作。具體地，用戶通過應用程序傳輸數據的主要步驟為：根據AGW協議的規則進行拼裝，拼裝之后的數據再根據加密規則進行加密。把加密之后的數據加上協議長度和協議標識，根據AGW協議進行序列化，形成二進制數據包。將二進制數據包發送給接收節點，接收節點收到二進制數據包后對其反序列化和解密，然后把解密出來的數據按照AGW協議逐一取出對應的數據進行邏輯操作。在一個實施例中，應用服務器110對協議數據包進行反序列化和解密，得到協議標識和解密后的協議數據包并發送至網關服務器120，包括：對協議數據包進行反序列化，得到協議長度、協議標識和加密后的協議數據包；根據協議長度對加密后的協議數據包進行解密得到解密后的協議數據包，將協議標識和解密后的協議數據包并發送至網關服務器本文檔來自技高網...

【技術保護點】
一種分布式計算平臺，其特征在于，包括應用服務器、網關服務器和節點服務器，所述應用服務器與所述網關服務器通過AGW協議通信連接，所述網關服務器和所述節點服務器通過AGW協議通信連接，所述節點服務器和所述應用服務器通過AGW協議通信連接；所述應用服務器用于接收根據所述AGW協議傳輸的協議數據包，對所述協議數據包進行反序列化和解密，得到協議標識和解密后的協議數據包并發送至所述網關服務器，所述協議標識表征協議的請求目的；以及接收所述節點服務器傳輸的文件數據并輸出；所述網關服務器用于在接收的協議標識表征數據上傳請求時，對接收的解密后的協議數據包進行提取得到文件信息并發送至所述節點服務器進行存儲；在接收的協議標識表征文件操作請求時，對接收的解密后的協議數據包進行提取得到操作信息，將所述操作信息發送至所述節點服務器，并控制所述節點服務器根據所述操作信息反向連接到所述應用服務器進行文件數據傳輸。

【技術特征摘要】
1.一種分布式計算平臺，其特征在于，包括應用服務器、網關服務器和節點服務器，所述應用服務器與所述網關服務器通過AGW協議通信連接，所述網關服務器和所述節點服務器通過AGW協議通信連接，所述節點服務器和所述應用服務器通過AGW協議通信連接；所述應用服務器用于接收根據所述AGW協議傳輸的協議數據包，對所述協議數據包進行反序列化和解密，得到協議標識和解密后的協議數據包并發送至所述網關服務器，所述協議標識表征協議的請求目的；以及接收所述節點服務器傳輸的文件數據并輸出；所述網關服務器用于在接收的協議標識表征數據上傳請求時，對接收的解密后的協議數據包進行提取得到文件信息并發送至所述節點服務器進行存儲；在接收的協議標識表征文件操作請求時，對接收的解密后的協議數據包進行提取得到操作信息，將所述操作信息發送至所述節點服務器，并控制所述節點服務器根據所述操作信息反向連接到所述應用服務器進行文件數據傳輸。2.根據權利要求1所述的分布式計算平臺，其特征在于，所述應用服務器對所述協議數據包進行反序列化和解密，得到協議標識和解密后的協議數據包并發送至所述網關服務器，包括：對所述協議數據包進行反序列化，得到協議長度、協議標識和加密后的協議數據包；根據所述協議長度對所述加密后的協議數據包進行解密得到解密后的協議數據包，將所述協議標識和所述解密后的協議數據包并發送至所述網關服務器。3.根據權利要求2所述的分布式計算平臺，其特征在于，所述應用服務器得到協議長度、協議標識和加密后的協議數據包后，根據所述協議長度對所述加密后的協議數據包進行解密得到解密后的協議數據包之前，還用于根據所述協議標識對所述協議數據包進行合法性驗證。4.根據權利要求1所述的分布式計算平臺，其特征在于，所述節點服務器的數量為多個，所述網關服務器將文件信息發送至所述節點服務器進行存儲，包括：將文件信息存儲至各節點服務器的相同物理路徑。5.根據權利要求4所述的分布式計算平臺，其特征在于，所述網關服務器控制所述節點服務器根據所述操作信息反向連接到所述進行文件數據傳輸，包括：監測各所述節點服務器的數據傳輸狀態，并根據所述數據傳輸狀態選取最優節點服務器；將所述操作信息發送至最優節點服務器，并控制最優節點服務器根據所述操作信息反向連接到所述應用服務器進行文...

【專利技術屬性】
技術研發人員：王鵬，黃焱，趙莉，
申請(專利權)人：廣州五舟科技股份有限公司，
類型：發明
國別省市：廣東,44