數據回流、關系型數據庫中的數據訪問方法及系統技術方案

本申請公開了數據回流、關系型數據庫中的數據訪問方法及系統，所述數據回流方法包括：在關系型數據庫中創建第一數據表，所述第一數據表包括名稱字段及數據內容字段；確定分布式系統中需要進行數據回流的第二數據表、所述第二數據表的格式及名稱；根據所述第二數據表的格式讀取出所述第二數據表中的所有原始數據，并轉換為字符串，在所述字符串中，根據各個原始數據在所述第二數據表中所處的行與列的不同，利用預置的分隔符進行分隔，所述分隔符包括行分隔符及列分隔符；將所述字符串作為一條記錄的數據內容寫入到所述第一數據表的數據內容字段中，并將所述第二數據表的名稱作為該條記錄的名稱寫入到所述第一數據表的名稱字段中。

【技術實現步驟摘要】
數據回流、關系型數據庫中的數據訪問方法及系統
本申請涉及數據處理
，特別是涉及數據回流、關系型數據庫中的數據訪問方法及系統。
技術介紹
互聯網行業產生的數據量非常大，其運算的量一般需要在Hadoop等大型的分布式系統中才能完成，例如，相關的日志數據、瀏覽數據、用戶數據、交易數據、商品數據等等全部會通過Hadoop完成相關計算。Hadoop充分利用集群的威力高速運算和存儲，因此，對大數據量的運算非常有優勢。但是，由于Hadoop處理后的可用數據往往會分散存放在不同的服務器上，并且一般只提供命令行的方式進行讀取，在用戶訪問和數據獲取方面不是很友好。因此，一般會將Hadoop上對大數據進行處理之后的可用數據進行回流，在回流到關系型數據庫之后，可以方便的做成各種程序接口(API)供調用，然后可視化的方式提供給訪問者。傳統的數據回流方法中，每當在Hadoop上產生一個新的數據報表，都會在對應的關系型數據庫中建立同樣表結構(表字段數目及含義完全一致)的表，然后通過程序將Hadoop上的數據讀出并寫入關系型數據庫的表中，從而達到回流的目的。但是，在這種傳統的方式中，由于每產生一張Hadoop的表，都要在關系型數據庫中建立同樣的表，每次都需要走數據庫的建表流程，相對繁瑣和冗長，并且關系型數據庫中每產生一個新的表，都需要編寫相應的代碼以便訪問表中的數據，工作量比較大。
技術實現思路
本申請提供了數據回流方法及系統，能夠簡化數據回流的流程。本申請還提供了關系型數據庫中的數據訪問方法及系統。本申請提供了如下方案：一種數據回流方法，包括：在關系型數據庫中創建第一數據表，所述第一數據表包括名稱字段及數據內容字段；確定分布式系統中需要進行數據回流的第二數據表、所述第二數據表的格式及名稱；根據所述第二數據表的格式讀取出所述第二數據表中的所有原始數據，并轉換為字符串，在所述字符串中，根據各個原始數據在所述第二數據表中所處的行與列的不同，利用預置的分隔符進行分隔，所述分隔符包括行分隔符及列分隔符；將所述字符串作為一條記錄的數據內容寫入到所述第一數據表的數據內容字段中，并將所述第二數據表的名稱作為該條記錄的名稱寫入到所述第一數據表的名稱字段中。可選地，所述將所述字符串作為一條記錄的數據內容寫入到所述第一數據表的數據內容字段中包括：將所述字符串按照指定的格式進行壓縮后，作為一條記錄的數據內容寫入到所述第一數據表的數據內容字段中。可選地，所述將所述字符串作為一條記錄的數據內容寫入到所述第一數據表的數據內容字段中包括：按照指定的輸出格式，將所述字符串作為一條記錄的數據內容寫入到所述第一數據表的數據內容字段中。可選地，所述第一數據表還包括日期字段；所述方法還包括：將所述字符串作為一條記錄的數據內容寫入到所述第一數據表的數據內容字段中的同時，將當前日期作為該條記錄的日期寫入到所述第一數據表的日期字段中。可選地，還包括：監控所述第一數據表中記錄條數的變化；當所述記錄條數達到預置閾值時，為所述第一數據表添加索引字段，每一條索引對應所述預置閾值條數的記錄。一種關系型數據庫中的數據訪問方法，所述關系型數據庫中保存有第一數據表，所述第一數據表包括名稱字段及數據內容字段，所述第一數據表中每條記錄的名稱字段用于保存第二數據表的名稱，數據內容字段用于保存第二數據表中的所有原始數據，所述原始數據在存入所述數據內容字段之前被轉換為字符串，在所述字符串中，根據各個原始數據在所述第二數據表中所處的行與列的不同，利用預置的分隔符進行分隔，所述分隔符包括行分隔符及列分隔符；所述方法包括：接收查詢請求，根據所述查詢請求與所述第一數據表的名稱字段的匹配情況，確定目標記錄條目；提取所述目標記錄條目的數據內容字段中的字符串，并按照所述行分隔符及列分隔符對所述字符串進行拆分，還原成與第二數據表對應的二維數組；確定所述第二數據表中各字段的含義；按照所述各字段的含義將所述二維數組輸出為二維數據表文件并返回。可選地，所述返回給所述訪問者包括：提供所述二維數據表文件的訪問接口供調用；或者，將所述二維數據表文件輸出到網頁供查看或下載。可選地，還包括：確定所述第二數據表中各字段的輸出格式；所述按照所述各字段的含義將所述二維數組輸出為二維數據表文件，返回給所述訪問者包括：按照所述各字段的含義及輸出格式將所述二維數組輸出為二維數據表文件并返回。可選地，所述字符串在被存入所述第一數據表的數據內容字段之前被按照指定的格式壓縮；所述提取所述目標記錄條目的數據內容字段中的字符串包括：提取所述目標記錄條目的數據內容字段中的數據并根據所述指定的格式進行解壓得到字符串。可選地，將所述字符串被按照指定的輸出格式寫入到所述第一數據表的數據內容字段中，所述提取所述目標記錄條目的數據內容字段中的字符串包括：將所述目標記錄條目的數據內容字段中的字符串按照所述輸出格式輸出為標準文件。可選地，所述第一數據表還包括日期字段，所述日期字段用于保存將所述第二數據表回流到所述第一數據表時的日期；所述根據所述查詢請求與所述第一數據表的名稱字段的匹配情況，確定目標記錄條目包括：根據所述查詢請求與所述第一數據表的名稱字段及日期字段的匹配情況，確定目標記錄條目。一種數據回流系統，包括：創建單元，用于在關系型數據庫中創建第一數據表，所述第一數據表包括名稱字段及數據內容字段；信息獲取單元，用于確定分布式系統中需要進行數據回流的第二數據表、所述第二數據表的格式及名稱；數據轉換單元，用于根據所述第二數據表的格式讀取出所述第二數據表中的所有原始數據，并轉換為字符串，在所述字符串中，根據各個原始數據在所述第二數據表中所處的行與列的不同，利用預置的分隔符進行分隔，所述分隔符包括行分隔符及列分隔符；數據寫入單元，用于將所述字符串作為一條記錄的數據內容寫入到所述第一數據表的數據內容字段中，并將所述第二數據表的名稱作為該條記錄的名稱寫入到所述第一數據表的名稱字段中。一種關系型數據庫中的數據訪問系統，所述關系型數據庫中保存有第一數據表，所述第一數據表包括名稱字段及數據內容字段，所述第一數據表中每條記錄的名稱字段用于保存第二數據表的名稱，數據內容字段用于保存第二數據表中的所有原始數據，所述原始數據在存入所述數據內容字段之前被轉換為字符串，在所述字符串中，根據各個原始數據在所述第二數據表中所處的行與列的不同，利用預置的分隔符進行分隔，所述分隔符包括行分隔符及列分隔符；所述系統包括：目標記錄條目確定單元，用于接收查詢請求，根據所述查詢請求與所述第一數據表的名稱字段的匹配情況，確定目標記錄條目；拆分單元，用于提取所述目標記錄條目的數據內容字段中的字符串，并按照所述行分隔符及列分隔符對所述字符串進行拆分，還原成與第二數據表對應的二維數組；字段含義確定單元，用于確定所述第二數據表中各字段的含義；返回單元，用于按照所述各字段的含義將所述二維數組輸出為二維數據表文件并返回。根據本申請提供的具體實施例，本申請公開了以下技術效果：通過本申請提供的數據回流方法，只需要在關系型數據庫中建立一張表，可以快速的輸入分布式系統(如Hadoop集群等)上的任何數據表，而不需要每次在Hadoop上產生的數據報表都在關系型數據庫上建立同樣的表單，節省了存儲空間，減少了中間環節。另外，本文檔來自技高網...

【技術保護點】
一種數據回流方法，包括：在關系型數據庫中創建第一數據表，所述第一數據表包括名稱字段及數據內容字段；確定分布式系統中需要進行數據回流的第二數據表、所述第二數據表的格式及名稱；根據所述第二數據表的格式讀取出所述第二數據表中的所有原始數據，并轉換為字符串，在所述字符串中，根據各個原始數據在所述第二數據表中所處的行與列的不同，利用預置的分隔符進行分隔，所述分隔符包括行分隔符及列分隔符；將所述字符串作為一條記錄的數據內容寫入到所述第一數據表的數據內容字段中，并將所述第二數據表的名稱作為該條記錄的名稱寫入到所述第一數據表的名稱字段中。

【技術特征摘要】
1.一種數據回流方法，包括：在關系型數據庫中創建第一數據表，所述第一數據表包括名稱字段及數據內容字段；確定分布式系統中需要進行數據回流的第二數據表、所述第二數據表的格式及名稱；根據所述第二數據表的格式讀取出所述第二數據表中的所有原始數據，并轉換為字符串，在所述字符串中，根據各個原始數據在所述第二數據表中所處的行與列的不同，利用預置的分隔符進行分隔，所述分隔符包括行分隔符及列分隔符；將所述字符串作為一條記錄的數據內容寫入到所述第一數據表的數據內容字段中，并將所述第二數據表的名稱作為該條記錄的名稱寫入到所述第一數據表的名稱字段中。2.根據權利要求1所述的方法，所述將所述字符串作為一條記錄的數據內容寫入到所述第一數據表的數據內容字段中包括：將所述字符串按照指定的格式進行壓縮后，作為一條記錄的數據內容寫入到所述第一數據表的數據內容字段中。3.根據權利要求1所述的方法，所述將所述字符串作為一條記錄的數據內容寫入到所述第一數據表的數據內容字段中包括：按照指定的輸出格式，將所述字符串作為一條記錄的數據內容寫入到所述第一數據表的數據內容字段中。4.根據權利要求1所述的方法，所述第一數據表還包括日期字段；所述方法還包括：將所述字符串作為一條記錄的數據內容寫入到所述第一數據表的數據內容字段中的同時，將當前日期作為該條記錄的日期寫入到所述第一數據表的日期字段中。5.根據權利要求1所述的方法，還包括：監控所述第一數據表中記錄條數的變化；當所述記錄條數達到預置閾值時，為所述第一數據表添加索引字段，每一條索引對應所述預置閾值條數的記錄。6.一種關系型數據庫中的數據訪問方法，所述關系型數據庫中保存有第一數據表，所述第一數據表包括名稱字段及數據內容字段，所述第一數據表中每條記錄的名稱字段用于保存第二數據表的名稱，數據內容字段用于保存第二數據表中的所有原始數據，所述原始數據在存入所述數據內容字段之前被轉換為字符串，在所述字符串中，根據各個原始數據在所述第二數據表中所處的行與列的不同，利用預置的分隔符進行分隔，所述分隔符包括行分隔符及列分隔符；所述方法包括：接收查詢請求，根據所述查詢請求與所述第一數據表的名稱字段的匹配情況，確定目標記錄條目；提取所述目標記錄條目的數據內容字段中的字符串，并按照所述行分隔符及列分隔符對所述字符串進行拆分，還原成與第二數據表對應的二維數組；確定所述第二數據表中各字段的含義；按照所述各字段的含義將所述二維數組輸出為二維數據表文件并返回。7.根據權利要求6所述的方法，所述將所述二維數組輸出為二維數據表文件并返回，包括：提供所述二維數據表文件的訪問接口供調用；或者，將所述二維數據表文件輸出到網頁供查看或下載。8.根據權利要求6所述的方法，還包括：確定所述第二數據表中各字段的輸出格式；所...

【專利技術屬性】
技術研發人員：李慶豐，
申請(專利權)人：阿里巴巴集團控股有限公司，
類型：發明
國別省市：