【技術實現步驟摘要】
本專利技術涉及數據采集，尤其涉及一種數據同步采集系統、方法、電子設備及存儲介質。
技術介紹
1、企業中通常包含多種電子設備，如計算機、服務器等，為了對這些電子設備進行有效的管理調度，通常會使用多種資源管理平臺，不同的資源管理平臺可能記錄相同的機器數據也可能記錄不同的機器。為了對電子設備的使用情況進行分析，通常需要對多種資源管理平臺記錄的數據進行采集關聯。
2、相關技術中通常需要通過不同的數據采集服務采集不同資源管理平臺中的數據，示例性的，在資源管理平臺包含nova、noahee以及bce的情況下，相關技術中通常是基于openstack的官方api文檔的獨立獲取云底座信息，及企業提供的noahee讀取數據獨立獲取方案，及bce提供的數據獲取獨立的方案。
3、這種互相獨立的數據采集方式，不能保證數據的統一獲取，維護成本高，且數據采集效率較低。
技術實現思路
1、有鑒于此，本專利技術實施例提供了一種數據同步采集系統、方法、電子設備及存儲介質，以實現不同數據源數據的同步采集，保證數據一致性。
2、根據本專利技術的一方面，提供了一種數據同步采集系統，所述系統包括數據采集模塊、統一數據模塊以及數據庫，所述數據采集模塊中包括多個線程；
3、所述數據采集模塊，用于利用多個所述線程，基于針對各所述數據源預設的數據采集方式采集各所述數據源中的數據，將各所述數據上報至所述統一數據模塊；
4、所述統一數據模塊，用于按照針對各所述數據源預設的格式轉
5、在一種可能的實施例中，所述系統還包括同步鎖，所述同步鎖，用于記錄各所述線程采集的數據信息，所述數據信息中包括數據源信息以及數據類型信息；
6、所述數據采集模塊，用于確定待采集數據信息；在所述同步鎖中查詢所述待采集數據信息，并在查詢到所述待采集數據信息的情況下，返回確定待采集數據信息；在未查詢到所述待采集數據信息的情況下，調用空閑線程基于針對所述數據信息中包含的數據源預設的數據采集方式采集符合所述數據信息中包含的數據類型的數據。
7、在一種可能的實施例中，所述統一數據模塊，用于在所述預設數據模板未填充完成的情況下，獲取各所述線程上報的數據，直至所述預設數據模板填充完成。
8、在一種可能的實施例中，所述數據采集模塊通過分布式部署方式部署在不同機器中，各所述機器中包含多個線程；所述預設的數據采集方式包括從數據庫獲取數據以及從預設api中獲取數據。
9、在一種可能的實施例中，所述數據源包括多種資源管理平臺以及服務器管理平臺。
10、根據本專利技術的另一方面，提供了一種數據同步采集方法，所述方法應用于權利要求1-5中任一所述的數據同步系統，所述方法包括：
11、利用多個線程，基于針對各數據源預設的數據采集方式采集各所述數據源中的數據；
12、按照針對各所述數據源預設的格式轉換方法，對各所述數據進行格式轉化，得到符合預設數據格式的各目標數據；
13、利用各所述目標數據填充預設數據模板，所述預設數據模板中包含需填充的數據內容；
14、在所述預設數據模板填充完成的情況下，將各所述目標數據存儲至數據庫中。
15、在一種可能的實施例中，所述方法還包括：
16、確定待采集數據信息，其中，所述待采集數據信息中包括數據源信息以及數據類型信息；
17、在同步鎖中查詢所述待采集數據信息，并在查詢到所述待采集數據信息的情況下，返回確定待采集數據信息的步驟；所述同步鎖用于記錄各所述線程采集的數據信息，所述數據信息中包括數據源信息以及數據類型信息；
18、在未查詢到所述待采集數據信息的情況下，調用空閑線程基于針對所述數據信息中包含的數據源預設的數據采集方式采集符合所述數據信息中包含的數據類型的數據。
19、在一種可能的實施例中，所述方法還包括：在所述預設數據模板未填充完成的情況下，獲取各所述線程上報的數據，直至所述預設數據模板填充完成；
20、所述預設的數據采集方式包括從數據庫獲取數據以及從預設api中獲取數據。
21、根據本專利技術的另一方面，提供了一種電子設備，包括：
22、處理器；以及
23、存儲程序的存儲器，
24、其中，所述程序包括指令，所述指令在由所述處理器執行時使所述處理器執行上述任一所述的數據同步采集方法。
25、根據本專利技術的另一方面，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質，其中，所述計算機指令用于使計算機執行上述任一所述的數據同步采集方法。
26、本專利技術實施例中提供的一個或多個技術方案，通過利用數據采集模塊中的多個線程采集不同數據源中的數據，并利用同一數據模塊對各數據源中的數據進行格式統一，將統一格式后的目標數據填充至預設數據模板中，并在預設數據模板填充完畢的情況下，將目標數據存儲至數據庫中，實現了通過同一數據采集模塊采集多個數據源的數據，提高了數據采集效率，降低了維護成本，且通過多個線程采集不同數據源，進一步提高了數據采集效率；再有，通過利用統一數據模塊按照針對不同數據源預設的格式轉換方法將不同數據源的數據轉換為統一格式并存儲至數據庫，可以及時發現不同平臺之間數據不一致的問題，保證了不同平臺之間數據響應的一致性；另外，在預設數據模板填充完畢的情況下，再將各目標數據存儲至數據庫中，提高了數據庫中數據的完整性，進而提高了這些數據的查詢可靠性。
本文檔來自技高網...【技術保護點】
1.一種數據同步采集系統，其特征在于，所述系統包括數據采集模塊、統一數據模塊以及數據庫，所述數據采集模塊中包括多個線程；
2.根據權利要求1所述的系統，其特征在于，所述系統還包括同步鎖，所述同步鎖，用于記錄各所述線程采集的數據信息，所述數據信息中包括數據源信息以及數據類型信息；
3.根據權利要求1所述的系統，其特征在于，所述統一數據模塊，用于在所述預設數據模板未填充完成的情況下，獲取各所述線程上報的數據，直至所述預設數據模板填充完成。
4.根據權利要求1所述的系統，其特征在于，所述數據采集模塊通過分布式部署方式部署在不同機器中，各所述機器中包含多個線程；所述預設的數據采集方式包括從數據庫獲取數據以及從預設API中獲取數據。
5.根據權利要求1所述的系統，其特征在于，所述數據源包括多種資源管理平臺以及服務器管理平臺。
6.一種數據同步采集方法，其特征在于，所述方法應用于權利要求1-5中任一所述的數據同步系統，所述方法包括：
7.根據權利要求6所述的方法，其特征在于，所述方法還包括：
8.根據權利要求
9.一種電子設備，包括：
10.一種存儲有計算機指令的非瞬時計算機可讀存儲介質，其中，所述計算機指令用于使計算機執行根據權利要求6-8中任一項所述的方法。
...【技術特征摘要】
1.一種數據同步采集系統，其特征在于，所述系統包括數據采集模塊、統一數據模塊以及數據庫，所述數據采集模塊中包括多個線程；
2.根據權利要求1所述的系統，其特征在于，所述系統還包括同步鎖，所述同步鎖，用于記錄各所述線程采集的數據信息，所述數據信息中包括數據源信息以及數據類型信息；
3.根據權利要求1所述的系統，其特征在于，所述統一數據模塊，用于在所述預設數據模板未填充完成的情況下，獲取各所述線程上報的數據，直至所述預設數據模板填充完成。
4.根據權利要求1所述的系統，其特征在于，所述數據采集模塊通過分布式部署方式部署在不同機器中，各所述機器中包含多個線程；所述預設的數據采集方式包括從數據庫獲取數據以及從預設api中...
【專利技術屬性】
技術研發人員：陳余，任偉男，杜侃，蘇陽，陳存利，
申請(專利權)人：度小滿科技北京有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。