【技術實現步驟摘要】
本專利技術涉及一種海量圖像文件的高并發存儲方法、系統和可讀介質，屬于圖像文件存儲。
技術介紹
1、目前圖像文件的存儲主要采取如下方法：依賴于本地存儲硬盤。這種方式存在一些限制，如存儲容量有限、訪問速度受到物理設備性能影響等。此外，在傳統的圖像存儲技術中，數據備份、容災和故障恢復往往需要手動操作，增加了管理和維護的復雜性?；蛘咭蕾囉诜植际酱鎯軜?。海量圖像存儲通常采用分布式存儲架構，將大量的圖像數據分散存儲在多個節點上。這種架構能夠提供更高的存儲容量和訪問速度，并且具備高可用性和可伸縮性。通過將數據分散在多個節點上，可以提高系統的處理能力和吞吐量，同時減輕單個節點的負載壓力。但是該架構可能存在性能瓶頸，每個存儲請求都需要立即處理，這可能會導致性能瓶頸，降低系統的效率。同時每次只能處理一個請求，這可能會導致資源的浪費，因為系統無法在處理多個請求時共享資源，并且導致請求的延遲增加，影響用戶體驗。
技術實現思路
1、針對上述問題，本專利技術的目的是提供了一種海量圖像文件的高并發存儲方法、系統和可讀介質，其針對高并發的存儲請求，能夠提高系統的吞吐量和效率，將相似的請求批量處理，減少請求的開銷，提高存儲處理速度，隨著數據量的增長，有效簡單地擴展存儲系統的容量和處理能力。
2、為實現上述目的，本專利技術提出了以下技術方案：一種海量圖像文件的高并發存儲方法，包括以下步驟：將用戶的存儲請求放入消息隊列以及分布式緩存中，并對所述存儲請求進行異步處理；將經過異步處理的存儲請求從所述消息隊列中
3、進一步，所述服務器為minio服務器或者ceph服務器。
4、進一步，所述分布式緩存通過設置過期策略，使所述分布式緩存中的數據與所述消息隊列中的數據保持一致。
5、進一步，所述異步處理是在存儲請求發出后，將所述存儲請求放入消息隊列，異步地從所述消息隊伍中獲取存儲請求，并進行后續的處理操作。
6、進一步，所述線程池中包括兩個或兩個以上的線程，所述線程池對所述線程的生命周期進行管理，使所述存儲任務均勻分配到每個線程。
7、進一步，所述線程池中通過輪詢或最少負載的負載均衡策略使存儲任務均勻分配到每個線程。
8、進一步，服務使用負載均衡器將所述存儲任務均勻地分配到各個服務器。
9、本專利技術還公開了一種海量圖像文件的高并發存儲系統，包括：異步處理模塊，用于將用戶的存儲請求放入消息隊列以及分布式緩存中，并對所述存儲請求進行異步處理；多線程模塊，用于將經過異步處理的存儲請求從所述消息隊列中取出，并將所述存儲請求分配給線程池；存儲模塊，用于所述線程池中線程從所述消息隊列中取出存儲任務后，根據所述存儲任務進行存儲；批處理模塊，用于將所述線程池中相似的存儲任務組合成一個批處理請求，一次性發送給服務器。
10、本專利技術還公開了一種計算機可讀存儲介質，所述計算機可讀存儲介質上存儲有計算機程序，所述計算機程序被處理器執行以實現上面所述的海量圖像文件的高并發存儲方法。
11、本專利技術由于采取以上技術方案，其具有以下優點：
12、1、本專利技術針對高并發的存儲請求，能夠提高系統的吞吐量和效率，將相似的請求批量處理，減少請求的開銷，提高存儲處理速度，隨著數據量的增長，有效簡單地擴展存儲系統的容量和處理能力。
13、2、本專利技術通過異步處理和批處理，可以有效地提高海量圖像文件存儲系統的吞吐量和效率。異步處理可以充分利用資源，減少等待時間，提高系統的并發處理能力。批處理則可以合并相似的請求，減少請求的開銷，提高系統的整體性能。
14、3、本專利技術基于minio的海量圖像文件架構相比于其它復雜的對象存儲架構在擴展時可能需要更多的計劃和管理，minio可以輕松添加或刪除服務器節點，數據會自動在節點之間進行平衡，這種設計使得其在擴展性方面非常容易，只需要增加節點即可擴展存儲容量和i/o性能。
本文檔來自技高網...【技術保護點】
1.一種海量圖像文件的高并發存儲方法，其特征在于，包括以下步驟：
2.如權利要求1所述的海量圖像文件的高并發存儲方法，其特征在于，所述服務器為Minio服務器或者Ceph服務器。
3.如權利要求1所述的海量圖像文件的高并發存儲方法，其特征在于，所述分布式緩存通過設置過期策略，使所述分布式緩存中的數據與所述消息隊列中的數據保持一致。
4.如權利要求1所述的海量圖像文件的高并發存儲方法，其特征在于，所述異步處理是在存儲請求發出后，不立即處理，將所述存儲請求放入消息隊列，異步地從所述消息隊伍中獲取存儲請求，并進行后續的處理操作。
5.如權利要求1所述的海量圖像文件的高并發存儲方法，其特征在于，所述線程池中包括兩個或兩個以上的線程，所述線程池對所述線程的生命周期進行管理，使所述存儲任務均勻分配到每個線程。
6.如權利要求5所述的海量圖像文件的高并發存儲方法，其特征在于，所述線程池中通過輪詢或最少負載的負載均衡策略使存儲任務均勻分配到每個線程。
7.如權利要求1所述的海量圖像文件的高并發存儲方法，其特征在于，所述服務器
8.一種海量圖像文件的高并發存儲系統，其特征在于，包括：
9.如權利要求8所述的海量圖像文件的高并發存儲系統，其特征在于，所述存儲系統還包括監控模塊，所述監控模塊用于對整個數據存儲過程進行實時監控。
10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲有計算機程序，所述計算機程序被處理器執行以實現如權利要求1-7任一項所述的海量圖像文件的高并發存儲方法。
...【技術特征摘要】
1.一種海量圖像文件的高并發存儲方法，其特征在于，包括以下步驟：
2.如權利要求1所述的海量圖像文件的高并發存儲方法，其特征在于，所述服務器為minio服務器或者ceph服務器。
3.如權利要求1所述的海量圖像文件的高并發存儲方法，其特征在于，所述分布式緩存通過設置過期策略，使所述分布式緩存中的數據與所述消息隊列中的數據保持一致。
4.如權利要求1所述的海量圖像文件的高并發存儲方法，其特征在于，所述異步處理是在存儲請求發出后，不立即處理，將所述存儲請求放入消息隊列，異步地從所述消息隊伍中獲取存儲請求，并進行后續的處理操作。
5.如權利要求1所述的海量圖像文件的高并發存儲方法，其特征在于，所述線程池中包括兩個或兩個以上的線程，所述線程池對所述線程的生命周期進行管理，使所述存儲任...
【專利技術屬性】
技術研發人員：羅靜，王博一，王曉，毛少將，宋佳，郭宇鵬，韓振宇，
申請(專利權)人：通號通信信息集團有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。