【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及計算機，尤其涉及一種數(shù)據(jù)傳輸方法、裝置、設備及存儲介質(zhì)。
技術(shù)介紹
1、在以內(nèi)容下載為主要方式的數(shù)據(jù)服務過程中，會出現(xiàn)某個特定內(nèi)容(例如視頻直播、文件下載)在短時間內(nèi)因為特別受歡迎，例如說熱門視頻或者內(nèi)容本身存在實時性的要求(例如直播)，導致出現(xiàn)大量用戶同時請求同一個內(nèi)容的現(xiàn)象，這個現(xiàn)象就是熱點集中。一般在大型服務系統(tǒng)中(例如cdn網(wǎng)絡系統(tǒng))，往往內(nèi)部由服務集群提供服務，以確保整體平臺的服務能力，系統(tǒng)中的負載均衡設備會將用戶對同一個內(nèi)容的請求都調(diào)度到同一個存儲單元上。此時，在內(nèi)容出現(xiàn)熱點集中的時候，請求相同內(nèi)容的用戶最終都會從同一個存儲單元上獲取數(shù)據(jù)，也即，所有訪問同一個內(nèi)容的用戶請求都會導向到一個存儲單元上，然而，當用戶的訪問量過大時，存儲單元可能會出現(xiàn)數(shù)據(jù)無法讀出或者服務擁塞等問題。
技術(shù)實現(xiàn)思路
1、本專利技術(shù)提供一種數(shù)據(jù)傳輸方法、裝置、設備及存儲介質(zhì)，旨在解決上述技術(shù)問題中存在的至少一個問題。
2、本專利技術(shù)提供一種數(shù)據(jù)傳輸方法，包括：
3、獲取多個客戶端針對同一個目標內(nèi)容發(fā)送的用戶請求，其中，所述用戶請求包括目標內(nèi)容的內(nèi)容詳情信息和請求內(nèi)容的起始位置；
4、基于所述內(nèi)容詳情信息，對所述目標內(nèi)容進行分片，得到多個分片內(nèi)容；
5、確定所述每一個分片內(nèi)容與各個存儲單元之間的映射關(guān)系，其中，所述存儲單元存儲有各個內(nèi)容的分片內(nèi)容；
6、基于所述映射關(guān)系和所述請求內(nèi)容的起始位置，對所述用戶請求進行拆分，得到多個
7、對于任一所述客戶端：將所述客戶端的各個分片下載請求發(fā)送至對應的存儲單元，以將存儲單元下發(fā)的分片內(nèi)容依次傳輸至所述客戶端。
8、根據(jù)本專利技術(shù)提供的一種數(shù)據(jù)傳輸方法，所述內(nèi)容詳情信息包括內(nèi)容標識和所述內(nèi)容大小；
9、所述基于所述內(nèi)容詳情信息，對所述目標內(nèi)容進行分片，得到多個分片內(nèi)容，包括：
10、基于所述內(nèi)容大小以及預設的分片大小，確定分片數(shù)量；
11、基于所述分片數(shù)量，對所述目標內(nèi)容進行分片，得到多個分片內(nèi)容，其中，每一所述分片內(nèi)容關(guān)聯(lián)有分片內(nèi)容的標識，所述分片內(nèi)容的標識是基于所述內(nèi)容標識和所述分片內(nèi)容的分片內(nèi)容范圍確定；所述分片內(nèi)容范圍是指每一個所述分片內(nèi)容在所述目標內(nèi)容中所占的開始位置和結(jié)束位置。
12、根據(jù)本專利技術(shù)提供的一種數(shù)據(jù)傳輸方法，所述確定所述每一個分片內(nèi)容與各個存儲單元之間的映射關(guān)系，包括：
13、基于每一所述分片內(nèi)容的標識，利用預設的哈希函數(shù)計算得到每一所述分片內(nèi)容對應的哈希值；
14、基于每一所述分片內(nèi)容對應的哈希值以及各所述存儲單元預先關(guān)聯(lián)的哈希值，確定所述每一個分片內(nèi)容與各個存儲單元之間的映射關(guān)系。
15、根據(jù)本專利技術(shù)提供的一種數(shù)據(jù)傳輸方法，所述將所述客戶端的各個分片下載請求發(fā)送至對應的存儲單元，以將存儲單元下發(fā)的分片內(nèi)容依次傳輸至所述客戶端，包括：
16、按照所述分片內(nèi)容的分片內(nèi)容范圍，確定各所述分片下載請求的訪問順序；
17、按照所述訪問順序，確定當前訪問存儲單元的分片下載請求；
18、按照所述映射關(guān)系，將所述分片下載請求發(fā)送至對應的存儲單元，以下載獲取所述存儲單元存儲的分片內(nèi)容，并將所述分片內(nèi)容傳輸至所述客戶端；
19、當所述分片內(nèi)容傳輸結(jié)束后，返回執(zhí)行所述按照所述訪問順序，確定當前訪問存儲單元的分片下載請求的步驟，直至將全部分片下載請求對應的分片內(nèi)容傳輸至所述客戶端。
20、根據(jù)本專利技術(shù)提供的一種數(shù)據(jù)傳輸方法，所述對于按照所述分片內(nèi)容的分片內(nèi)容范圍，確定所述分片下載請求的訪問順序之前，還包括：
21、按照接收到的各所述用戶請求關(guān)聯(lián)的請求時間戳，確定各所述用戶請求之間的時間差；
22、按照所述時間差，返回執(zhí)行所述按照所述分片內(nèi)容的分片內(nèi)容范圍，確定各所述分片下載請求的訪問順序的步驟。
23、根據(jù)本專利技術(shù)提供的一種數(shù)據(jù)傳輸方法，所述基于所述映射關(guān)系和所述請求內(nèi)容的起始位置，對所述用戶請求進行拆分，得到多個分片下載請求，包括：
24、基于所述請求內(nèi)容的起始位置和各所述分片內(nèi)容的分片內(nèi)容范圍，確定所述用戶請求的拆分數(shù)量；
25、基于所述映射關(guān)系、所述分片內(nèi)容的標識以及所述拆分數(shù)量，對所述用戶請求進行拆分，得到多個分片下載請求。
26、根據(jù)本專利技術(shù)提供的一種數(shù)據(jù)傳輸方法，所述基于所述內(nèi)容大小以及預設的分片大小，確定分片數(shù)量，包括：
27、將所述內(nèi)容大小除以所述分片大小，得到目標商值；
28、若所述目標商值是整數(shù)，則將所述目標商值作為所述分片數(shù)量；
29、若所述目標商值不是整數(shù)，則對所述目標商值進行向上取整，得到所述分片數(shù)量。
30、本專利技術(shù)還提供一種數(shù)據(jù)傳輸裝置，包括：
31、獲取模塊，用于獲取多個客戶端針對同一個目標內(nèi)容發(fā)送的用戶請求，其中，所述用戶請求包括目標內(nèi)容的內(nèi)容詳情信息；
32、分片模塊，用于基于所述內(nèi)容詳情信息，對所述目標內(nèi)容進行分片，得到多個分片內(nèi)容；
33、確定模塊，用于確定所述每一個分片內(nèi)容與各個存儲單元之間的映射關(guān)系，其中，所述存儲單元存儲有各個內(nèi)容的分片內(nèi)容；
34、拆分模塊，用于基于所述映射關(guān)系和所述請求內(nèi)容的起始位置，對所述用戶請求進行拆分，得到多個分片下載請求；
35、傳輸模塊，用于對于任一所述客戶端：將所述客戶端的各個分片下載請求發(fā)送至對應的存儲單元，以將存儲單元下發(fā)的分片內(nèi)容依次傳輸至所述客戶端。
36、本專利技術(shù)還提供一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述程序時實現(xiàn)如上述任一種所述數(shù)據(jù)傳輸方法。
37、本專利技術(shù)還提供一種非暫態(tài)計算機可讀存儲介質(zhì)，其上存儲有計算機程序，該計算機程序被處理器執(zhí)行時實現(xiàn)如上述任一種所述數(shù)據(jù)傳輸方法。
38、本專利技術(shù)還提供一種計算機程序產(chǎn)品，包括計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如上述任一種所述數(shù)據(jù)傳輸方法。
39、本專利技術(shù)提供的數(shù)據(jù)傳輸方法、裝置、設備及存儲介質(zhì)，包括：取多個客戶端針對同一個目標內(nèi)容發(fā)送的用戶請求，其中，所述用戶請求包括目標內(nèi)容的內(nèi)容詳情信息；基于所述內(nèi)容詳情信息，對所述目標內(nèi)容進行分片，得到多個分片內(nèi)容；確定所述每一個分片內(nèi)容與各個存儲單元之間的映射關(guān)系，其中，所述存儲單元存儲有各個內(nèi)容的分片內(nèi)容；基于所述映射關(guān)系和所述請求內(nèi)容的起始位置，對所述用戶請求進行拆分，得到多個分片下載請求；對于任一所述客戶端：將所述客戶端的各個分片下載請求發(fā)送至對應的存儲單元，以將存儲單元下發(fā)的分片內(nèi)容依次傳輸至所述客戶端。本專利技術(shù)通過對內(nèi)容進行分片存儲至不同的存儲單元中，針對同一個目標內(nèi)容的多個用戶請求，對目標內(nèi)容進行分片，得到多個分片內(nèi)容；并且確定每一個分片內(nèi)容與各個存儲單元之間的映射關(guān)系；對每一個用戶請求進行拆本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.一種數(shù)據(jù)傳輸方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)傳輸方法，其特征在于，所述內(nèi)容詳情信息包括內(nèi)容標識和所述內(nèi)容大小；
3.根據(jù)權(quán)利要求2所述的數(shù)據(jù)傳輸方法，其特征在于，所述確定所述每一個分片內(nèi)容與各個存儲單元之間的映射關(guān)系，包括：
4.根據(jù)權(quán)利要求2所述的數(shù)據(jù)傳輸方法，其特征在于，所述將所述客戶端的各個分片下載請求發(fā)送至對應的存儲單元，以將存儲單元下發(fā)的分片內(nèi)容依次傳輸至所述客戶端，包括：
5.根據(jù)權(quán)利要求4所述的數(shù)據(jù)傳輸方法，其特征在于，所述對于按照所述分片內(nèi)容的分片內(nèi)容范圍，確定所述分片下載請求的訪問順序之前，還包括：
6.根據(jù)權(quán)利要求2所述的數(shù)據(jù)傳輸方法，其特征在于，所述基于所述映射關(guān)系和所述請求內(nèi)容的起始位置，對所述用戶請求進行拆分，得到多個分片下載請求，包括：
7.根據(jù)權(quán)利要求2所述的數(shù)據(jù)傳輸方法，其特征在于，所述基于所述內(nèi)容大小以及預設的分片大小，確定分片數(shù)量，包括：
8.一種數(shù)據(jù)傳輸裝置，其特征在于，包括：
9.一種電子設備，包括存儲器、處理器及存儲在
10.一種非暫態(tài)計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至7任一項所述數(shù)據(jù)傳輸方法。
...【技術(shù)特征摘要】
1.一種數(shù)據(jù)傳輸方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)傳輸方法，其特征在于，所述內(nèi)容詳情信息包括內(nèi)容標識和所述內(nèi)容大小；
3.根據(jù)權(quán)利要求2所述的數(shù)據(jù)傳輸方法，其特征在于，所述確定所述每一個分片內(nèi)容與各個存儲單元之間的映射關(guān)系，包括：
4.根據(jù)權(quán)利要求2所述的數(shù)據(jù)傳輸方法，其特征在于，所述將所述客戶端的各個分片下載請求發(fā)送至對應的存儲單元，以將存儲單元下發(fā)的分片內(nèi)容依次傳輸至所述客戶端，包括：
5.根據(jù)權(quán)利要求4所述的數(shù)據(jù)傳輸方法，其特征在于，所述對于按照所述分片內(nèi)容的分片內(nèi)容范圍，確定所述分片下載請求的訪問順序之前，還包括：
6.根據(jù)權(quán)利要求2所述的數(shù)據(jù)...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：葛巍峰，
申請(專利權(quán))人：卓望數(shù)碼技術(shù)深圳有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。