一種數據分發方法、裝置及系統制造方法及圖紙

本發明專利技術公開了一種數據分發方法、裝置及系統。所述方法包括：將數據上傳至源數據服務器；所述源數據服務器獲取邊緣服務器信息，并根據其存儲的所述數據和所述邊緣服務器信息生成種子文件，所述種子文件中包括源數據服務器和所有邊緣服務器的地址信息；所述源數據服務器將所述種子文件發送給種子服務器；所述邊緣服務器從所述種子服務器獲取種子文件，并根據其中的地址信息從所述源數據服務器和/或所述邊緣服務器獲取所述數據。本發明專利技術提出的上述方案支持大數據和大規模集成數據的分發，無需Tracker服務器同步信息，分發速度快，克服了現有技術下載慢，擴展性差的缺點。

【技術實現步驟摘要】
一種數據分發方法、裝置及系統
本專利技術涉及計算機網絡
，尤其涉及一種數據分發方法、裝置及系統。
技術介紹
內容分發網絡(CDN)是一種分布式的網絡，包含兩種節點，源站和邊緣機。源站提供CDN中的源數據，通常只有一個或幾個；邊緣機直接面向用戶提供服務，數量由CDN網絡規模決定，從幾十到幾千不等。內容分發網絡(CDN)基于IP網絡而構建，基于內容訪問與應用的效率要求、質量要求和內容秩序而提供內容的分發和服務。而從廣義的角度，CDN代表了一種基于網絡而構建的高質量、高效率、具有鮮明網絡秩序的網絡應用服務模式。簡單地說，內容分發網絡(CDN)是一個經策略性部署的整體系統，包括分布式存儲、負載均衡、網絡請求的重定向和內容管理4個要件，而內容管理和全局的網絡流量管理(TrafficManagement)是CDN的核心所在。通過用戶就近性和服務器負載的判斷，CDN能夠確保內容以一種極為高效的方式為用戶的請求提供服務。圖1示出了現有技術中在CDN網絡通過Http方式分發內容的系統結構示意圖。如圖1所示，在初始狀態下，邊緣機沒有源數據，無法向用戶提供服務，所以源站需要先將數據分發到邊緣機。現有的CDN分發技術有Http方式和P2P方式等。目前最簡單的CDN數據分發方式是通過Http下載分發，數據提供商先將源數據發布到源站，邊緣機通過Http協議從源站下載源數據，這樣一個發布流程就完成了。通過Http協議分發數據的方式在邊緣機規模小，源數據不大的情況下，發布速度快，但是擴展性差，當邊緣機數量過多或分發數據量過大時，源站的帶寬和Http請求量都會激增，嚴重時會造成源站宕機，服務中止。當需要分發大文件或者CDN集群規模較大時，一般是通過P2P來分發數據。P2P(點對點網絡)又稱工作組，網上各臺計算機有相同的功能，無主從之分，一臺計算機都是既可作為服務器，設定共享資源供網絡中其他計算機所使用，又可以作為工作站，沒有專用的服務器，也沒有專用的工作站。P2P網絡中包括P2P網絡中的點(peer)，即該網絡中的各個客戶端；Tracker服務器，其作為P2P網絡的信息中心，負責同步各個客戶端的信息；種子文件，其用于存儲P2P網絡中數據的信息，其包含文件列表、文件哈希值和文件分片等信息。圖2示出了現有技術中在CDN網絡中通過P2P的方式分發內容的系統結構示意圖。如圖2所示，在P2P網絡中，每一個數據下載者同時也是數據提供者，通過Tracker服務器來同步各個Peer的信息，每一個Peer都可以從其他Peer下載內容。在這里運行于源站和邊緣機的P2P客戶端都是Peer。具體數據分發流程如下：數據提供商先將源數據發布到源站上；通過種子生成客戶端生成源數據的種子文件；上傳種子文件到種子服務器；源站Peer向Tracker服務器匯報自己的信息，聲明自己加入P2P網絡，其他Peer可以從這里下載數據；邊緣機從種子服務器下載種子文件；邊緣機Peer解析種子文件，獲取要下載文件的信息；邊緣機Peer向Tracker服務器匯報自己的信息，聲明自己加入P2P網絡；Peer向Tracker服務器匯報自己信息的同時，Tracker服務器向各個Peer返回P2P網絡中其他Peer的信息；各Peer從Tracker服務器取得其他Peer的信息后，相互傳輸數據。P2P內容分發方式支持大數據、大規模集群數據的分發，但是這種內容分發網絡中需要通過Tracker服務器同步信息，相應降低了分發速度。
技術實現思路
為解決現有技術中的上述問題，本專利技術提出了一種數據分發方法及裝置。根據本專利技術一方面，其提出了一種數據分發方法，包括：將數據上傳至源數據服務器；所述源數據服務器獲取邊緣服務器信息，并根據其存儲的所述數據和所述邊緣服務器信息生成種子文件，所述種子文件中包括源數據服務器和所有邊緣服務器的地址信息；所述源數據服務器將所述種子文件發送給種子服務器；所述邊緣服務器從所述種子服務器獲取種子文件，并根據其中的地址信息從所述源數據服務器和/或所述邊緣服務器獲取所述數據。可選地，上述方法還包括：所述源數據服務器從地址信息數據存儲器中獲取邊緣服務器的地址信息，所述地址信息數據存儲器中存儲有所有邊緣服務器的地址信息。可選地，其中，所述根據其中的地址信息從所述源數據服務器和/或所述邊緣服務器獲取所述數據包括：從所述地址信息中優先選擇從與本邊緣服務器位于同一地理區域或同一互聯網服務提供商ISP網絡的所述源數據服務器和/或所述邊緣服務器獲取所述數據。可選地，其還包括，所述邊緣服務器解析所述種子文件，并獲取其中的地址信息。可選地，其中所述地址信息為所述源服務器和所有邊緣服務器的IP地址列表。可選地，其中，所述源數據服務器、種子服務器和邊緣服務器構成P2P網絡。可選地，其用于內容分發網絡CDN節點的快速部署。根據本專利技術的另一方面，其還提出了一種數據分發裝置，包括：數據上傳模塊，其將數據上傳至源數據服務器；種子生成模塊，其獲取邊緣服務器信息，并根據源數據服務器存儲的所述數據和所述邊緣服務器信息生成種子文件，所述種子文件中包括源數據服務器和所有邊緣服務器的地址信息；種子分發模塊，其將所述種子文件發送給種子服務器；數據獲取模塊，其從所述種子服務器獲取種子文件，并根據其中的地址信息從所述源數據服務器和/或所述邊緣服務器獲取所述數據并存儲于邊緣服務器。可選地，其還包括：所述種子生成模塊從地址信息數據存儲器中獲取邊緣服務器的地址信息，所述地址信息數據存儲器中存儲有所有邊緣服務器的地址信息。可選地，其中，所述數據獲取模塊從所述地址信息中優先選擇從與本邊緣服務器位于同一地理區域或同一互聯網服務提供商ISP網絡的所述源數據服務器和/或所述邊緣服務器獲取所述數據。可選地，其還包括，所述數據獲取模塊解析所述種子文件，并獲取其中的地址信息。可選地，其中，所述地址信息為所述源服務器和所有邊緣服務器的IP地址列表。可選地，其中，所述源數據服務器、種子服務器和邊緣服務器構成P2P網絡。可選地，其用于內容分發網絡CDN節點的快速部署。根據本專利技術另一方面，其還提出了一種數據分發系統，包括：源數據服務器，其獲取邊緣服務器信息，并根據所存儲的數據和所述邊緣服務器信息生成種子文件，所述種子文件中包括源數據服務器和所有邊緣服務器的地址信息；所述數據是預先上傳至所述源數據服務器的；種子服務器，其從所述源數據服務器獲取種子文件；邊緣服務器，其從所述種子服務器獲取種子文件，并根據其中的地址信息從所述源數據服務器和/或所述邊緣服務器獲取所述數據。可選地，其還包括：所述源數據服務器從地址信息數據存儲器中獲取邊緣服務器的地址信息，所述地址信息數據存儲器中存儲有所有邊緣服務器的地址信息。可選地，其中，所述邊緣服務器從所述地址信息中優先選擇從與本邊緣服務器位于同一地理區域或同一互聯網服務提供商ISP網絡的所述源數據服務器和/或所述邊緣服務器獲取所述數據。可選地，其中，所述邊緣服務器解析所述種子文件，并獲取其中的地址信息。可選地，其中，所述地址信息為所述源服務器和所有邊緣服務器的IP地址列表。可選地，其中，所述源數據服務器、種子服務器和邊緣服務器構成P2P網絡。可選地，其用于內容分發網絡CDN節點的快速部署。本專利技術提出的上述數據分發方法及裝置本文檔來自技高網...

【技術保護點】
一種數據分發方法，包括：將數據上傳至源數據服務器；所述源數據服務器獲取邊緣服務器信息，并根據其存儲的所述數據和所述邊緣服務器信息生成種子文件，所述種子文件中包括源數據服務器和所有邊緣服務器的地址信息；所述源數據服務器將所述種子文件發送給種子服務器；所述邊緣服務器從所述種子服務器獲取種子文件，并根據其中的地址信息從所述源數據服務器和/或所述邊緣服務器獲取所述數據。

【技術特征摘要】
1.一種數據分發方法，包括：將數據上傳至源數據服務器；所述源數據服務器獲取邊緣服務器信息，并根據其存儲的所述數據和所述邊緣服務器信息生成種子文件，所述種子文件中包括源數據服務器和所有邊緣服務器的地址信息；所述源數據服務器將所述種子文件發送給種子服務器；所述邊緣服務器從所述種子服務器獲取種子文件，并根據其中的地址信息從所述源數據服務器和/或所述邊緣服務器獲取所述數據，其中，所述邊緣服務器通過詢問所述地址信息中存儲的邊緣服務器是否下載有同樣的數據來選擇從所述源數據服務器和/或邊緣服務器獲取所述數據。2.如權利要求1所述的數據分發方法，其還包括：所述源數據服務器從地址信息數據存儲器中獲取邊緣服務器的地址信息，所述地址信息數據存儲器中存儲有所有邊緣服務器的地址信息。3.如權利要求1所述的數據分發方法，其中，所述根據其中的地址信息從所述源數據服務器和/或所述邊緣服務器獲取所述數據包括：從所述地址信息中優先選擇與本邊緣服務器位于同一地理區域或同一互聯網服務提供商ISP網絡的所述源數據服務器和/或所述邊緣服務器獲取所述數據。4.如權利要求1所述的數據分發方法，其還包括，所述邊緣服務器解析所述種子文件，并獲取其中的地址信息。5.如權利要求1所述的數據分發方法，其中所述地址信息為所述源數據服務器和所有邊緣服務器的IP地址列表。6.如權利要求1-5任一項所述的數據分發方法，其中，所述源數據服務器、種子服務器和邊緣服務器構成P2P網絡。7.如權利要求6所述的數據分發方法，其用于內容分發網絡節點的快速部署。8.一種數據分發裝置，包括：數據上傳模塊，其將數據上傳至源數據服務器；種子生成模塊，其獲取邊緣服務器信息，并根據源數據服務器存儲的所述數據和所述邊緣服務器信息生成種子文件，所述種子文件中包括源數據服務器和所有邊緣服務器的地址信息；種子分發模塊，其將所述種子文件發送給種子服務器；數據獲取模塊，其從所述種子服務器獲取種子文件，并根據其中的地址信息從所述源數據服務器和/或所述邊緣服務器獲取所述數據并存儲于邊緣服務器，其中，通過詢問所述地址信息中存儲的邊緣服務器是否下載有同樣的數據來選擇從所述源數據服務器和/或邊緣服務器獲取所述數據。9.如權利要求8所述的數據分發裝置，其還包括：所述種子生成模塊從地址信息數據存儲器中獲取邊緣...

【專利技術屬性】
技術研發人員：廖子謙，
申請(專利權)人：北京奇虎科技有限公司， 奇智軟件北京有限公司，
類型：發明
國別省市：北京;11