針對循環數據流的基于可到達性的協調制造技術

各實施例提供了與涉及現實世界系統(諸如社交網絡系統、路標/GPS系統等)的數據的大規模集合一起工作的技術。該技術使用協調時鐘協議執行增量、迭代和交互并行計算，其應用于在循環圖形中調度計算和管理諸如存儲器和網絡資源等的資源，循環圖形包括從在數據集合中的差異上執行計算的差分數據流模型得到的那些。

【技術實現步驟摘要】
【國外來華專利技術】【專利說明】
技術介紹
大多數數據流計算是非循環的，意味著圖形中的操作可以按線性次序排序使得每個操作的輸入來自“前一次”操作的輸出。非循環圖形相對容易調度，因為按線性次序運行操作確保了全部操作使它們的輸入可用。然而，另一方面，循環圖形難以調度，因為它們不需要是確保它們的輸入在操作運行前被完全形成的頂點上的次序；這樣的圖形通常需要問題相關的知識來有效地調度。在典型的增量數據流系統中，增量數據流系統被優化以處理對輸入的小的改變。因此，對于針對最初數據的改變，增量數據流系統處理每個改變來產生輸出。同時，對于典型的迭代數據流系統，迭代數據流系統可使用增量數據流程序的輸出并將其饋送返回到其輸入，以產生有效的固定點的循環。最后，如果它匯聚，所饋送回的對輸入的改變將不對輸出作出改變，并且迭代數據流系統將終止。然而，傳統增量和迭代計算在輸入發生改變時不兼容。在這樣的情形中，對輸入的每個改變需要被迭代數據流系統重新處理。即，隨著數據集合隨時間改變，傳統系統必須再次重新重頭運行程序，而不考慮程序是否被表示為數據流圖形，以數據并行方式執行、聲明性地寫等。
技術實現思路
在此描述的技術高效地執行增量、迭代和交互并行計算，其應用于在循環圖形中調度計算和管理諸如存儲器和網絡資源等的資源，循環圖形包括從在數據集合中的差異上執行計算的差分數據流模型得到的那些。在此討論的技術運用在使用協調時鐘協議的分布式設置中。提供本
技術實現思路
是為了以精簡的形式介紹將在以下詳細描述中進一步描述的一些概念。本
技術實現思路
不旨在標識所要求保護的主題的關鍵或必要特征，也不旨在用于幫助確定所要求保護的主題的范圍。例如術語“技術”可指代上述上下文和通篇文檔中所準許的系統、方法、計算機可讀指令、模塊、算法、硬件邏輯(例如，現場可編程門陣列(FPGA)、專用集成電路(ASIC)、專用標準產品(ASSP)、片上系統(SOC)、復雜可編程邏輯器件(CPLD))和/或技術。【附圖說明】參考附圖來描述詳細描述。在附圖中，附圖標記最左邊的數字標識該附圖標記首次出現的附圖。在不同的附圖中使用相同的附圖標記指示類似或相同的項。圖1是描繪針對循環數據流的基于可到達性的協調的各實施例可在其中操作的示例環境的框圖。圖2是根據至少一個實施例，計算具有針對循環數據流的基于可到達性的協調的圖形的相連接的組件的示例程序。圖3是根據各實施例的示出示例過程的數據流圖形，該示例過程依照針對循環數據流的基于可到達性的協調用于執行相連接的組件。圖4是根據各實施例的描繪示例體系結構的框圖，該示例體系結構可執行針對循環數據流的基于可到達性的協調的操作。圖5是根據一些實施例的描繪示例程序的圖，該程序用于針對循環數據流的基于可到達性的協調。圖6A、6B、6C和6D是根據各實施例的，示出采用協調時鐘的示例系統中的信息流狀態圖。圖7A和7B是根據各實施例的，示出采用協調時鐘的示例循環系統中的信息流的狀態圖。圖8是根據各實施例的，描繪協調時鐘的示例應用以標識可運行工作的圖。圖9是根據各實施例，描繪示例過程的圖，該過程用于針對循環數據流的基于可到達性的協調。【具體實施方式】皿各實施例提供適應于解決在分布式迭代計算中遇到的至少三個類型的問題的技術。如在此進一步描述的，各實施例提供了協議，通過該協議服務將:1)可刪除分布式終端，2)可控制資源調度，以及3)可控制垃圾收集和/或壓縮。因此，在至少一個實施例中，針對循環數據流的基于可到達性的協調是在單機/多處理器環境中實現。同時，在至少一個實施例中，針對循環數據流的基于可到達性的協調在網絡分布式環境中實現。網絡分布式環境可包括一個或多個類型的計算資源，計算資源的類型可包括計算、聯網和/或存儲設備。網絡分布式環境還可被稱為云計算環境。針對循環數據流的基于可到達性的協調支持實現差分數據流模式的高效增量和迭代數據并行計算。各實施例采用分散式協調時鐘協議，通過該協議分布式處理器可通過循環數據流圖形來高效跟蹤全局計算的進程。該進程信息允許處理器作出有效的本地調度決策、通過壓縮更新來回收存儲，以及并行地處理輸入數據的多個時期而不合并結果。針對循環數據流的基于可到達性的協調技術能夠高效處理數據，包括非迭代或復雜迭代算法，其可被編程以在可縮放分布式實現中隨新輸入的到達而自動更新。針對循環數據流的基于可到達性的協調有效地執行增量和/或批量迭代的處理任務。在此描述的技術可像包括多個嵌套循環的強力連接的組件那樣計算并增量地更新分析的輸出。這些技術使用處理器的群集跨現實世界輸入流獲得這些任務的子第二更新等待時間。涉及現實世界系統(諸如社交網絡系統或地圖/GPS系統)的數據的大規模集合上的計算，可被建模成數據流圖形。在各實現中，在此描述的針對循環數據流的基于可到達性的協調在處理隨時間改變的數據時包括以下方案:數據流繪圖、聲明性編程，和數據并行性。程序的數據流圖形表示是影響并發性和流水線化的一種途徑。因為一個函數(例如，數據流頂點)的輸出是下一個的輸入，它們一被上游頂點產生就用作下游頂點處理輸入，因此，兩個頂點可以同時執行。聲明性計算機編程是用于數據流類型執行的另一方法，它可被計算機編程人員采用來指定算子之間的依賴性，所述算子用于清除從程序到數據流圖形的映射。數據并行化是另一種方法，它提供了在數據流圖形中并行運行每個頂點的多個副本的一種途徑。對于合適的算法，將數據切片成各分區使得每個并行頂點實例可獨立處理其自己的分區是可能的。因此，在此描述的針對循環數據流的基于可到達性的協調可包括:將計算建模為數據流圖形，使用聲明性編程語言來寫用于計算的程序，并將該計算用數據并行性進行并行化，以及管理涉及隨時間改變的現實世界系統的數據的集合。在此描述的技術實現能夠增量地更新包括任意嵌套迭代的大規模數據并行計算的可縮放分布式執行平臺。例如，隨著從24小時滑動窗獲取連續到來的推文(tweet)，該技術能夠實時地計算并維持推特(TWITTER)的消息收發圖形的相連的組件結構。系統采用經由基于可能循環的圖形(其頂點表示版本化的集合上的操作)上的數據流的可縮放分布式實現的差分數據流計算模式。不同于現有的批量系統，其中每個頂點被期望運行若干秒或分鐘，所描述的技術采用較細粒度通信和協調技術，其中許多頂點被期望運行若干微妙且一些根本不運行。在此描述的技術設計協調的開銷的實質減小，同時維持精確的分布式狀態信息。狀態信息包括，系統必須接下來調度數據流圖形中的哪個頂點。系統可根據調度來執行工作，以通過頂點執行時間中的多個數量級的減少來有助于系統性能。在一些實施例中，協調時鐘可管理計算，其中數據流圖形可以是不是功能上的數據并行的意義上的“算子”的合成的頂點。所描述的框架和分布式協議概述了以允許獨立處理器作出關于調度和資源管理的有效本地決策的方式的差分數據流計算的過程。在各實施例中，在不同頂點版本之間的差分數據流圖形次序依賴性的結構，允許系統確定那個版本可繼續接收更新。輕量的非阻擋協議允許處理器交換關于處理動作的最小的量的信息，以便使系統中的其它處理器保持當前關于系統的待辦更新。所采用的差分數據流方法使用輸入記錄的小的集合進行細粒度的頂點調用。以此方式，系統展示批量處理器的高的吞吐量，同時響應于輸入中的改變，并用通常與流處理器相關本文檔來自技高網...

【技術保護點】
一種方法，包括：通過以下跟蹤計算的進展：將要在計算中被處理的多個數據項的每一個與數據流圖形的頂點相關聯，所述數據流圖形表示單個程序；將要在計算中被處理的多個數據項的每一個與時戳相關聯，所述時戳對應于其中數據項在所述計算中被創建的次序；存儲與每個數據項相關聯的頂點－時戳對；以及對與每個頂點－時戳對相關聯的要被處理的數據項的數量進行計數；以及由至少一個處理器進行通信，所述處理器異步發送一個或多個消息，所述消息包括與至少一個頂點－時戳對相關聯的多個要被處理的數據項。

【技術特征摘要】
【國外來華專利技術】...

【專利技術屬性】
技術研發人員：F·D·麥克斯謝里，R·伊薩克斯，M·A·伊薩德，D·G·穆雷，
申請(專利權)人：微軟技術許可有限責任公司，
類型：發明
國別省市：美國;US