【技術實現步驟摘要】
本專利技術涉及通信協議逆向工程?，尤其涉及一種基于字段模式的網絡協議格式推斷方法及系統。
技術介紹
1、在實際使用中，協議是通信、工業、電力系統等行業的重要組成部分，它起著為系統內各個部件建立通訊連接的重要作用，除了用于交換數據、交換信息等基本功能，部分協議更是具備控制遠端設備的權限。協議逆向是指分析未知或未充分文檔化的通信協議，揭示其內部語法-語義理解的過程。協議逆向對于網絡安全研究、惡意軟件分析、網絡流量分析、網絡協議的互操作性測試等領域都非常重要。通過理解和分析協議，研究人員可以更好地應對網絡攻擊、解決通信問題以及改進網絡通信的性能和安全性。
2、在網絡協議的應用過程中，國際上對于一些常用的協議進行了標準制定，如著名的ftp、ssl等，因而出現了一些專用于某個協議標準的安全保障工具。但是，在協議的實際使用中，廠商可能會根據其需要對標準協議進行定制。此外，還有許多不公開的廠商內部使用的私有協議。隨著通信協議種類和應用場景的不斷多元化、實現方式的閉源異構化、協議行為和功能的日益復雜化，以及協議安全攻擊和防御手段的不斷演化，協議逆向的工作面臨的嚴峻挑戰。
3、在協議逆向工程中，基于流量的協議逆向方法是一種通過分析網絡通信流量來理解和還原通信協議的技術，而無需訪問協議的具體實現源代碼或文檔。在這個過程中，研究人員試圖理解和分析協議的內部工作原理，通常包括：數據攔截與分析、數據解析、狀態機分析、逆向工程和漏洞分析等。該方法可以有效對抗多元化場景下協議實現閉源的問題，即在沒有協議文檔或源代碼支撐的情況下，僅需流
4、基于流量的協議逆向方法是一種通過分析網絡流量來推斷協議的結構和格式的技術，它主要依賴于將捕獲的網絡數據包按照相似性對齊和聚類，然后通過對齊數據包中的字節序列來發現重復的字段模式或結構（如字節頻率、信息熵、線性/非線性關系等）。目前，有許多協議逆向工具可用于協議的格式推斷，如netzob和?netplier等。netzob在對消息進行成對對齊和聚類后，使用字段長度、字段順序和字段間關系等字段模式推斷協議消息格式。netplier首先使用四個啟發式規則構建了一個基于概率的關鍵字識別系統，然后實現了聚類，最后使用字段模式（如具有特定值的靜態字段和具有潛在值列表的動態字段）推斷消息格式。binaryinferno實現了從啟發式規則派生的各種原子檢測器（例如浮點檢測器、時間戳檢測器和長度檢測器），然后通過有向無環圖方法實現了協議字段推理的檢測器集成。discoverer使用令牌模式使用簡單的語義（例如文本或二進制）對字節進行令牌化，然后對消息進行聚類，最后采用統計分析（如字節頻率、信息熵等）來識別字段之間的關系和結構。nemesys通過單個消息的內在結構從值變化分布中推導出字段邊界，以識別二進制協議的字段。它引入了格式匹配分數，即消息格式推理的定量度量，無法處理協議格式的多樣性。fieldhunter使用特定公共字段的一般語義和特征，例如消息長度或主機id，并通過在這些類型和字節值之間建立統計相關性來標識字段。
5、以上方法都采用了基于啟發式規則的方法，將消息分類到不同的集群中，并根據預設和固定的字段模式或結構推斷協議的報文語法。雖然這些方法恢復了未知消息的語法，它們不完整且不靈活的場模式導致精度較低。首先，它們使用從啟發式規則中導出的固定模式來識別字段，將其適用性限制在特定類型的協議上，因為其他協議可能缺乏預定義的模式。例如，由于tcp協議使用的時間戳不符合ntp或unix時間戳等標準時間格式，因此binaryinferno的預設時間戳檢測器無法識別它們。其次，在協議典型的現場識別中，具有閾值的固定模式是不準確的。使用統一方法來標準化所有協議的現有技術可能會導致對協議規范的誤解。
6、傳統方法采用有限的固定模式或啟發式規則來識別協議格式。例如，netplier使用四個啟發式規則來識別關鍵字段，而binaryinferno有五個內置的固定模式識別典型字段。隨著新協議的出現和現有協議的演變，通信協議變得極其多樣化，每種協議都可以設計成不同的領域和結構。現有協議包含多種字段模式。因此，基于規則的啟發式方法無法覆蓋所有字段模式。現有的協議表現出廣泛的字段模式，使得在這些字段之間探索預定義的模式變得復雜且勞動密集。例如，圖2顯示了modbus查詢消息、hart_ip直通請求消息和iec60870_104消息切片和語法的語法。modbus消息中的f1字段和hart_ip消息中的f5可以通過簡單明了的模式準確識別。盡管如此，modbus協議的f3、f4和f5字段的固有模式是神秘的，難以捕捉。因此，基于啟發式規則的方法無法解釋所有字段模式。
7、由于不同的協議具有不同的字段模式，這些工具通常依賴預設和固定的字段模式來識別和分析數據包，缺乏靈活性和廣泛的適用性，導致字段分割的好處有限。例如，由于用于提高網絡通信性能和可靠性的tcp協議的時間戳不符合ntp或unix時間戳等標準時間格式，因此無法使用binaryinferno的自定義時間戳檢測器進行識別。此外，一些基于啟發式的方法采用閾值設置來識別字段，這可能會在處理未知或非標準協議時增加識別錯誤，因為這些閾值并不適用于所有情況。雖然這三種協議都包括y=kx+b的模式，但三種模式之間存在差異。在hart_ip和iec?60870_104中，'x'表示包含字段本身的后續字段的長度，而modbus表示字段后的序列長度。fieldhunter使用固定閾值來擬合字段值與實際消息大小之間的線性相關性，這無法準確識別它們的字段。協議設計和實現通常遵循功能應用程序的要求，并基于現有協議的規范和知識。這允許協議之間有更相似的知識或共同的模式。例如，modbus協議中length字段的識別模式遵循消息長度與長度字段值的線性擬合，這在amqp和iec104協議中是相同的。先前的方法使用統計分析來基于從具有規范的協議中總結的一般字段模式來推斷協議格式。然而，各種協議之間的顯著差異限制了字段模式的擴展，從而降低了協議理解的準確性。
技術實現思路
1、本專利技術提供一種基于字段模式的網絡協議格式推斷方法及系統，用以解決現有網絡協議格式逆向推斷不準確、復雜度高的問題。
2、本專利技術提供一種基于字段模式的網絡協議格式推斷方法，包括：
3、獲取網絡流量，基于所述網絡流量提取目標未知協議，基于目標未知協議進行十進制整數轉換和序列標簽生成；
4、基于所述序列標簽將所述目標未知協議的目標域與預獲取的已知協議的源域進行協方差計算，在協方差最小值情況下，選擇相應的源域作為目標域的最佳源；
5、基于選擇的最佳源通過深度遷移學習模型進行目標未知協議消息格式的推斷。...
【技術保護點】
1.一種基于字段模式的網絡協議格式推斷方法，其特征在于，包括：
2.根據權利要求1所述的基于字段模式的網絡協議格式推斷方法，其特征在于，所述獲取網絡流量，基于所述網絡流量提取目標未知協議，基于目標未知協議進行十進制整數轉換和序列標簽生成，具體包括：
3.根據權利要求1所述的基于字段模式的網絡協議格式推斷方法，其特征在于，所述基于所述序列標簽將所述目標未知協議的目標域與預獲取的已知協議的源域進行協方差計算，在協方差最小值情況下，選擇相應的源域作為目標域的最佳源，具體包括：
4.根據權利要求3所述的基于字段模式的網絡協議格式推斷方法，其特征在于，所述基于對齊結果通過預設的協方差計算模型計算目標未知協議的目標域與預獲取的已知協議的源域之間的協方差，具體包括：
5.根據權利要求1所述的基于字段模式的網絡協議格式推斷方法，其特征在于，所述基于選擇的最佳源通過深度遷移學習模型進行目標未知協議消息格式的推斷，具體包括：
6.根據權利要求5所述的基于字段模式的網絡協議格式推斷方法，其特征在于，所述通過深度遷移學習模型的基礎網絡執行語法特
7.一種基于字段模式的網絡協議格式推斷系統，其特征在于，所述系統包括：
8.一種電子設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現如權利要求1至6任一項所述基于字段模式的網絡協議格式推斷方法。
9.一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至6任一項所述基于字段模式的網絡協議格式推斷方法。
10.一種計算機程序產品，包括計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至6任一項所述基于字段模式的網絡協議格式推斷方法。
...【技術特征摘要】
1.一種基于字段模式的網絡協議格式推斷方法，其特征在于，包括：
2.根據權利要求1所述的基于字段模式的網絡協議格式推斷方法，其特征在于，所述獲取網絡流量，基于所述網絡流量提取目標未知協議，基于目標未知協議進行十進制整數轉換和序列標簽生成，具體包括：
3.根據權利要求1所述的基于字段模式的網絡協議格式推斷方法，其特征在于，所述基于所述序列標簽將所述目標未知協議的目標域與預獲取的已知協議的源域進行協方差計算，在協方差最小值情況下，選擇相應的源域作為目標域的最佳源，具體包括：
4.根據權利要求3所述的基于字段模式的網絡協議格式推斷方法，其特征在于，所述基于對齊結果通過預設的協方差計算模型計算目標未知協議的目標域與預獲取的已知協議的源域之間的協方差，具體包括：
5.根據權利要求1所述的基于字段模式的網絡協議格式推斷方法，其特征在于，所述基于選擇的最佳源通過深度遷移學習模型進...
【專利技術屬性】
技術研發人員：趙艷陽，吳非凡，徐琪，馬福辰，陳元亮，姜宇，
申請(專利權)人：清華大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。