本申請(qǐng)?zhí)岢隽艘环N全生命周期運(yùn)維系統(tǒng)的三網(wǎng)業(yè)務(wù)數(shù)據(jù)同步方法，應(yīng)用于數(shù)據(jù)同步系統(tǒng)，所述數(shù)據(jù)同步系統(tǒng)包括互聯(lián)網(wǎng)系統(tǒng)、視頻網(wǎng)系統(tǒng)以及公安網(wǎng)系統(tǒng)，該方法具體還包括：獲取所述數(shù)據(jù)同步系統(tǒng)內(nèi)數(shù)據(jù)變化的內(nèi)容并寫(xiě)入文件中；所述ftp服務(wù)端將所述文件寫(xiě)入所述ftp服務(wù)端的datasend文件夾；網(wǎng)閘從所述ftp服務(wù)端獲取所述文件傳輸至另一個(gè)所述數(shù)據(jù)同步系統(tǒng)的ftp服務(wù)端的datasend文件夾；所述數(shù)據(jù)同步系統(tǒng)解析所述文件的內(nèi)容，并存儲(chǔ)至對(duì)應(yīng)數(shù)據(jù)庫(kù)。通過(guò)數(shù)據(jù)同步系統(tǒng)對(duì)多個(gè)網(wǎng)絡(luò)的業(yè)務(wù)數(shù)據(jù)進(jìn)行自動(dòng)同步，實(shí)現(xiàn)多個(gè)網(wǎng)絡(luò)的系統(tǒng)操作，數(shù)據(jù)變化能夠?qū)崟r(shí)同步到另外一個(gè)網(wǎng)絡(luò)的系統(tǒng)，無(wú)感知同步能夠減少人工成本，數(shù)據(jù)的單向傳輸增加了數(shù)據(jù)傳輸之間的安全性。輸之間的安全性。輸之間的安全性。
【技術(shù)實(shí)現(xiàn)步驟摘要】
一種全生命周期運(yùn)維系統(tǒng)的三網(wǎng)業(yè)務(wù)數(shù)據(jù)同步方法與系統(tǒng)
[0001]本申請(qǐng)屬于數(shù)據(jù)實(shí)時(shí)同步
，具體涉及一種全生命周期運(yùn)維系統(tǒng)的三網(wǎng)業(yè)務(wù)數(shù)據(jù)同步方法與系統(tǒng)。
技術(shù)介紹
[0002]隨著Internet技術(shù)的迅速發(fā)展和信息共享要求的不斷提高,數(shù)據(jù)庫(kù)系統(tǒng)由小型化向大型化發(fā)展,由集中式向分布式發(fā)展。能處理分散地域的分布式數(shù)據(jù)庫(kù)系統(tǒng)成為一個(gè)重要研究方向，對(duì)于分布式數(shù)據(jù)庫(kù)系統(tǒng)來(lái)說(shuō)，為了提高運(yùn)行效率，數(shù)據(jù)就要分布在各個(gè)不同的結(jié)點(diǎn)，同一數(shù)據(jù)被存儲(chǔ)在多個(gè)結(jié)點(diǎn)上，即存在多個(gè)副本(數(shù)據(jù)冗余)，這樣就存在維護(hù)數(shù)據(jù)一致性即數(shù)據(jù)同步的問(wèn)題。
[0003]在多個(gè)網(wǎng)絡(luò)多個(gè)平臺(tái)的場(chǎng)景下，對(duì)數(shù)據(jù)的讀寫(xiě)同步就顯得相當(dāng)重要。然而，現(xiàn)有的若系統(tǒng)處于不同網(wǎng)絡(luò)之間數(shù)據(jù)同步需要人工拷貝數(shù)據(jù)庫(kù)文件到另外一個(gè)網(wǎng)絡(luò)進(jìn)行比對(duì)再進(jìn)行數(shù)據(jù)處理，采用這樣的人工同步方式，存在數(shù)據(jù)同步的延時(shí)大、失誤率大等問(wèn)題。
[0004]有鑒于此，設(shè)計(jì)制造出一種全生命周期運(yùn)維系統(tǒng)的三網(wǎng)業(yè)務(wù)數(shù)據(jù)同步方法與系統(tǒng)能夠克服上述問(wèn)題，提高數(shù)據(jù)的同步效率以及安全性就顯得尤為重要。
[0005]有鑒于此，提出一種全生命周期運(yùn)維系統(tǒng)的三網(wǎng)業(yè)務(wù)數(shù)據(jù)同步方法與系統(tǒng)是非常具有意義的。
[0006]申請(qǐng)內(nèi)容
[0007]為了解決現(xiàn)有的數(shù)據(jù)同步存在延遲高以及安全性差等問(wèn)題，本申請(qǐng)?zhí)峁┮环N全生命周期運(yùn)維系統(tǒng)的三網(wǎng)業(yè)務(wù)數(shù)據(jù)同步方法與系統(tǒng)，以解決現(xiàn)有的數(shù)據(jù)同步存在的技術(shù)缺陷問(wèn)題。
[0008]第一方面，本申請(qǐng)?zhí)岢隽艘环N全生命周期運(yùn)維系統(tǒng)的三網(wǎng)業(yè)務(wù)數(shù)據(jù)同步方法，應(yīng)用于數(shù)據(jù)同步系統(tǒng)，所述數(shù)據(jù)同步系統(tǒng)包括互聯(lián)網(wǎng)系統(tǒng)、視頻網(wǎng)系統(tǒng)以及公安網(wǎng)系統(tǒng)，所述方法包括：
[0009]獲取數(shù)據(jù)信息從互聯(lián)網(wǎng)系統(tǒng)傳輸至視頻網(wǎng)系統(tǒng)，從所述視頻網(wǎng)系統(tǒng)傳輸至所述公安網(wǎng)系統(tǒng)；
[0010]所述數(shù)據(jù)同步系統(tǒng)內(nèi)分別設(shè)置ftp服務(wù)端，所述ftp服務(wù)端之間通過(guò)網(wǎng)閘進(jìn)行數(shù)據(jù)傳輸；
[0011]該方法具體還包括：
[0012]獲取所述數(shù)據(jù)同步系統(tǒng)內(nèi)數(shù)據(jù)變化的內(nèi)容并寫(xiě)入文件中；
[0013]所述ftp服務(wù)端將所述文件寫(xiě)入所述ftp服務(wù)端的datasend文件夾；
[0014]網(wǎng)閘從所述ftp服務(wù)端獲取所述文件傳輸至另一個(gè)所述數(shù)據(jù)同步系統(tǒng)的ftp服務(wù)端的datasend文件夾；
[0015]所述數(shù)據(jù)同步系統(tǒng)解析所述文件的內(nèi)容，并存儲(chǔ)至對(duì)應(yīng)數(shù)據(jù)庫(kù)。通過(guò)數(shù)據(jù)同步系統(tǒng)對(duì)多個(gè)網(wǎng)絡(luò)的業(yè)務(wù)數(shù)據(jù)進(jìn)行自動(dòng)同步，實(shí)現(xiàn)多個(gè)網(wǎng)絡(luò)的系統(tǒng)操作，數(shù)據(jù)變化能夠?qū)崟r(shí)同步到另外一個(gè)網(wǎng)絡(luò)的系統(tǒng)，無(wú)感知同步能夠減少人工成本，避免手動(dòng)拷貝數(shù)據(jù)同步，從而減
少差錯(cuò)，數(shù)據(jù)的單向傳輸增加了數(shù)據(jù)傳輸之間的安全性。
[0016]優(yōu)選的，所述數(shù)據(jù)同步系統(tǒng)內(nèi)的數(shù)據(jù)包括：
[0017]結(jié)構(gòu)化的熱數(shù)據(jù)，存在于mysql數(shù)據(jù)庫(kù)，通過(guò)canal進(jìn)行監(jiān)聽(tīng)數(shù)據(jù)的變化并寫(xiě)入文件；
[0018]結(jié)構(gòu)化的冷數(shù)據(jù)，存在于mongodb數(shù)據(jù)庫(kù)，通過(guò)mongoshack進(jìn)行監(jiān)聽(tīng)數(shù)據(jù)的變化并寫(xiě)入文件；
[0019]非結(jié)構(gòu)化數(shù)據(jù)，存在于go
?
fastdfs，通過(guò)FileMonitorRunner監(jiān)聽(tīng)文件夾的變化并進(jìn)行文件傳輸。
[0020]進(jìn)一步優(yōu)選的，在所述互聯(lián)網(wǎng)系統(tǒng)的操作中，通過(guò)canal以及mongoshack監(jiān)聽(tīng)相應(yīng)數(shù)據(jù)庫(kù)的log變化，監(jiān)聽(tīng)到的變化數(shù)據(jù)寫(xiě)入文件，發(fā)送至所述ftp服務(wù)端的datasend文件夾里，網(wǎng)閘獲取所述文件并傳輸至所述視頻網(wǎng)系統(tǒng)的dataread文件夾。
[0021]進(jìn)一步優(yōu)選的，所述數(shù)據(jù)同步系統(tǒng)同時(shí)監(jiān)聽(tīng)所述dataread文件夾的變化，讀取從所述互聯(lián)網(wǎng)系統(tǒng)傳輸?shù)剿鲆曨l網(wǎng)系統(tǒng)的所述文件，對(duì)所述文件進(jìn)行解析并存儲(chǔ)至mysql、mongodb以及go
?
fastdfs，并實(shí)時(shí)記錄解析至某一行。
[0022]進(jìn)一步優(yōu)選的，當(dāng)下次所述數(shù)據(jù)同步系統(tǒng)啟動(dòng)時(shí)，所述數(shù)據(jù)同步系統(tǒng)從上一次所述文件所記錄解析的某一行開(kāi)始解析。服務(wù)停機(jī)恢復(fù)時(shí)數(shù)據(jù)能夠及時(shí)進(jìn)行補(bǔ)寫(xiě)工作，提高數(shù)據(jù)傳輸?shù)陌踩浴?br/>[0023]進(jìn)一步優(yōu)選的，所述解析記錄里預(yù)設(shè)一個(gè)字段version，每次解析所述文件之前先判斷所述字段version是否大于數(shù)據(jù)庫(kù)里面的version，若大于數(shù)據(jù)庫(kù)的version則對(duì)所述文件進(jìn)行修改，若小于數(shù)據(jù)庫(kù)的version則不進(jìn)行修改；
[0024]定期獲取所述dataread文件夾內(nèi)的文件與備份里的文件比對(duì)校驗(yàn)，若檢測(cè)到存在誤差的數(shù)據(jù)，則對(duì)該數(shù)據(jù)進(jìn)行處理。保證數(shù)據(jù)傳輸?shù)臏?zhǔn)確度高，確保數(shù)據(jù)的傳輸效率高。
[0025]優(yōu)選的，所述視頻網(wǎng)系統(tǒng)與所述公安網(wǎng)系統(tǒng)之間的數(shù)據(jù)傳輸具體包括：
[0026]所述視頻網(wǎng)系統(tǒng)預(yù)設(shè)有展示所述視頻網(wǎng)系統(tǒng)信息的顯示屏，當(dāng)所述視頻網(wǎng)系統(tǒng)信息變化時(shí)在所述顯示屏展示；
[0027]所述公安網(wǎng)系統(tǒng)預(yù)設(shè)有攝像機(jī)對(duì)所述顯示屏進(jìn)行監(jiān)控作業(yè)；
[0028]所述公安網(wǎng)系統(tǒng)預(yù)設(shè)有視頻結(jié)構(gòu)化平臺(tái)對(duì)所述攝像機(jī)取流進(jìn)行結(jié)構(gòu)化分析，并保存圖片至指定的文件夾內(nèi)；
[0029]通過(guò)AI通用識(shí)別服務(wù)定期掃描所述指定文件夾并解析；
[0030]解析得到的信息保存至數(shù)據(jù)庫(kù)。
[0031]第二方面，本申請(qǐng)?zhí)岢隽艘环N全生命周期運(yùn)維系統(tǒng)的三網(wǎng)業(yè)務(wù)數(shù)據(jù)同步系統(tǒng)，包括：
[0032]數(shù)據(jù)獲取單元：配置用于獲取需要同步的數(shù)據(jù)文件信息以及獲取數(shù)據(jù)文件的變化內(nèi)容；
[0033]數(shù)據(jù)傳輸單元：配置用于對(duì)獲取的數(shù)據(jù)文件進(jìn)行傳輸；
[0034]數(shù)據(jù)解析單元：配置用于解析數(shù)據(jù)文件；
[0035]數(shù)據(jù)監(jiān)聽(tīng)單元：配置用于監(jiān)聽(tīng)數(shù)據(jù)文件以及文件夾的變化。
[0036]第三方面，本申請(qǐng)實(shí)施例提供了一種電子設(shè)備，包括：一個(gè)或多個(gè)處理器；存儲(chǔ)裝置，用于存儲(chǔ)一個(gè)或多個(gè)程序，當(dāng)一個(gè)或多個(gè)程序被一個(gè)或多個(gè)處理器執(zhí)行，使得一個(gè)或多
個(gè)處理器實(shí)現(xiàn)如第一方面中任一實(shí)現(xiàn)方式描述的方法。
[0037]第四方面，本申請(qǐng)實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面中任一實(shí)現(xiàn)方式描述的方法。
[0038]與現(xiàn)有技術(shù)相比，本申請(qǐng)的有益成果在于：
[0039]通過(guò)數(shù)據(jù)同步系統(tǒng)對(duì)多個(gè)網(wǎng)絡(luò)的業(yè)務(wù)數(shù)據(jù)進(jìn)行自動(dòng)同步，實(shí)現(xiàn)多個(gè)網(wǎng)絡(luò)的系統(tǒng)操作，數(shù)據(jù)變化能夠?qū)崟r(shí)同步到另外一個(gè)網(wǎng)絡(luò)的系統(tǒng)，無(wú)感知同步能夠減少人工成本，避免手動(dòng)拷貝數(shù)據(jù)同步，從而減少差錯(cuò)，數(shù)據(jù)的單向傳輸，即使在服務(wù)停機(jī)恢復(fù)時(shí)數(shù)據(jù)能夠及時(shí)進(jìn)行補(bǔ)寫(xiě)工作，增加了數(shù)據(jù)傳輸之間的安全性。
附圖說(shuō)明
[0040]包括附圖以提供對(duì)實(shí)施例的進(jìn)一步理解并且附圖被并入本說(shuō)明書(shū)中并且構(gòu)成本說(shuō)明書(shū)的一部分。附圖圖示了實(shí)施例并且與描述一起用于解釋本申請(qǐng)的原理。將容易認(rèn)識(shí)到其它實(shí)施例和實(shí)施例的很多預(yù)期優(yōu)點(diǎn)，因?yàn)橥ㄟ^(guò)引用以下詳細(xì)描述，它們變得被更好地理解。附圖的元件不一定是相互按照比例的。同樣的附圖標(biāo)記指代對(duì)應(yīng)的類似部件。
[0041]圖1是本申請(qǐng)的一個(gè)實(shí)施例可以應(yīng)用于其中的示例性裝置架構(gòu)圖；
[0042]圖2為本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
【技術(shù)特征摘要】
1.一種全生命周期運(yùn)維系統(tǒng)的三網(wǎng)業(yè)務(wù)數(shù)據(jù)同步方法，其特征在于，應(yīng)用于數(shù)據(jù)同步系統(tǒng)，所述數(shù)據(jù)同步系統(tǒng)包括互聯(lián)網(wǎng)系統(tǒng)、視頻網(wǎng)系統(tǒng)以及公安網(wǎng)系統(tǒng)，所述方法包括：獲取數(shù)據(jù)信息從互聯(lián)網(wǎng)系統(tǒng)傳輸至視頻網(wǎng)系統(tǒng)，從所述視頻網(wǎng)系統(tǒng)傳輸至所述公安網(wǎng)系統(tǒng)；所述數(shù)據(jù)同步系統(tǒng)內(nèi)分別設(shè)置ftp服務(wù)端，所述ftp服務(wù)端之間通過(guò)網(wǎng)閘進(jìn)行數(shù)據(jù)傳輸；該方法具體還包括：獲取所述數(shù)據(jù)同步系統(tǒng)內(nèi)數(shù)據(jù)變化的內(nèi)容并寫(xiě)入文件中；所述ftp服務(wù)端將所述文件寫(xiě)入所述ftp服務(wù)端的datasend文件夾；網(wǎng)閘從所述ftp服務(wù)端獲取所述文件傳輸至另一個(gè)所述數(shù)據(jù)同步系統(tǒng)的ftp服務(wù)端的datasend文件夾；所述數(shù)據(jù)同步系統(tǒng)解析所述文件的內(nèi)容，并存儲(chǔ)至對(duì)應(yīng)數(shù)據(jù)庫(kù)。2.根據(jù)權(quán)利要求1所述的全生命周期運(yùn)維系統(tǒng)的三網(wǎng)業(yè)務(wù)數(shù)據(jù)同步方法，其特征在于，所述數(shù)據(jù)同步系統(tǒng)內(nèi)的數(shù)據(jù)包括：結(jié)構(gòu)化的熱數(shù)據(jù)，存在于mysql數(shù)據(jù)庫(kù)，通過(guò)canal進(jìn)行監(jiān)聽(tīng)數(shù)據(jù)的變化并寫(xiě)入文件；結(jié)構(gòu)化的冷數(shù)據(jù)，存在于mongodb數(shù)據(jù)庫(kù)，通過(guò)mongoshack進(jìn)行監(jiān)聽(tīng)數(shù)據(jù)的變化并寫(xiě)入文件；非結(jié)構(gòu)化數(shù)據(jù)，存在于go
?
fastdfs，通過(guò)FileMonitorRunner監(jiān)聽(tīng)文件夾的變化并進(jìn)行文件傳輸。3.根據(jù)權(quán)利要求2所述的全生命周期運(yùn)維系統(tǒng)的三網(wǎng)業(yè)務(wù)數(shù)據(jù)同步方法，其特征在于，在所述互聯(lián)網(wǎng)系統(tǒng)的操作中，通過(guò)canal以及mongoshack監(jiān)聽(tīng)相應(yīng)數(shù)據(jù)庫(kù)的log變化，監(jiān)聽(tīng)到的變化數(shù)據(jù)寫(xiě)入文件，發(fā)送至所述ftp服務(wù)端的datasend文件夾里，網(wǎng)閘獲取所述文件并傳輸至所述視頻網(wǎng)系統(tǒng)的dataread文件夾。4.根據(jù)權(quán)利要求3所述的全生命周期運(yùn)維系統(tǒng)的三網(wǎng)業(yè)務(wù)數(shù)據(jù)同步方法，其特征在于，所述數(shù)據(jù)同步系統(tǒng)同時(shí)監(jiān)聽(tīng)所述dataread文件夾的變化，讀取從所述互聯(lián)網(wǎng)系統(tǒng)傳輸?shù)剿鲆曨l網(wǎng)系統(tǒng)的所述文件，對(duì)所述文件進(jìn)行解析并存儲(chǔ)至mysql、mongodb以及go
?
fastdfs，并實(shí)時(shí)記錄解析至某一行。5.根據(jù)權(quán)利...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：盧林威，盧天發(fā)，張翔，
申請(qǐng)(專利權(quán))人：羅普特廈門(mén)系統(tǒng)集成有限公司，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。