【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)屬于醫(yī)療數(shù)據(jù)處理，具體涉及一種基于高效動(dòng)態(tài)數(shù)據(jù)配置的醫(yī)療大數(shù)據(jù)es寬表生成方法和裝置。
技術(shù)介紹
1、在當(dāng)今數(shù)字化時(shí)代，大數(shù)據(jù)已經(jīng)逐漸滲透到大眾生活的方方面面，醫(yī)療數(shù)據(jù)也不例外。隨著醫(yī)療行業(yè)信息化進(jìn)程的推進(jìn)，醫(yī)生、醫(yī)療科研專家和患者對(duì)于數(shù)據(jù)的查看、研究和統(tǒng)計(jì)需求不斷增加。然而，現(xiàn)階段多數(shù)醫(yī)院和醫(yī)療系統(tǒng)的設(shè)計(jì)仍然局限于單一醫(yī)院或本地系統(tǒng)，通常采用關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)如mysql和oracle進(jìn)行數(shù)據(jù)存儲(chǔ)，并通過sql實(shí)現(xiàn)多表連接和查詢，這種傳統(tǒng)方式導(dǎo)致數(shù)據(jù)處理效率不高，無法有效適應(yīng)醫(yī)療數(shù)據(jù)結(jié)構(gòu)的復(fù)雜性和數(shù)據(jù)來源的多樣化。
2、由于這些系統(tǒng)通常只能在本院范圍內(nèi)使用，底層數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)查詢和統(tǒng)計(jì)的功能無法跨醫(yī)院或跨區(qū)域進(jìn)行延展，這種局限性帶來了數(shù)據(jù)資源重復(fù)利用率低、數(shù)據(jù)處理過程復(fù)雜的問題，難以支持醫(yī)療數(shù)據(jù)的共享和高效應(yīng)用。此外，不同醫(yī)院和地區(qū)的系統(tǒng)標(biāo)準(zhǔn)不統(tǒng)一，缺乏通用性和兼容性，導(dǎo)致系統(tǒng)跨區(qū)域使用時(shí)必須重新開發(fā)，從而無法形成一個(gè)具備高適應(yīng)性和可擴(kuò)展性的通用平臺(tái)。這種現(xiàn)狀不僅顯著增加了系統(tǒng)開發(fā)和維護(hù)的成本，也阻礙了醫(yī)療數(shù)據(jù)潛在價(jià)值的發(fā)揮，難以為多樣化的醫(yī)療場(chǎng)景提供一致的、有效的數(shù)據(jù)支持。
3、總的來看，目前常見方案主要存在以下不足：
4、（1）系統(tǒng)局限性：系統(tǒng)架構(gòu)通常僅限于單一醫(yī)院或本地，難以實(shí)現(xiàn)跨醫(yī)院和跨區(qū)域的數(shù)據(jù)共享和協(xié)作；
5、（2）數(shù)據(jù)存儲(chǔ)和查詢效率低：依賴傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)，多表關(guān)聯(lián)查詢效率低，難以支持復(fù)雜結(jié)構(gòu)和多樣化來源的醫(yī)療數(shù)據(jù)；
6、（3）缺乏數(shù)據(jù)標(biāo)準(zhǔn)化和通
7、（4）數(shù)據(jù)處理過程復(fù)雜：數(shù)據(jù)處理過程復(fù)雜且耗時(shí)，尤其是涉及多表關(guān)聯(lián)、復(fù)雜查詢和大數(shù)據(jù)量時(shí)，系統(tǒng)響應(yīng)速度低，數(shù)據(jù)庫(kù)表壓力過大，無法支持并發(fā)較高的醫(yī)療應(yīng)用；
8、（5）難以支持多維度分析和智能化：現(xiàn)有系統(tǒng)多限于基礎(chǔ)統(tǒng)計(jì)分析，缺乏多維度分析和智能化算法支持，難以滿足醫(yī)療研究和診斷的深度需求；
9、（6）高維護(hù)成本：由于系統(tǒng)設(shè)計(jì)缺乏靈活性和擴(kuò)展性，每次升級(jí)或調(diào)整都需要較高的維護(hù)成本，難以快速適應(yīng)新的需求變化。
10、因此，亟需建立一個(gè)數(shù)據(jù)結(jié)構(gòu)靈活、系統(tǒng)兼容性強(qiáng)、跨區(qū)域適用的醫(yī)療數(shù)據(jù)管理和分析平臺(tái)，以進(jìn)一步提升醫(yī)療信息的共享效率，推動(dòng)精準(zhǔn)醫(yī)療的發(fā)展并實(shí)現(xiàn)更廣泛的數(shù)據(jù)資源整合。
技術(shù)實(shí)現(xiàn)思路
1、鑒于上述，本專利技術(shù)的目的是提供一種基于高效動(dòng)態(tài)數(shù)據(jù)配置的醫(yī)療大數(shù)據(jù)es寬表生成方法和裝置，通過管理后臺(tái)配置數(shù)據(jù)源、需要集成的表和字段，并通過配置驅(qū)動(dòng)引擎進(jìn)行動(dòng)態(tài)的數(shù)據(jù)采集、加工、轉(zhuǎn)換與融合，最終形成適應(yīng)醫(yī)療大數(shù)據(jù)需求的elasticsearch（es）寬表，實(shí)現(xiàn)高效整合和管理大規(guī)模醫(yī)療數(shù)據(jù)，提供強(qiáng)大的數(shù)據(jù)檢索和分析能力，顯著提升跨機(jī)構(gòu)數(shù)據(jù)共享、快速查詢和精確分析的能力。
2、為實(shí)現(xiàn)上述專利技術(shù)目的，本專利技術(shù)提供的技術(shù)方案如下：
3、本專利技術(shù)實(shí)施例提供的一種基于高效動(dòng)態(tài)數(shù)據(jù)配置的醫(yī)療大數(shù)據(jù)es寬表生成方法，包括以下步驟：
4、基于搭建的es分布式集群進(jìn)行包括數(shù)據(jù)源配置、表配置、字段配置和es配置的動(dòng)態(tài)數(shù)據(jù)配置；
5、根據(jù)動(dòng)態(tài)數(shù)據(jù)配置通過多線程從數(shù)據(jù)源的指定表中分別以人的維度進(jìn)行人員主表查詢、以就診的維度進(jìn)行源表查詢，采集所需字段的數(shù)據(jù)；
6、將采集的數(shù)據(jù)根據(jù)數(shù)據(jù)類型轉(zhuǎn)換為統(tǒng)一的es字段結(jié)構(gòu)類型以得到標(biāo)準(zhǔn)化的數(shù)據(jù)；
7、基于標(biāo)準(zhǔn)化的數(shù)據(jù)分別按照人和就診的維度進(jìn)行數(shù)據(jù)組裝，生成es人員寬表數(shù)據(jù)和es就診寬表數(shù)據(jù)，將兩張es寬表數(shù)據(jù)實(shí)時(shí)更新至es分布式集群中，得到es人員寬表和es就診寬表。
8、優(yōu)選地，數(shù)據(jù)源配置包括：配置數(shù)據(jù)讀取的數(shù)據(jù)源，目標(biāo)端數(shù)據(jù)源選擇已搭建好的es分布式集群；
9、表配置包括：配置數(shù)據(jù)源需要讀取的數(shù)據(jù)庫(kù)實(shí)例、表、以及表的信息；
10、字段配置包括：配置需采集的字段數(shù)據(jù)、字段數(shù)據(jù)類型、對(duì)應(yīng)的es字段、是否保存為數(shù)組集合，若為縱表字段還需配置查詢的條件；
11、es配置包括：支持創(chuàng)建和刪除的es寬表，指定es數(shù)據(jù)寫入的寬表、以及es數(shù)據(jù)查詢的寬表。
12、優(yōu)選地，所述根據(jù)動(dòng)態(tài)數(shù)據(jù)配置通過多線程從數(shù)據(jù)源的指定表中分別以人的維度進(jìn)行人員主表查詢、以就診的維度進(jìn)行源表查詢，采集所需字段的數(shù)據(jù)，包括：
13、讀取數(shù)據(jù)源配置、表配置和字段配置，根據(jù)數(shù)據(jù)源、表、字段的查詢條件進(jìn)行分組，每組組裝成一個(gè)查詢sql，若為非病歷表則查詢sql中還需增加身份證號(hào)，若為病歷表則查詢sql中還需增加身份證號(hào)和唯一就診號(hào)；
14、根據(jù)患者身份證號(hào)進(jìn)行以人的維度的人員主表查詢，獲取患者基本信息，得到人員主表查詢的數(shù)據(jù)對(duì)象；
15、根據(jù)查詢sql和人員主表查詢的數(shù)據(jù)對(duì)象進(jìn)行以就診的維度的源表查詢，使用線程池對(duì)查詢sql進(jìn)行多線程并發(fā)查詢，獲取患者就診信息，得到源表查詢的數(shù)據(jù)對(duì)象；
16、將人員主表查詢的數(shù)據(jù)對(duì)象和源表查詢的數(shù)據(jù)對(duì)象進(jìn)行數(shù)據(jù)整合，得到整合的數(shù)據(jù)對(duì)象。
17、優(yōu)選地，在進(jìn)行人員主表查詢時(shí)，將處理數(shù)據(jù)中斷的身份證號(hào)作為中斷點(diǎn)，如果內(nèi)存中存在中斷點(diǎn)的數(shù)據(jù)信息，則直接讀取內(nèi)存中的中斷點(diǎn)的數(shù)據(jù)信息，如果內(nèi)存中不存在中斷點(diǎn)的數(shù)據(jù)信息，則讀取數(shù)據(jù)庫(kù)信息加載到內(nèi)存中，將中斷點(diǎn)的數(shù)據(jù)信息存儲(chǔ)為全局變量以避免循環(huán)中對(duì)其進(jìn)行反復(fù)查詢，并加鎖保障線程安全。
18、優(yōu)選地，人員主表查詢、源表查詢和數(shù)據(jù)整合為異步執(zhí)行，即根據(jù)配置每批只查詢固定數(shù)量的人員數(shù)據(jù)，當(dāng)人員主表和源表數(shù)據(jù)查詢完成后，無需等待數(shù)據(jù)整合完成即可執(zhí)行下一批次的人員主表查詢和源表查詢，并連續(xù)執(zhí)行此流程。
19、優(yōu)選地，基于標(biāo)準(zhǔn)化的數(shù)據(jù)按照人的維度進(jìn)行es人員寬表數(shù)據(jù)寫入得到es人員寬表，包括：
20、根據(jù)標(biāo)準(zhǔn)化的數(shù)據(jù)中的人員身份證范圍刪除es人員寬表的歷史記錄；
21、基于標(biāo)準(zhǔn)化的數(shù)據(jù)中的人員主表查詢的數(shù)據(jù)對(duì)象創(chuàng)建人員map對(duì)象，遍歷整合的數(shù)據(jù)對(duì)象，將當(dāng)前遍歷的數(shù)據(jù)根據(jù)源表字段類型和es的數(shù)據(jù)的字段類型進(jìn)行轉(zhuǎn)換，將每個(gè)患者的所有醫(yī)療相關(guān)數(shù)據(jù)存儲(chǔ)到人員map對(duì)象中，如果有配置集合則將多條同類的數(shù)據(jù)按照就診時(shí)間排序存入一個(gè)列表集合中，再存儲(chǔ)到人員map對(duì)象中，并將所有患者的記錄進(jìn)行整合得到人員寬表數(shù)據(jù)對(duì)象；
22、以身份證號(hào)為主鍵，將整合得到的人員寬表數(shù)據(jù)對(duì)象異步插入到es人員索引中得到es人員寬表，并增加插入異常補(bǔ)償，進(jìn)行再次插入，若補(bǔ)償失敗則將插入失敗的身份證號(hào)保存到表中，等待后續(xù)進(jìn)行失敗數(shù)據(jù)重新處理。
23、優(yōu)選地，基于標(biāo)準(zhǔn)化的數(shù)據(jù)按照就診的維度進(jìn)行es就診寬表數(shù)據(jù)寫入得到es就診寬表，包括：
24、根據(jù)標(biāo)準(zhǔn)化的數(shù)據(jù)中的人員身份證范圍刪除es就診寬表的歷史記錄；
25、基于標(biāo)準(zhǔn)化的數(shù)據(jù)中的源表查詢的數(shù)據(jù)對(duì)象創(chuàng)建就診map對(duì)象，遍歷整合的數(shù)據(jù)對(duì)象，根據(jù)唯一就診本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于高效動(dòng)態(tài)數(shù)據(jù)配置的醫(yī)療大數(shù)據(jù)ES寬表生成方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的基于高效動(dòng)態(tài)數(shù)據(jù)配置的醫(yī)療大數(shù)據(jù)ES寬表生成方法，其特征在于，數(shù)據(jù)源配置包括：配置數(shù)據(jù)讀取的數(shù)據(jù)源，目標(biāo)端數(shù)據(jù)源選擇已搭建好的ES分布式集群；
3.根據(jù)權(quán)利要求1所述的基于高效動(dòng)態(tài)數(shù)據(jù)配置的醫(yī)療大數(shù)據(jù)ES寬表生成方法，其特征在于，所述根據(jù)動(dòng)態(tài)數(shù)據(jù)配置通過多線程從數(shù)據(jù)源的指定表中分別以人的維度進(jìn)行人員主表查詢、以就診的維度進(jìn)行源表查詢，采集所需字段的數(shù)據(jù)，包括：
4.根據(jù)權(quán)利要求3所述的基于高效動(dòng)態(tài)數(shù)據(jù)配置的醫(yī)療大數(shù)據(jù)ES寬表生成方法，其特征在于，在進(jìn)行人員主表查詢時(shí)，將處理數(shù)據(jù)中斷的身份證號(hào)作為中斷點(diǎn)，如果內(nèi)存中存在中斷點(diǎn)的數(shù)據(jù)信息，則直接讀取內(nèi)存中的中斷點(diǎn)的數(shù)據(jù)信息，如果內(nèi)存中不存在中斷點(diǎn)的數(shù)據(jù)信息，則讀取數(shù)據(jù)庫(kù)信息加載到內(nèi)存中，將中斷點(diǎn)的數(shù)據(jù)信息存儲(chǔ)為全局變量以避免循環(huán)中對(duì)其進(jìn)行反復(fù)查詢，并加鎖保障線程安全。
5.根據(jù)權(quán)利要求3所述的基于高效動(dòng)態(tài)數(shù)據(jù)配置的醫(yī)療大數(shù)據(jù)ES寬表生成方法，其特征在于，人員主表查詢、源表查詢和數(shù)
6.根據(jù)權(quán)利要求3所述的基于高效動(dòng)態(tài)數(shù)據(jù)配置的醫(yī)療大數(shù)據(jù)ES寬表生成方法，其特征在于，基于標(biāo)準(zhǔn)化的數(shù)據(jù)按照人的維度進(jìn)行ES人員寬表數(shù)據(jù)寫入得到ES人員寬表，包括：
7.根據(jù)權(quán)利要求3所述的基于高效動(dòng)態(tài)數(shù)據(jù)配置的醫(yī)療大數(shù)據(jù)ES寬表生成方法，其特征在于，基于標(biāo)準(zhǔn)化的數(shù)據(jù)按照就診的維度進(jìn)行ES就診寬表數(shù)據(jù)寫入得到ES就診寬表，包括：
8.根據(jù)權(quán)利要求1所述的基于高效動(dòng)態(tài)數(shù)據(jù)配置的醫(yī)療大數(shù)據(jù)ES寬表生成方法，其特征在于，通過線程池并發(fā)地執(zhí)行ES人員寬表的生成和ES就診寬表的生成。
9.根據(jù)權(quán)利要求1所述的基于高效動(dòng)態(tài)數(shù)據(jù)配置的醫(yī)療大數(shù)據(jù)ES寬表生成方法，其特征在于，數(shù)據(jù)采集和數(shù)據(jù)寫入的線程支持并發(fā)執(zhí)行，直到所有的患者數(shù)據(jù)集成完畢，同時(shí)支持通過異常數(shù)據(jù)處理線程讀取表中插入的異常的患者身份證號(hào)，根據(jù)配置的失敗次數(shù)進(jìn)行異常的患者數(shù)據(jù)補(bǔ)償重新插入，如果達(dá)到指定的失敗次數(shù)則停止失敗補(bǔ)償并發(fā)送失敗告警，引入人工處理。
10.一種基于高效動(dòng)態(tài)數(shù)據(jù)配置的醫(yī)療大數(shù)據(jù)ES寬表生成裝置，利用權(quán)利要求1-9任一項(xiàng)所述的基于高效動(dòng)態(tài)數(shù)據(jù)配置的醫(yī)療大數(shù)據(jù)ES寬表生成方法實(shí)現(xiàn)，其特征在于，包括：數(shù)據(jù)配置模塊、數(shù)據(jù)采集模塊、數(shù)據(jù)標(biāo)準(zhǔn)化模塊、以及ES寬表生成模塊；
...【技術(shù)特征摘要】
1.一種基于高效動(dòng)態(tài)數(shù)據(jù)配置的醫(yī)療大數(shù)據(jù)es寬表生成方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的基于高效動(dòng)態(tài)數(shù)據(jù)配置的醫(yī)療大數(shù)據(jù)es寬表生成方法，其特征在于，數(shù)據(jù)源配置包括：配置數(shù)據(jù)讀取的數(shù)據(jù)源，目標(biāo)端數(shù)據(jù)源選擇已搭建好的es分布式集群；
3.根據(jù)權(quán)利要求1所述的基于高效動(dòng)態(tài)數(shù)據(jù)配置的醫(yī)療大數(shù)據(jù)es寬表生成方法，其特征在于，所述根據(jù)動(dòng)態(tài)數(shù)據(jù)配置通過多線程從數(shù)據(jù)源的指定表中分別以人的維度進(jìn)行人員主表查詢、以就診的維度進(jìn)行源表查詢，采集所需字段的數(shù)據(jù)，包括：
4.根據(jù)權(quán)利要求3所述的基于高效動(dòng)態(tài)數(shù)據(jù)配置的醫(yī)療大數(shù)據(jù)es寬表生成方法，其特征在于，在進(jìn)行人員主表查詢時(shí)，將處理數(shù)據(jù)中斷的身份證號(hào)作為中斷點(diǎn)，如果內(nèi)存中存在中斷點(diǎn)的數(shù)據(jù)信息，則直接讀取內(nèi)存中的中斷點(diǎn)的數(shù)據(jù)信息，如果內(nèi)存中不存在中斷點(diǎn)的數(shù)據(jù)信息，則讀取數(shù)據(jù)庫(kù)信息加載到內(nèi)存中，將中斷點(diǎn)的數(shù)據(jù)信息存儲(chǔ)為全局變量以避免循環(huán)中對(duì)其進(jìn)行反復(fù)查詢，并加鎖保障線程安全。
5.根據(jù)權(quán)利要求3所述的基于高效動(dòng)態(tài)數(shù)據(jù)配置的醫(yī)療大數(shù)據(jù)es寬表生成方法，其特征在于，人員主表查詢、源表查詢和數(shù)據(jù)整合為異步執(zhí)行，即根據(jù)配置每批只查詢固定數(shù)量的人員數(shù)據(jù)，當(dāng)人員主表和源表數(shù)據(jù)查詢完成后，無需等待數(shù)據(jù)整合完成即可執(zhí)行下一批次的人員主表查...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：黃宏，周燕萍，汪利東，李武勝，王偉，黃煒，周煬斌，周潤(rùn)澤，童晶繼，戚銘杰，謝軍，吳臨波，
申請(qǐng)(專利權(quán))人：杭州古珀醫(yī)療科技有限公司，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。