面向PACS數據庫中放射圖像的基于內容的檢索方法和系統技術方案

本發明專利技術公開了一種面向ＰＡＣＳ數據庫中放射圖像的基于內容的檢索方法和系統，該方法通過將放射信息系統中的放射診斷報告與ＰＡＣＳ中的放射圖像進行關聯，并建立放射診斷報告的倒排索引和放射圖像的特征索引庫，然后使用“兩階段搜索”算法實現對放射圖像的基于內容的檢索。本發明專利技術將文本檢索技術和基于內容的圖像檢索技術進行了有效的整合，解決了傳統的基于內容的圖像檢索技術不適用于大規模圖像數據庫的缺陷，并且在一定程度上緩解了傳統的基于內容的圖像檢索技術中的“語義鴻溝”現象，具有很高的應用價值。

【技術實現步驟摘要】

本專利技術屬于醫療信息技術和信息檢索
，具體涉及一種面向PACS數據庫中放射圖像的基于內容的檢索方法和系統。
技術介紹
醫學影像信息學及其工程應用的關鍵核心系統是醫學圖像歸檔與通信系統(PACS)。PACS集醫學圖像的采集、通信、處理、存儲與顯示于一體，是醫院實現數字化的關鍵信息系統和技術支撐平臺。隨著醫學成像技術的發展和醫學信息系統的普及，一所現代化醫院的放射科每天會產生大量的放射醫學圖像，這些圖像是醫生進行臨床診斷、病情跟蹤、手術計劃、預后研究、鑒別診斷的重要客觀依據。醫學圖像數據的多樣性和重要性亟待高效的醫學圖像檢索方法，以最大限度地利用醫學圖像所提供的信息?；趦热莸膱D像檢索(Content-base?Image?Retrieval，CBIR)技術在近年來引起了廣泛的關注，其目的便是從圖像自身包含的內容出發，檢索數據庫中與之相關的圖像，其目標是要求計算機能代替人眼從海量圖像中選出與“樣圖”相似的圖像并反饋給用戶?，F今的CBIR系統一般都采用如下方法進行檢索：首先對圖像進行特征提取，得到描述圖像內容的特征向量，然后根據Euclid距離、相關系數等度量方法計算出待檢索的圖像與數據庫中圖像的特征向量間的距離，最終選取距離最小的一些圖像作為檢索結果輸出。這種檢索方法面臨的最大困難在于，當圖像數據庫達到一定規模后，圖像特征向量間的距離計算非常耗時，這使得CBIR技術在大規模圖像數據庫中無法實用化。此外，要想真正模擬人識別圖像的功能需要圖像視覺特征與圖像語義特征間的有效溝通，而當前-->用于圖像檢索的特征主要是一些較為低層的視覺特征(如：顏色、形狀、紋理等)，這些低層特征與用戶查詢所使用的高層概念(如：病灶的影像學表現或病理學診斷等)之間還存在著巨大的“語義鴻溝”。目前醫學上雖然已經建立了不少CBIR系統，但這些系統大都處于實驗研究或臨床評估階段，而且這些系統所存儲和管理的圖像數量非常有限(幾千到幾萬幅)，幾乎沒有一個真正應用到臨床診斷或治療的日常工作之中。
技術實現思路
本專利技術提供了一種面向PACS數據庫中放射圖像的基于內容的檢索方法和系統，以解決傳統CBIR技術不適用于大規模圖像數據庫的缺陷，并可以在一定程度上緩解傳統CBIR技術中的“語義鴻溝”現象。本專利技術所采用的技術方案如下：一種面向PACS數據庫中放射圖像的基于內容的檢索方法，其特征在于：通過放射信息系統(RIS)與PACS間的集成，將RIS中的放射診斷報告與PACS中的放射圖像進行關聯，并分別建立放射診斷報告的倒排索引和放射圖像的特征索引，然后使用兩階段搜索算法對查詢請求進行基于內容的圖像檢索；一個有效的查詢請求至少由圖像示例和圖像示例相關文本描述信息組成，其中圖像示例為用戶指定的一幅PACS圖像，圖像示例相關文本描述信息為圖像示例的影像學表現或/和可能的病理學診斷結果的文字描述；兩階段搜索算法的具體過程是：第一階段，使用待檢圖像的影像學所見或/和可能的病理學診斷的描述文本在放射診斷報告倒排索引中進行檢索，此階段可以得到與待檢圖像在影像學表現或病理學診斷上相關的一組放射診斷報告列表，稱為候選搜索結果集，候選搜索結果集中的報告是按照文本向量空間模型中的相關度排序的；第二階段，在圖像特征索引庫中提取候選搜-->索結果集中報告的相關PACS圖像集合的特征，然后計算圖像集合中的圖像與待檢圖像在特征向量空間中的距離，并依據計算得出的距離對候選搜索結果集重新排序，然后將最終結果返回給用戶。所述的面向PACS數據庫中放射圖像的基于內容的檢索方法，其特征在于：所述第二階段算法中計算圖像集合中的圖像與待檢圖像在特征向量空間中的距離，并依據計算得出的距離從小到大對候選搜索結果集重新排序，然后將最終結果返回給用戶。所述的面向PACS數據庫中放射圖像的基于內容的檢索方法，其特征在于：查詢請求還包括患者基本身份信息和影像檢查相關信息。一種面向PACS數據庫中放射圖像的基于內容的檢索系統，由于實施如上所述的方法，其特征在于：它由圖像顯示工作站、查詢接口模塊、放射診斷報告索引模塊、圖像特征提取模塊、放射診斷報告檢索模塊、圖像匹配模塊、圖像特征庫管理模塊、放射診斷報告倒排索引、圖像特征和縮略圖庫、放射診斷報告數據庫和PACS圖像數據庫組成；其中：圖像顯示工作站：醫生使用圖像顯示工作站進行圖像選擇、圖像的感興趣區域選擇、輸入查詢文本和提交查詢請求，檢索結果也在圖像顯示工作站中顯示；查詢接口模塊：圖像顯示工作站與搜索引擎進行交互的接口模塊；放射診斷報告索引模塊：用于建立RIS數據庫中的放射報告的文本索引；圖像特征提取模塊：用于對PACS圖像或圖像中的感興趣區域進行特征提?。?->放射診斷報告檢索模塊：放射報告的文本檢索引擎服務器；圖像匹配模塊：用于計算圖像特征或者圖像感興趣區域的特征間的相似度；圖像特征庫管理模塊：用于對圖像或者圖像感興趣區域的特征，以及圖像縮略圖進行管理。本專利技術具有以下效果和優點：1.通過檢索放射診斷報告倒排索引的方法實現對大規模PACS圖像數據庫的導航，大大減少一次查詢過程中需要進行特征向量間距離計算的圖像的數量，使得對大規模PACS圖像數據庫的檢索成為可能；2.使用放射診斷報告文本檢索技術在一定程度上緩解CBIR的“語義鴻溝”現象。因為放射診斷報告是對放射圖像的人為理解和描述，故放射診斷報告中的關鍵詞比圖像低層視覺特征在語義上更加接近人們的搜索意圖；3.通過對文本檢索技術和基于內容的圖像檢索技術的有效整合，充分發揮兩種技術的優勢，以達到取長補短的效果。相對于獨立的文本檢索方法和CBIR方法，本專利技術的檢索方法具有更好的性能和更高的準確度。附圖說明圖1是本專利技術一種實施例系統的架構框圖；圖2是本專利技術方法檢索過程的流程圖。具體實施方式本專利技術提供了一種面向PACS數據庫中放射圖像的基于內容的檢索方法。通過RIS與PACS間的集成，將RIS中的放射診斷報告與PACS中的-->放射圖像進行關聯，并分別建立放射診斷報告的倒排索引和放射圖像的特征索引，然后使用“兩階段搜索”算法對查詢請求進行基于內容的圖像檢索。一個有效的查詢請求至少由圖像示例和圖像示例相關文本描述信息組成，其中圖像示例為用戶指定的一幅PACS圖像，圖像示例相關文本描述信息為圖像示例的影像學表現或/和可能的病理學診斷結果的文字描述。此外，查詢請求還可以包括患者基本身份信息(患者姓名、性別、出生日期等)和影像檢查相關信息(檢查設備類型、患者的檢查部位等)。兩階段搜索算法的具體過程是：第一階段，使用待檢圖像的影像學所見或/和可能的病理學診斷的描述文本在放射診斷報告倒排索引中進行檢索，此階段可以得到與待檢圖像在影像學表現或病理學診斷上相關的一組放射診斷報告列表，稱為候選搜索結果集，候選搜索結果集中的報告是按照文本向量空間模型中的相關度排序的；第二階段，在圖像特征索引庫中提取候選搜索結果集中報告的相關PACS圖像集合的特征，然后計算圖像集合中的圖像與待檢圖像在特征向量空間中的距離，并依據計算得出的距離從小到大對候選搜索結果集重新排序，然后將最終結果返回給用戶。下面結合附圖和實施例對本專利技術進行進一步說明。如圖1，該檢索系統由圖像顯示工作站100、查詢接口模塊101、放射診斷報告索引模塊102、圖像特本文檔來自技高網...

【技術保護點】
一種面向ＰＡＣＳ數據庫中放射圖像的基于內容的檢索方法，其特征在于：通過ＲＩＳ與ＰＡＣＳ間的集成，將ＲＩＳ中的放射診斷報告與ＰＡＣＳ中的放射圖像進行關聯，并分別建立放射診斷報告的倒排索引和放射圖像的特征索引，然后使用兩階段搜索算法對查詢請求進行基于內容的圖像檢索；一個有效的查詢請求至少由圖像示例和圖像示例相關文本描述信息組成，其中圖像示例為用戶指定的一幅ＰＡＣＳ圖像，圖像示例相關文本描述信息為圖像示例的影像學表現或／和可能的病理學診斷結果的文字描述；　兩階段搜索算法的具體 過程是：第一階段，使用待檢圖像的影像學所見或／和可能的病理學診斷的描述文本在放射診斷報告倒排索引中進行檢索，此階段可以得到與待檢圖像在影像學表現或病理學診斷上相關的一組放射診斷報告列表，稱為候選搜索結果集，候選搜索結果集中的報告是按照文本向量空間模型中的相關度排序的；第二階段，在圖像特征索引庫中提取候選搜索結果集中報告的相關ＰＡＣＳ圖像集合的特征，然后計算圖像集合中的圖像與待檢圖像在特征向量空間中的距離，并依據計算得出的距離對候選搜索結果集重新排序，然后將最終結果返回給用戶。

【技術特征摘要】
1、一種面向PACS數據庫中放射圖像的基于內容的檢索方法，其特征在于：通過RIS與PACS間的集成，將RIS中的放射診斷報告與PACS中的放射圖像進行關聯，并分別建立放射診斷報告的倒排索引和放射圖像的特征索引，然后使用兩階段搜索算法對查詢請求進行基于內容的圖像檢索；一個有效的查詢請求至少由圖像示例和圖像示例相關文本描述信息組成，其中圖像示例為用戶指定的一幅PACS圖像，圖像示例相關文本描述信息為圖像示例的影像學表現或/和可能的病理學診斷結果的文字描述；兩階段搜索算法的具體過程是：第一階段，使用待檢圖像的影像學所見或/和可能的病理學診斷的描述文本在放射診斷報告倒排索引中進行檢索，此階段可以得到與待檢圖像在影像學表現或病理學診斷上相關的一組放射診斷報告列表，稱為候選搜索結果集，候選搜索結果集中的報告是按照文本向量空間模型中的相關度排序的；第二階段，在圖像特征索引庫中提取候選搜索結果集中報告的相關PACS圖像集合的特征，然后計算圖像集合中的圖像與待檢圖像在特征向量空間中的距離，并依據計算得出的距離對候選搜索結果集重新排序，然后將最終結果返回給用戶。2、根據權利要求1所述的面向PACS數據庫中放射圖像的基于內容的檢索方法，其特征在于：所述第二階段算法中計算圖像集合中的圖像與待檢圖像在特征向量空間中的距離，并依據計算得出的距離從小到大對候選搜索結果集重新排序，然后將最終結果返...

【專利技術屬性】
技術研發人員：張建國，何振宇，
申請(專利權)人：中國科學院上海技術物理研究所，
類型：發明
國別省市：31[中國|上海]