【技術實現步驟摘要】
本專利技術涉及醫學文本報告自動生成，具體涉及一種融合空間信息和聯合損失優化的x光胸片報告生成方法。
技術介紹
1、x光胸片作為最常見的醫學影像之一，是醫生進行肺部、心臟等相關疾病診斷的重要工具，被廣泛應用于醫學臨床診斷和治療中。傳統的x光胸片診斷需要醫生仔細閱讀x光胸片，并準確地描述x光圖像中所顯示的異常情況，然后再給出相應的診斷結果。然而，這種方式存在著時間成本高、主觀性強等問題，因此，如何快速而準確地對x光胸片進行診斷成為了醫學界和計算機科學界共同關注的課題。
2、自動化診斷報告生成是一項需要計算機視覺和自然語言處理等多個前沿研究領域相結合的研究任務，主要是利用從圖像提取到的特征預測每一個時間步對應的單詞，從而構建整個編解碼模型框架。然而，本申請的專利技術人經過研究發現，當前利用深度學習生成x光胸片診斷報告的方法存在以下不足：(1)對特征圖的patch做注意力，難以學習到準確的特征圖空間注意力關系；(2)特征圖存在豐富的空間信息，而transformer將特征圖分成patch之后，可能會損失掉豐富的空間信息；(3)僅僅利用生成的報告來計算損失，可能會導致模型偏向生成正常的報告，而無法生成異常的報告。
技術實現思路
1、本專利技術的目的在于提供一種融合空間信息和聯合損失優化的x光胸片報告生成方法，以解決上述
技術介紹
中提出現有技術中的問題。
2、為實現上述目的，本專利技術采用了如下技術方案：
3、一種融合空間信息和聯合損失優化的x光胸片報告生成方
4、s1、使用圖像特征提取器提取x光胸片中的視覺特征，該圖像特征提取器由深度卷積網絡組成，包括第一至第四緊密連接層組和第一至第三過渡層，所述第一過渡層位于第一緊密連接層組之后，所述第二過渡層位于第二緊密連接層組之后，所述第三過渡層位于第三緊密連接層組之后，所述第四緊密連接層組位于第三過渡層之后；
5、s2、通過空間信息矩陣學習層生成一個蘊含特征圖空間信息的矩陣，由自注意力層、前饋層和卷積層組成；
6、s3、卷積塊注意力模塊用于學習各個特征之間的注意力關系，由通道注意力和空間注意力組成；
7、s4、編解碼器用于生成文本報告，編解碼器由十個標準transformer編碼層、十個標準transformer解碼層、一個全連接層和一個softmax回歸層組成；
8、s5、利用生成的報告和疾病分類結果計算損失，優化網絡模型。
9、優選地、所述步驟s1中所述圖像特征提取器用于提取x光胸片中的視覺特征，該圖像特征提取器由densenet組成。
10、優選地、所述步驟s5中首先采用xavier方法對網絡模型參數進行初始化，然后采用adam算法優化網絡目標函數，并運用誤差反向傳播算法更新網絡模型參數；將數據集mimic-cxr按7：1：2比例分為訓練集、驗證集和測試集。
11、優選地、所述步驟s3其中的多頭自注意力和多頭交叉注意力模塊中的注意力頭數為8。
12、本專利技術的技術效果和優點：本專利技術提出的一種融合空間信息和聯合損失優化的x光胸片報告生成方法，與現有技術相比，具有以下優點：
13、1、提高準確性：本專利技術通過將文本報告損失和疾病分類損失作為聯合損失，并通過將疾病分類結果擴展成矩陣拼接到特征圖中，利用疾病分類結果指導報告的生成，以此提高生成報告的準確性；
14、2、本專利技術通過添加一個空間信息矩陣來學習特征圖中存在的豐富的空間信息；
15、3、通過添加一個卷積塊注意力模塊來學習準確的特征圖空間注意力關系。
本文檔來自技高網...【技術保護點】
1.一種融合空間信息和聯合損失優化的X光胸片報告生成方法，其特征在于，包括如下步驟：
2.根據權利要求1所述的一種融合空間信息和聯合損失優化的X光胸片報告生成方法，其特征在于：所述步驟S1中所述圖像特征提取器用于提取X光胸片中的視覺特征，該圖像特征提取器由DenseNet組成。
3.根據權利要求1所述的一種融合空間信息和聯合損失優化的X光胸片報告生成方法，其特征在于：所述步驟S5中首先采用Xavier方法對網絡模型參數進行初始化，然后采用Adam算法優化網絡目標函數，并運用誤差反向傳播算法更新網絡模型參數；將數據集MIMIC-CXR按7：1：2比例分為訓練集、驗證集和測試集。
4.根據權利要求1所述的一種融合空間信息和聯合損失優化的X光胸片報告生成方法，其特征在于：所述步驟S3其中的多頭自注意力和多頭交叉注意力模塊中的注意力頭數為8。
【技術特征摘要】
1.一種融合空間信息和聯合損失優化的x光胸片報告生成方法，其特征在于，包括如下步驟：
2.根據權利要求1所述的一種融合空間信息和聯合損失優化的x光胸片報告生成方法，其特征在于：所述步驟s1中所述圖像特征提取器用于提取x光胸片中的視覺特征，該圖像特征提取器由densenet組成。
3.根據權利要求1所述的一種融合空間信息和聯合損失優化的x光胸片報告生成方法，其特征在...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。