【技術實現步驟摘要】
本專利技術涉及一種基于藥物預訓練模型的分子性質預測微調方法，屬于藥物發現。
技術介紹
1、藥物發現是一個復雜且資源密集的過程，傳統方法依賴于實驗和臨床試驗，這些方法不僅耗時且成本高昂。隨著人工智能技術的發展，特別是深度學習在生物信息學領域的應用，為藥物發現帶來了新的可能性。預訓練模型，如graph?neural?networks、graphtransformer?networks和bert等，已經在藥物發現中顯示出巨大的潛力，它們能夠通過在未標記數據集上的泛化學習來獲取分子結構的全面表示。這些模型能夠預測從量子化學到生理學的多種分子屬性，并被用作特征編碼器。
2、然而，這些大型網絡在微調下游任務時存在挑戰，因為它們需要為每個任務存儲和部署單獨的模型參數副本，這不僅成本高昂，而且往往不切實際。為了克服這些限制，研究人員提出了參數高效微調(parameter-efficient?fine-tuning,peft)方法。這些方法通過凍結背景網絡，并可能引入額外的可訓練參數，或者指定一組參數進行訓練，或者重新定義適應過程以提高效率。盡管這些peft方法在自然語言處理和計算機視覺任務中表現出色，但在藥物發現領域的應用卻鮮有研究。
3、此外，現有的peft方法在藥物發現應用中面臨挑戰，因為它們采用一刀切的策略，將統一的參數整合到所有下游知識中。這種統一性雖然簡化了微調過程，但卻忽視了預訓練模型中固有的多面性知識和特定下游任務的多因素要求，導致模型在明確學習分子內部復雜化學空間方面的能力較弱。在藥物發現中，需要全面知識
技術實現思路
1、為了解決上述問題，本專利技術提供了一種基于藥物預訓練模型的分子性質預測微調方法，該方法特別適用于藥物發現領域，通過設計一種高度可解釋且性能優異的微調范式，即頭部特征并行適配器(head?feature?parallel?adapter,hfpa)，以實現對預訓練模型的有效微調，所述技術方案如下：
2、本專利技術的分子性質預測微調方法包括：在用于藥物分子性質預測的預訓練模型中引入頭部特征并行適配器，凍結所述預訓練模型的主干部分后，通過訓練所述頭部特征并行適配器和藥物分子性質預測網絡得到訓練好的特定分子性質預測模型；
3、所述頭部特征并行適配器的計算過程包括：
4、首先利用所述預訓練模型的特征提取部分提取藥物分子的特征向量xi，將所述藥物分子的特征向量xi分解為h個大小相等的頭特征hik，同時通過分割操作將特征向量xi映射到多個子空間：
5、split(xi)＝(hi1,hi2,…,hih)k＝1,2,…,h
6、將每個頭特征hik通過一個適配器adapterik進行處理，所述適配器adapterik包括：下投影層、非線性激活函數和上投影層；所述下投影層將頭特征映射到一個更低的維度，得到低維度特征xdown，然后通過所述非線性激活函數增加模型的非線性表達能力，最后所述上投影層將特征映射回原始維度，得到原始維度特征xup；
7、所述適配器adapterik的輸出h′ik為：
8、adapter(x)＝relu(wdownx+bdown)wup+bup
9、h′ik＝adapterik(hik)k＝1,2,3,…,h
10、其中，表示下采樣矩陣，表示下采樣偏差，表示上采樣矩陣，表示上采樣偏差；m表示輸入x的維度，r表示瓶頸維度，r＜＜m；
11、所有適配器處理后的頭特征h′ik通過拼接操作合并，并與所述藥物分子的特征向量xi通過殘差連接相結合，形成微調后的輸出特征x′i：
12、x′i＝concat(h′i1,h′i2,…,h′ih)+xi
13、將所述微調后的輸出特征x′i輸入訓練好的藥物分子性質預測網絡，得到藥物分子性質。
14、可選的，所述方法還包括：引入了頭特征并行交叉適配器hfpca，所有低維的適配器輸出特征首先被串聯起來進行聯合學習然后通過一個全連接層進行處理，以學習頭特征之間的交互；最終，通過分割操作將處理后的交叉特征匹配輸入特征的數量和維度。
15、可選的，所述方法還包括：將藥物分子的結構信息轉換為smiles字符串或其他編碼形式，并通過化學信息學方法將其轉化為數值向量表示。
16、可選的，所述方法采用transformer模型，且從transformer模型的第二層開始，在每個transformer層的前饋網絡和隨后的層歸一化之間插入所述頭部特征并行適配器。
17、本專利技術提供一種分子性質預測微調系統，所述系統在用于藥物分子性質預測的預訓練模型中引入頭部特征并行適配器，凍結所述預訓練模型的主干部分后，通過訓練所述頭部特征并行適配器和藥物分子性質預測網絡得到訓練好的特定分子性質預測模型；
18、所述頭部特征并行適配器包括：頭特征分割模塊、頭特征學習模塊、頭特征合并模塊；
19、所述頭特征分割模塊，用于將所述預訓練模型提取的藥物分子的特征向量xi分解為h個大小相等的頭特征hik，同時通過分割操作將特征向量xi映射到多個子空間：
20、split(xi)＝(hi1,hi2,…,hih)k＝1,2,…,h
21、所述頭特征學習模塊對每個頭特征hik通過一個適配器adapterik進行處理，所述適配器adapterik包括：下投影層、非線性激活函數和上投影層；所述下投影層將頭特征映射到一個更低的維度，得到低維度特征xdown，然后通過所述非線性激活函數增加模型的非線性表達能力，最后所述上投影層將特征映射回原始維度，得到原始維度特征xup；
22、所述適配器adapterik的輸出h′ik為：
23、adapter(x)＝relu(wdownx+bdown)wup+bup
24、h′ik＝adapterik(hik)k＝1,2,3,…,h
25、其中，表示下采樣矩陣，表示下采樣偏差，表示上采樣矩陣，表示上采樣偏差；m表示輸入x的維度，r表示瓶頸維度，r＜＜m；
26、所述頭特征合并模塊將所有適配器處理后的頭特征h′ik通過拼接操作合并，并與所述藥物分子的特征向量xi通過殘差連接相結合，形成微調后的輸出特征x′i：
27、x′i＝concat(h′i1,h′i2,…,h′ih)+xi
28、將所述微調后的輸出特征x′i輸入訓練好的藥物分子性質預測網絡，得到藥物分子性質。
29、可選的，所述系統還包括頭特征并行交叉適配器hfpca，所有低維的適配器輸出特征首先被串聯起來進行聯合學習然后通過一個全連接層進行處理，以學習頭特征之間的交互；最終，通過分割操作將處理后的交叉特征匹配輸入特征的本文檔來自技高網...
【技術保護點】
1.一種分子性質預測微調方法，其特征在于，所述方法包括：在用于藥物分子性質預測的預訓練模型中引入頭部特征并行適配器，凍結所述預訓練模型的主干部分后，通過訓練所述頭部特征并行適配器和藥物分子性質預測網絡得到訓練好的特定分子性質預測模型；
2.根據權利要求1所述的分子性質預測微調方法，其特征在于，所述方法還包括：引入了頭特征并行交叉適配器HFPCA，所有低維的適配器輸出特征首先被串聯起來進行聯合學習然后通過一個全連接層進行處理，以學習頭特征之間的交互；最終，通過分割操作將處理后的交叉特征匹配輸入特征的數量和維度。
3.根據權利要求1所述的分子性質預測微調方法，其特征在于，所述方法還包括：將藥物分子的結構信息轉換為SMILES字符串或其他編碼形式，并通過化學信息學方法將其轉化為數值向量表示。
4.根據權利要求1所述的分子性質預測微調方法，其特征在于，所述方法采用Transformer模型，且從Transformer模型的第二層開始，在每個Transformer層的前饋網絡和隨后的層歸一化之間插入所述頭部特征并行適配器。
5.一種分子性質預
6.根據權利要求5所述的分子性質預測微調系統，其特征在于，所述系統還包括頭特征并行交叉適配器HFPCA，所有低維的適配器輸出特征首先被串聯起來進行聯合學習然后通過一個全連接層進行處理，以學習頭特征之間的交互；最終，通過分割操作將處理后的交叉特征匹配輸入特征的數量和維度。
7.根據權利要求5所述的分子性質預測微調系統，其特征在于，所述系統將藥物分子的結構信息轉換為SMILES字符串或其他編碼形式，并通過化學信息學方法將其轉化為數值向量表示。
8.根據權利要求5所述的分子性質預測微調系統，其特征在于，所述系統采用Transformer模型，且從Transformer模型的第二層開始，在每個Transformer層的前饋網絡和隨后的層歸一化之間插入所述頭部特征并行適配器。
9.一種電子設備，其特征在于，包括存儲器和處理器；
10.一種計算機可讀存儲介質，其特征在于，所述存儲介質上存儲有計算機程序，當所述計算機程序被處理器執行時，實現如權利要求1至4中任一項所述的分子性質預測微調方法。
...【技術特征摘要】
1.一種分子性質預測微調方法，其特征在于，所述方法包括：在用于藥物分子性質預測的預訓練模型中引入頭部特征并行適配器，凍結所述預訓練模型的主干部分后，通過訓練所述頭部特征并行適配器和藥物分子性質預測網絡得到訓練好的特定分子性質預測模型；
2.根據權利要求1所述的分子性質預測微調方法，其特征在于，所述方法還包括：引入了頭特征并行交叉適配器hfpca，所有低維的適配器輸出特征首先被串聯起來進行聯合學習然后通過一個全連接層進行處理，以學習頭特征之間的交互；最終，通過分割操作將處理后的交叉特征匹配輸入特征的數量和維度。
3.根據權利要求1所述的分子性質預測微調方法，其特征在于，所述方法還包括：將藥物分子的結構信息轉換為smiles字符串或其他編碼形式，并通過化學信息學方法將其轉化為數值向量表示。
4.根據權利要求1所述的分子性質預測微調方法，其特征在于，所述方法采用transformer模型，且從transformer模型的第二層開始，在每個transformer層的前饋網絡和隨后的層歸一化之間插入所述頭部特征并行適配器。
5.一種分子性質預測微調系統，其特征在于，所述系統在用于藥物分子性質預測的預訓練模型中引入頭部特征并行...
【專利技術屬性】
技術研發人員：潘祥，廉曉慶，苗凱，厲力華，
申請(專利權)人：微宏慧聯醫療科技無錫有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。