【技術實現步驟摘要】
本專利技術屬于多跳視覺問答領域，更為具體地講，涉及一種基于推理路徑提示的多跳視覺問答方法。
技術介紹
1、多跳視覺問答是一個具有挑戰性的任務，結合了計算機視覺和自然語言處理技術，其核心是通過整合多個證據(包括文檔和圖像)來回答與圖像相關的問題。與傳統的視覺問答不同，多跳視覺問答不僅要求對視覺場景和上下文有更深入的理解，還需要具備多跳推理的能力，才能得出正確的答案。
2、現有的多跳視覺問答方法通過端到端的視覺語言模型取得了一些進展。然而，這些方法雖然能得出正確的答案，卻未能證明模型遵循了理想的推理路徑來得出答案，例如提供答案的推理鏈或解釋。此外，現有的端到端方法常常陷入利用推理捷徑來回答問題的陷阱，即通過將問題中的關鍵詞與單個句子進行匹配來定位答案。在多跳視覺問答場景中，多跳視覺問題通常需要綜合多種證據，包括圖像、字幕和上下文，因此，如果在沒有遵循預期推理路徑的情況下回答問題，效率低下且不可靠。
3、在回答復雜的視覺問題時，提供推理路徑被認為是多跳視覺問答中的一種高效且前景廣闊的策略。然而，標注中間的未知跳躍并生成推理路徑是昂貴且耗時的。因此，為了幫助基于提示的方法做出更好的決策并得出答案，有必要設計一種能夠自動識別中間未知跳躍并生成相應推理路徑的方法。
技術實現思路
1、本專利技術的目的在于克服現有技術的不足，提供一種推理路徑提示的多跳視覺問答方法，本專利技術有兩個主要組成部分：1)中間未知的檢測和對齊：首先從問題中提取實體短語，作為候選的中間未知跳躍；然后
2、本專利技術具有以下有益效果：
3、1)本專利技術引入了一個中間未知檢測和對齊模塊，用于提取中間未知跳躍及其對應的答案。這一模塊提高了中間未知實體的檢測準確率以及為多模態多跳問答提供了一定的可解釋性；
4、2)本發提出了生成高質量推理路徑的方案，以用于基于提示的多跳視覺問答，在一定程度上避免模型利用推理捷徑的可能性；
本文檔來自技高網...【技術保護點】
1.一種基于推理路徑提示的多跳視覺問答方法，其特征在于，包括以下步驟：
【技術特征摘要】
1.一種基于推理路徑提示的多跳視覺問...
【專利技術屬性】
技術研發人員：朱曉峰，馮啟原，鄧振云，邵杰，
申請(專利權)人：電子科技大學深圳高等研究院，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。