【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及ai多模態(tài)大模型，具體為一種基于ai多模態(tài)大模型的線條自動(dòng)標(biāo)注方法。
技術(shù)介紹
1、cad/cam領(lǐng)域，建模技術(shù)是將實(shí)體物體及其屬性轉(zhuǎn)化為計(jì)算機(jī)內(nèi)部數(shù)字化表達(dá)的關(guān)鍵方法，不僅包含零件的幾何拓?fù)湫畔ⅲ舶酥T多非幾何信息如材料特性、工藝要求、標(biāo)注線條等，因此具有豐富的工程語(yǔ)義；
2、在現(xiàn)代機(jī)器學(xué)習(xí)領(lǐng)域，multimodal?large?language?models(mm-llms)是指結(jié)合多種信息模態(tài)的大型語(yǔ)言模型。這些模型不僅能夠處理文本數(shù)據(jù)，還能夠處理其他形式的數(shù)據(jù)，如圖像、音頻、視頻、模型等。mm-llms的出現(xiàn)推動(dòng)了多模態(tài)機(jī)器學(xué)習(xí)的發(fā)展，使得機(jī)器可以更全面地理解和處理不同形式的數(shù)據(jù)，從而提高對(duì)復(fù)雜現(xiàn)實(shí)世界的理解和建模能力；
3、多模態(tài)預(yù)訓(xùn)練技術(shù)是指在多種數(shù)據(jù)模態(tài)上進(jìn)行預(yù)訓(xùn)練的方法，旨在提高模型對(duì)多種數(shù)據(jù)類型的理解和處理能力。通過(guò)在大規(guī)模數(shù)據(jù)集上進(jìn)行多模態(tài)預(yù)訓(xùn)練，模型可以學(xué)習(xí)到不同數(shù)據(jù)模態(tài)之間的相關(guān)性和語(yǔ)義信息，從而在各種上下游任務(wù)上表現(xiàn)更加出色；
4、全參微調(diào)技術(shù)是指在進(jìn)行遷移學(xué)習(xí)時(shí)，通過(guò)微調(diào)模型的所有參數(shù)(全參)來(lái)適應(yīng)特定任務(wù)或數(shù)據(jù)集。在多模態(tài)預(yù)訓(xùn)練的情況下，全參微調(diào)技術(shù)可以幫助模型更好地適應(yīng)特定領(lǐng)域或任務(wù)的數(shù)據(jù)，提高模型在特定任務(wù)上的性能表現(xiàn)；
5、探究同一個(gè)3d模型在建模過(guò)程和幾何形體這兩種模態(tài)下的情況：建模過(guò)程和幾何形體可以被視為同一個(gè)實(shí)體的不同表現(xiàn)形式，即同一個(gè)物體在cad建模過(guò)程中的抽象表示和其在現(xiàn)實(shí)世界中的幾何形態(tài)之間的關(guān)聯(lián)。通過(guò)研究這兩種模態(tài)
6、但是還是存在以下缺點(diǎn)：傳統(tǒng)標(biāo)注往往基于開發(fā)人員的經(jīng)驗(yàn)定制開發(fā)腳本對(duì)特征進(jìn)行標(biāo)注，對(duì)開發(fā)者要求高、定制化成本高。
7、因此，提出一種基于ai多模態(tài)大模型的線條自動(dòng)標(biāo)注方法。
技術(shù)實(shí)現(xiàn)思路
1、解決的技術(shù)問題
2、針對(duì)現(xiàn)有技術(shù)的不足，本專利技術(shù)提供了一種基于ai多模態(tài)大模型的線條自動(dòng)標(biāo)注方法，具備具有通用性可廣泛應(yīng)用于工程設(shè)計(jì)和制造領(lǐng)域，幫助工程師快速準(zhǔn)確地標(biāo)注圖紙，提高設(shè)計(jì)效率和質(zhì)量等優(yōu)點(diǎn)，解決了傳統(tǒng)標(biāo)注往往基于開發(fā)人員的經(jīng)驗(yàn)定制開發(fā)腳本對(duì)特征進(jìn)行標(biāo)注，對(duì)開發(fā)者要求高、定制化成本高的問題。
3、技術(shù)方案
4、為實(shí)現(xiàn)上述具有通用性可廣泛應(yīng)用于工程設(shè)計(jì)和制造領(lǐng)域，幫助工程師快速準(zhǔn)確地標(biāo)注圖紙，提高設(shè)計(jì)效率和質(zhì)量目的，本專利技術(shù)提供如下技術(shù)方案：
5、一種基于ai多模態(tài)大模型的線條自動(dòng)標(biāo)注方法，包括以下步驟：
6、步驟一：數(shù)據(jù)集與數(shù)據(jù)的處理：首先針對(duì)性的搜集二維和三維圖紙數(shù)據(jù)集；
7、步驟二：然后將圖紙的三維結(jié)構(gòu)圖轉(zhuǎn)換二維三視圖；
8、步驟三：對(duì)基于三維結(jié)構(gòu)圖特征的二維三視圖和二維圖紙進(jìn)行線性、半徑、直徑、角度自動(dòng)標(biāo)注和人工審核；
9、步驟四：對(duì)二維圖紙進(jìn)行結(jié)構(gòu)化文本處理并校驗(yàn)數(shù)據(jù)合法性，剔除和修復(fù)質(zhì)量差的數(shù)據(jù)；
10、步驟五：對(duì)二維圖紙方案分割，將整個(gè)方案轉(zhuǎn)換成若n個(gè)固定大小的區(qū)塊，然后對(duì)所有區(qū)塊的結(jié)構(gòu)化文本進(jìn)行壓縮；
11、步驟六：對(duì)數(shù)據(jù)集進(jìn)行處理，劃分為無(wú)監(jiān)督數(shù)據(jù)集，用于預(yù)訓(xùn)練，有監(jiān)督數(shù)據(jù)集，用于微調(diào)，然后對(duì)有監(jiān)督數(shù)據(jù)集進(jìn)行拆分，劃分為訓(xùn)練集和測(cè)試集；
12、步驟七：模型訓(xùn)練：基于mm-llms模型，查找數(shù)據(jù)集中的熱詞，對(duì)原有詞表進(jìn)行擴(kuò)展；
13、步驟八：更新、擴(kuò)充原有模型參數(shù)，給定一個(gè)預(yù)訓(xùn)練的大型語(yǔ)言模型參數(shù)集合θ，一個(gè)包含文本xtext和標(biāo)注xdimension的多模態(tài)數(shù)據(jù)的數(shù)據(jù)集d＝{(xtext,xdimension)}；
14、為了繼續(xù)預(yù)訓(xùn)練模型并更新參數(shù)，可以使用以下公式：
15、
16、步驟九：對(duì)預(yù)訓(xùn)練好的模型進(jìn)行全參微調(diào)，給定有監(jiān)督的數(shù)據(jù)集d{dimension_task}＝{(xi,yi)}；
17、微調(diào)的目標(biāo)是最小化任務(wù)數(shù)據(jù)集上的損失函數(shù)，即最小化損失函數(shù)l(θ；ddimension_task)，為了進(jìn)行全參數(shù)微調(diào)并更新參數(shù)，使用以下公式以適應(yīng)自動(dòng)標(biāo)注任務(wù)：
18、
19、步驟十：對(duì)模型的結(jié)果進(jìn)行測(cè)試集和人工評(píng)估。
20、優(yōu)選的，所述步驟四中結(jié)構(gòu)化文本處理具體對(duì)象為線條、類型、區(qū)塊、圓角、弧線、文字信息以及二維坐標(biāo)。
21、優(yōu)選的，所述步驟五中對(duì)結(jié)構(gòu)文本壓縮的同時(shí)進(jìn)行去除和標(biāo)注無(wú)關(guān)的信息。
22、優(yōu)選的，所述步驟十中，對(duì)錯(cuò)誤的數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)后使用強(qiáng)化學(xué)習(xí)決策策略優(yōu)化算法decision?policy?optimization(dpo)重新訓(xùn)練。
23、優(yōu)選的，所述步驟八中其中，θ(t)是第t迭代的模型參數(shù)，θ(t+1)是更新后的參數(shù)，η是學(xué)習(xí)率，表示對(duì)參數(shù)θ的梯度。
24、優(yōu)選的，所述通過(guò)計(jì)算損失函數(shù)關(guān)于參數(shù)的梯度，并根據(jù)梯度更新參數(shù)，模型可以在多模態(tài)數(shù)據(jù)上繼續(xù)學(xué)習(xí)并提高性能。
25、優(yōu)選的，所述步驟九中xi是輸入未標(biāo)注的圖紙，yi是輸出標(biāo)注信息。
26、與現(xiàn)有技術(shù)相比，本專利技術(shù)提供了一種基于ai多模態(tài)大模型的線條自動(dòng)標(biāo)注方法，具備以下有益效果：
27、該基于ai多模態(tài)大模型的線條自動(dòng)標(biāo)注方法，具有通用性可廣泛應(yīng)用于工程設(shè)計(jì)和制造領(lǐng)域，幫助工程師快速準(zhǔn)確地標(biāo)注圖紙，提高設(shè)計(jì)效率和質(zhì)量，解決對(duì)開發(fā)者要求高、定制化成本高的問題。
本文檔來(lái)自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種基于AI多模態(tài)大模型的線條自動(dòng)標(biāo)注方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于AI多模態(tài)大模型的線條自動(dòng)標(biāo)注方法，其特征在于，所述步驟四中結(jié)構(gòu)化文本處理具體對(duì)象為線條、類型、區(qū)塊、圓角、弧線、文字信息以及二維坐標(biāo)。
3.根據(jù)權(quán)利要求1所述的一種基于AI多模態(tài)大模型的線條自動(dòng)標(biāo)注方法，其特征在于，所述步驟五中對(duì)結(jié)構(gòu)文本壓縮的同時(shí)進(jìn)行去除和標(biāo)注無(wú)關(guān)的信息。
4.根據(jù)權(quán)利要求1所述的一種基于AI多模態(tài)大模型的線條自動(dòng)標(biāo)注方法，其特征在于，所述步驟十中，對(duì)錯(cuò)誤的數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)后使用強(qiáng)化學(xué)習(xí)決策策略優(yōu)化算法DecisionPolicy?Optimization(DPO)重新訓(xùn)練。
5.根據(jù)權(quán)利要求1所述的一種基于AI多模態(tài)大模型的線條自動(dòng)標(biāo)注方法，其特征在于，所述步驟八中其中，Θ(t)是第t迭代的模型參數(shù)，Θ(t+1)是更新后的參數(shù)，η是學(xué)習(xí)率，表示對(duì)參數(shù)Θ的梯度。
6.根據(jù)權(quán)利要求5所述的一種基于AI多模態(tài)大模型的線條自動(dòng)標(biāo)注方法，其特征在于，所述通過(guò)計(jì)算損失函數(shù)關(guān)于參數(shù)的梯度，并根據(jù)梯度更新參數(shù)
7.根據(jù)權(quán)利要求1所述的一種基于AI多模態(tài)大模型的線條自動(dòng)標(biāo)注方法，其特征在于，所述步驟九中xi是輸入未標(biāo)注的圖紙，yi是輸出標(biāo)注信息。
...【技術(shù)特征摘要】
1.一種基于ai多模態(tài)大模型的線條自動(dòng)標(biāo)注方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于ai多模態(tài)大模型的線條自動(dòng)標(biāo)注方法，其特征在于，所述步驟四中結(jié)構(gòu)化文本處理具體對(duì)象為線條、類型、區(qū)塊、圓角、弧線、文字信息以及二維坐標(biāo)。
3.根據(jù)權(quán)利要求1所述的一種基于ai多模態(tài)大模型的線條自動(dòng)標(biāo)注方法，其特征在于，所述步驟五中對(duì)結(jié)構(gòu)文本壓縮的同時(shí)進(jìn)行去除和標(biāo)注無(wú)關(guān)的信息。
4.根據(jù)權(quán)利要求1所述的一種基于ai多模態(tài)大模型的線條自動(dòng)標(biāo)注方法，其特征在于，所述步驟十中，對(duì)錯(cuò)誤的數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)后使用強(qiáng)化學(xué)習(xí)決策策略優(yōu)化算法decisionpoli...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：吳泳榮，過(guò)曉蒙，楊慶保，周浩，陳杰鋒，
申請(qǐng)(專利權(quán))人：上海設(shè)序科技有限公司，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。