【技術實現(xiàn)步驟摘要】
本專利技術屬于集成電路封裝環(huán)節(jié)引線鍵合過程中的鍵合引線缺陷檢測領域。具體涉及一種對引線焊接中鍵合引線結構缺陷采用全局-局部重要性特征融合方法進行檢測、判斷鍵合引線缺陷類型的方法。
技術介紹
1、鍵合引線在現(xiàn)代電子設備中扮演著至關重要的角色，是連接各類元器件的關鍵部分。尤其是在微型化和高集成度的電子產(chǎn)品中，鍵合引線不僅確保了信號的有效傳輸，還維持了電流的穩(wěn)定流動。引線鍵合技術在印刷電路板pcb、鋰電池和led器件等產(chǎn)品的工業(yè)制造中被廣泛應用，其質量直接影響到產(chǎn)品的性能和穩(wěn)定性。然而，鍵合引線缺陷，如斷線、塌線和焊接錯位等往往較為細微復雜，會導致連接不良，從而影響產(chǎn)品的可靠性與功能。因此，快速、精準的鍵合引線缺陷檢測對于提升產(chǎn)品整體可靠性至關重要，鍵合引線缺陷檢測已成為提升相關產(chǎn)品質量的基礎與關鍵。
2、當前，鍵合引線缺陷檢測主要依賴人工目檢和基于二維圖像的自動化檢測。盡管人工目檢可以直觀地發(fā)現(xiàn)問題，但其效率低下、耗時耗力，難以滿足現(xiàn)代大規(guī)模生產(chǎn)對速度和精度的要求。基于圖像的二維檢測技術通過機器視覺系統(tǒng)分析鍵合引線圖像來識別缺陷。由于二維圖像無法充分反映鍵合引線的空間結構，特別是在檢測鍵合引線的彎曲、斷線等三維結構缺陷時，往往需要多角度拍攝和分析來獲取鍵合引線的高度信息，這增加了檢測的復雜性和成本。更為關鍵的是，當鍵合引線與背景顏色相似時，傳統(tǒng)的圖像處理技術難以準確定位鍵合引線，導致檢測精度降低。這些限制使得二維圖像技術在面對鍵合引線復雜缺陷時顯得力不從心。因此，基于三維點云數(shù)據(jù)的檢測技術逐漸成為新的研究和應用熱點。p>
3、三維點云數(shù)據(jù)能夠提供物體的完整三維幾何特征，不僅涵蓋了形狀和尺寸等基本特征，還能直觀反映出空間位置信息。這些特性使得點云數(shù)據(jù)在鍵合引線這種具有復雜空間結構的缺陷檢測中具有明顯優(yōu)勢。在工業(yè)制造領域，點云技術已廣泛應用于航空航天、鐵路檢修、電子元器件制造等多個領域。在這些領域，點云技術通過捕捉物體的三維形態(tài)，有效解決了空間定位和復雜結構的缺陷檢測問題。盡管如此，現(xiàn)有的缺陷檢測方法大多集中于物體表面的平滑性及完整性檢測，如裂紋、凹陷和凸起等。而對于鍵合引線這種細小且彎曲的結構，尤其是鍵合引線通常與其他元器件緊密相連，獲取的點云數(shù)據(jù)常常面臨粘連和噪聲問題，這使得分割效果有限。此外，鍵合引線的缺陷種類繁多，包括彎曲、斷線、塌線等，這些缺陷的三維特征各不相同，傳統(tǒng)的三維檢測方法難以有效捕捉。因此，單一依賴于表面平滑度分析的方法并不適合鍵合引線的檢測，如何準確識別鍵合引線的多尺度重要性特征并分割出缺陷鍵合引線的點云成為首要問題。目前，針對鍵合引線空間結構的深入分析方法尚未成熟，針對自建的鍵合引線數(shù)據(jù)集進行多特征學習的方法也顯得匱乏。因此，開發(fā)一種新型鍵合引線缺陷檢測方法，結合三維點云數(shù)據(jù)的優(yōu)勢，迫在眉睫。
技術實現(xiàn)思路
1、本專利技術的主要目的是提出一種基于全局-局部重要性特征融合的三維點云鍵合引線缺陷檢測方法。該方法能夠廣泛應用于集成電路封裝引線鍵合過程的鍵合引線缺陷檢測，代替?zhèn)鹘y(tǒng)的人工目檢和基于圖像的二維檢測方式，實現(xiàn)基于全局-局部重要性特征融合的三維點云鍵合引線缺陷自動檢測，并根據(jù)檢測到的缺陷類型進行分類。本專利技術旨在解決以下問題：
2、1.目前的鍵合引線缺陷檢測技術主要依賴二維視覺檢測，限于對斷線的識別，無法有效檢測線彎曲、弧度異常等三維結構缺陷；
3、2.現(xiàn)有模型在處理精細化、復雜化的鍵合引線缺陷時，缺乏對全局-局部特征重要性的深入提取，導致檢測精度不高；
4、3.現(xiàn)有鍵合引線缺陷檢測方法不能分割出邊緣粗糙的三維鍵合引線缺陷目標，進而無法揭示輸入特征的敏感區(qū)域和檢測過程中的薄弱環(huán)節(jié)。
5、為了解決以上問題，本專利技術提出一種基于全局-局部重要性特征融合的三維點云鍵合引線缺陷檢測方法，該方法首先將深度圖轉換成三維點云數(shù)據(jù)，去除數(shù)據(jù)采集過程中引入的各種環(huán)境噪聲，并對鍵合引線目標區(qū)域進行裁剪，獲得完整的鍵合引線平面。其次，引入局部重要能量注意力特征提取模塊和全局信息位置編碼模塊來解決基準點云分割網(wǎng)絡pointnet++無法提取鍵合引線數(shù)據(jù)中的全局和局部重要性特征的問題。再次，針對三維點云鍵合引線缺陷檢測任務，通過對提取的高維嵌入特征進行量化損失計算，以及對缺陷目標進行軟相似度和硬相似度均衡度量損失計算，進一步加強模型的擬合能力。最后，使用三維插值和pointnet上采樣網(wǎng)絡輸出點云鍵合引線數(shù)據(jù)的弧度異常，線彎曲，尾絲過長，雙層干涉，引線橋接，中間斷線，單端斷線七種異常缺陷，并對邊緣粗糙的鍵合引線進行精確分割，從而更好的顯示鍵合引線缺陷的敏感區(qū)域和焊接過程中的薄弱環(huán)節(jié)。
6、本專利技術具體工作流程如下：
7、步驟1，首先利用3d深度相機對焊接區(qū)域進行掃描，獲取鍵合引線的原始深度圖像。通過深度圖像中的每個像素點信息，將其轉換為三維點云數(shù)據(jù)，得到每個像素點的空間坐標(x,y,z)。
8、步驟2，對獲取的點云圖像進行數(shù)據(jù)預處理。通過cloudcompare軟件打開點云圖像，并使用該軟件的手動裁切功能選中采集數(shù)據(jù)中的無關區(qū)域進行裁剪操作，得到鍵合引線目標區(qū)域，獲得完整的鍵合引線平面。
9、步驟3，在點云圖像上進行輪廓檢測，計算每個輪廓的外接矩形，并獲取包圍盒的長寬比。使用絕對中位差mad算法有效區(qū)分鍵合引線輪廓與其他輪廓，聚焦于鍵合引線特征的提取。
10、步驟4，提取鍵合引線輪廓內(nèi)的點云數(shù)據(jù)，并進行矩陣運算以獲取鍵合引線的點云數(shù)據(jù)。采用統(tǒng)計濾波和主成分分析pca對點云數(shù)據(jù)進行處理，去除無關的背景點云和噪聲，聚焦于鍵合引線的幾何特征。
11、步驟5，將步驟4中構建的鍵合引線點云數(shù)據(jù)沿x-z軸進行投影，計算相鄰點之間的間隔大小，并采用3-sigma算法篩選線內(nèi)的斷線，得到非斷線的鍵合引線點云數(shù)據(jù)集，并對每一類缺陷進行標注。
12、步驟6，接下來對利用預處理后的3d點云鍵合引線數(shù)據(jù)進行模型訓練，實現(xiàn)實例分割。引入局部重要能量注意力特征提取模塊和全局信息位置編碼模塊，同時提取鍵合引線的全局特征和局部特征。
13、步驟7，在訓練的過程中設計復合損失compound?loss，對提取的高維嵌入特征進行量化損失計算，以及對缺陷目標進行軟相似度和硬相似度的均衡度量損失計算。
14、步驟8，最后對訓練好的模型進行結果輸出，輸出鍵合引線點云數(shù)據(jù)的多種異常缺陷，包括弧度異常、線彎曲、尾絲過長、雙層干涉、引線橋接、中間斷線、單端斷線七種缺陷類型。
15、步驟1-5具體如下：
16、用專業(yè)點云處理軟件cloudcompare軟件對利用深度相機獲取到的深度鍵合引線缺陷圖像進行點云數(shù)據(jù)轉換，通過獲取深度圖像的像素點信息，cloudcompare軟件展示其三維點云形態(tài)。接著，利用cloudcompare軟件的對點云數(shù)據(jù)的編輯功能，將轉換成點云形態(tài)的鍵合引線缺陷數(shù)據(jù)中存在的環(huán)境噪聲選中并刪除，并通過主動框選設置，將除鍵合引線平面以外的其他場景數(shù)據(jù)進行分割，保留鍵合引本文檔來自技高網(wǎng)...
【技術保護點】
1.一種基于全局-局部重要性特征融合的三維點云鍵合引線缺陷檢測方法，其特征在于，所述方法包括如下幾個步驟：
2.如權利要求1所述的一種基于全局-局部重要性特征融合的三維點云鍵合引線缺陷檢測方法，其特征在于，步驟1-5具體如下：
3.如權利要求1所述的一種基于全局-局部重要性特征融合的三維點云鍵合引線缺陷檢測方法，其特征在于，步驟6具體如下：
4.如權利要求1所述的一種基于全局-局部重要性特征融合的三維點云鍵合引線缺陷檢測方法，步驟7具體如下：
【技術特征摘要】
1.一種基于全局-局部重要性特征融合的三維點云鍵合引線缺陷檢測方法，其特征在于，所述方法包括如下幾個步驟：
2.如權利要求1所述的一種基于全局-局部重要性特征融合的三維點云鍵合引線缺陷檢測方法，其特征在于，步驟1-5具體如下：
【專利技術屬性】
技術研發(fā)人員：于乃功，楊弈，李奧，
申請(專利權)人：北京工業(yè)大學，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。