一種坐式手工裝配線模特值評測系統技術方案

本發明專利技術涉及一種坐式手工裝配線模特值評測系統，屬于體感交互領域，旨在設計，利用體感交互技術和計算機技術自動計算工人動作時間，旨在替代傳統的人工計時方法。具體包括Kinect?v2外設，Kinect?v2定位機構，數據處理模塊，A/D轉換模塊，數顯模塊，數據庫模塊，評估模塊。Kinect?v2定位機構，包括定位結構、縱向移動結構和橫向移動結構。模特法識別模塊，采用半身識別的方法，模特法識別模塊僅對模特法中上肢動作進行評測，其中包括移動動作、終結動作、放置動作測算，其中移動動作包括范圍測算方法和時間測算方法，范圍測算方法包括移動范圍測算、移動動作的速度測算、移動動作的判定。評估模塊分為識別雙手平衡、獨臂工作和無效動作。

Model evaluation system for sitting type manual assembly line model

The invention relates to a seat type assembly line model value evaluation system, which belongs to the field of somatosensory interaction, aims to design, using somatosensory interactive technology and computer technology, the automatic calculation of workers movement time, to replace the traditional manual timing method. Including the Kinect V2 Kinect V2 peripherals, positioning mechanism, data processing module, A/D conversion module, display module, database module, evaluation module. Kinect V2 positioning mechanism comprises a positioning structure, vertical structure and horizontal structure of mobile mobile. Modapts recognition module, using the method of body identification, model identification module method for evaluation of upper limb movements only modapts, including mobile end action, action, action place estimates, which include the movement estimation method and time range calculation method, calculation method of range measurement, including mobile range motion speed, mobile determination of action. The evaluation module is divided into identification, armed hands balance work and invalid action.

【技術實現步驟摘要】
一種坐式手工裝配線模特值評測系統
本專利技術涉及體感交互領域，具體涉及一種基于Kinectv2的動作時間研究的系統。
技術介紹
對動作時間的研究是為后序進行精益改善的關鍵，因此對一系列動作時間的準確測定是工業工程領域極其重要的一個環節。目前作業測定常用方法有直接法和間接法，直接法的代表就是直接用秒表測量動作時間，這個方法有其固有的缺陷，像工人在進行操作時可能會受到計時人員影響使動作時間失真，而且安排一個測時員整日跟蹤會耗費大量人力物力。間接法則是基于假設進行計算時間方法，其代表是模特法。模特法假設人的動作是由幾個基本動作構成，每個人的相同的基本動作時間是相同的，因此我們只需要將人的動作進行分解就能直接查表計算出動作時間。本文從模特法出發，旨在利用體感交互技術和計算機技術自動計算工人動作時間。提出一種坐式手工裝配線模特值評測系統，替代傳統的人工計時方法。
技術實現思路
本專利技術提出一種坐式手工裝配線模特值評測系統，替代傳統的人工計時方法。結合附圖，說明如下：一種坐式手工裝配線模特值評測系統，可以實現計算機記錄工人動作時間，本產品經過Kinectv2識別，通過內置算法即可得到坐式手工裝配線的模特值，并根據模特值給出評價，其中Kinectv2可通過定位機構實現橫縱向移動，具體包括：Kinectv2外設，Kinectv2定位機構，數據處理模塊，A/D轉換模塊，數顯模塊，數據庫模塊，評估模塊；所述Kinectv2外設需要供電電源驅動，Kinectv2外設包含三個體感交互模塊：語音識別模塊、面孔識別模塊、骨骼識別模塊，Kinectv2根據上述體感交互模塊能夠捕捉用戶動作以及用戶的相對位置，采集的數據將被送到CPU進行下一步處理；所述Kinectv2定位機構由電機驅動，包含滾珠絲杠機構和連桿機構，分別控制Kinect左右位置和上下位置的移動；所述數據處理模塊分為兩個子模塊：模特法識別模塊和Kinectv2位置調整模塊，模特法識別模塊將CPU傳來的用戶動作數據進行識別、分析、處理，得到動作的時間結果返回CPU并存入數據庫；Kinectv2位置調整模塊將CPU傳來的用戶相對位置數據進行識別、分析，并計算出要使Kinectv2正對用戶時，Kinectv2需要調整的位置數據，并輸出給A/D轉換模塊；所述A/D轉換模塊是將數據處理模塊計算輸出的數字量轉換成模擬量；數據處理模塊輸出的是要使Kinectv2與用戶正對應調整的位置代碼，經過A/D轉換成真實的位置量后傳輸到可活動固定機構；所述數顯模塊將CPU傳來的數據處理模塊結果顯示到界面，便于研究者采集和進行下一步精益研究；所述數據庫模塊從CPU接收數據處理模塊和A/D轉換模塊數據，便于研究者采集和進行下一步精益研究；所述評估模塊，將數據庫模塊儲存數據導出，通過評估算法進行分析處理，輸出評估結果和改進方案。所述Kinectv2定位機構，包括定位結構、縱向移動結構和橫向移動結構；所述定位結構，通過將固定螺母I2和固定螺母II14上的螺栓I1和螺栓II11旋動，可調節擋板I3和擋板II13與基座的間距，使裝置定位在坐式裝配線工人操作臺的對面，其中定位寬度可調節，從而適應不同操作臺，保證Kinectv2與操作臺水平；所訴縱向移動結構，電機II12驅動使得連桿I5和連桿II10移動，完成縱向移動；所訴橫向移動結構，電機I6驅動使得絲杠7旋轉，滾珠板8橫向移動；取出固定件9，將Kinectv2放在滾珠板8上，再放置固定件9，即可保證Kinectv2與操作臺保持水平，從而簡化之后的模特法的換算。所述Kinectv2在探測時會以自己為坐標原點，X軸是從Kinectv2感應器角度觀看，左邊為正半軸，右邊為負半軸，Y軸正軸豎直向上，僅表示Kinectv2正常放置，并未出現倒置現象，，Z表示縱深程度，Kinectv2攝像方向為正方向；當裝配線工人坐在工位上，Kinectv2通過面孔識別模塊識別，將采集的面孔數據與數數據庫中面孔數據對比，相似度達到95％時，啟動設備，Kinectv2骨骼識別追蹤采集人體各個部分三坐標數據，其中包括頭、頸、肩中心、左拇指、右拇指、左指尖、右指尖、左手、右手、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱。所述模特法識別模塊，采用半身識別的方法，模特法識別模塊僅對模特法中上肢動作進行評測，其中包括移動動作、終結動作、放置動作測算。所述的移動動作包括手指動作、手腕動作、小臂動作、大臂動作和伸直手臂，范圍測算方法具體測算包括移動范圍測算；移動動作的速度測算；移動動作的判定；步驟一：首先確定默認范圍在移動范圍測算之前，需要裝配線工人坐在Kinectv2設備前，等待5秒，此時Kinectv2根據工人骨骼測算出移動的作業范圍，并默認裝配線工人僅在長為A，寬為B的范圍內活動；步驟二：移動范圍測算采集相關骨骼點，針對左右手，測算出在M2、M3、M4和M5模特值的移動范圍，其中M2、M3、M4范圍是以左右肩膀為原點，根據相關的距離測算公式計算出的距離l繞點旋轉的半圓即為相關模特值的活動范圍，其它范圍即為M5范圍；其中M2還有一個限制，必須不能超過左/右肩膀點向左/右發射出的45度直線；步驟三：移動動作的速度測算需要監測左手動態數據右手動態數據左指尖動態數據右指尖動態數據通過計算出左指尖的移動速度，進而求出右指尖速度V2，左手速度V3，右手速度V4，其中速度超過閾值即視為移動動作啟動，定義閾值為v；步驟四：移動動作的判定手指動作通過判斷V1和V2是否大于v，當大于之后即為M1；手腕動作、小臂動作、大臂動作和伸直手臂需要考慮兩個因素，即V3和V4大于后v即認為開始移動，當V3和V4小于v時即認為停止移動，此時左右手位置在模特值M2、M3、M4和M5的相關范圍內，即認為完成相關的模特值動作；由于手腕動作、小臂動作、大臂動作和伸直手臂均會帶動手指空間移動，所以本文認為當左右手視為移動后，即停止判斷手指模特值。所述移動動作也可根據時間測算方法測算模特值：已知左指尖速度V1，右指尖速度V2，左手速度V3，右手速度V4，速度超過閾值v即視為移動動作啟動，當速度低于閾值v時，移動動結束，根據差值T判斷模特值，手移動時間為0≤T≤0.1548視為指尖移動M1，手移動時間為0.1548＜T≤0.3096視為手腕動作M2，手移動時間為0.3096≤T≤0.4644視為小臂動作M3，手移動時間為0.4644＜T≤0.6192視為大臂動作M4，手移動時間為0.6192＜T視為大臂動作M5。所述終結動作中抓捏動作包括接觸、簡單地抓和復雜的抓；放置動作包括簡單放置、復雜地抓和裝配，終結動作和放置動作具備先后關系；監測左拇指動態數據右拇指動態數據左手到左指尖向量為右手到右指尖向量為左手到左拇指向量為右手到右拇指向量為當θ1和θ2小于閾值θ時，認為開始終結動作，開始計時，當移動動作開啟，認為終結動作終止，停止計時，根據差值T判斷模特值；接觸M1時間為0≤T≤0.1548，簡單地抓M2時間為0.1548＜T≤0.3096，復雜的抓M3時間為0.3096＜T。完成終結動作，在移動動作結束后放置動作開始計時，當θ1和θ2大于閾值θ時，計時停止，根據差值T判斷模特值；簡單放置M1時間為0≤T≤0.1548，復雜地抓M2時間本文檔來自技高網...

【技術保護點】
一種坐式手工裝配線模特值評測系統，可以實現計算機記錄工人動作時間，其特征在于：本產品經過Kinect?v2識別，通過內置算法即可得到坐式手工裝配線的模特值，并根據模特值給出評價，其中Kinect?v2可通過定位機構實現橫縱向移動，具體包括：Kinect?v2外設，Kinect?v2定位機構，數據處理模塊，A/D轉換模塊，數顯模塊，數據庫模塊，評估模塊；所述Kinect?v2外設需要供電電源驅動，Kinect?v2外設包含三個體感交互模塊：語音識別模塊、面孔識別模塊、骨骼識別模塊，Kinect?v2根據上述體感交互模塊能夠捕捉用戶動作以及用戶的相對位置，采集的數據將被送到CPU進行下一步處理；所述Kinect?v2定位機構由電機驅動，包含滾珠絲杠機構和連桿機構，分別控制Kinect左右位置和上下位置的移動；所述數據處理模塊分為兩個子模塊：模特法識別模塊和Kinect?v2位置調整模塊，模特法識別模塊將CPU傳來的用戶動作數據進行識別、分析、處理，得到動作的時間結果返回CPU并存入數據庫；Kinect?v2位置調整模塊將CPU傳來的用戶相對位置數據進行識別、分析，并計算出要使Kinect?v2正對用戶時，Kinect?v2需要調整的位置數據，并輸出給A/D轉換模塊；所述A/D轉換模塊是將數據處理模塊計算輸出的數字量轉換成模擬量；數據處理模塊輸出的是要使Kinect?v2與用戶正對應調整的位置代碼，經過A/D轉換成真實的位置量后傳輸到可活動固定機構；所述數顯模塊將CPU傳來的數據處理模塊結果顯示到界面，便于研究者采集和進行下一步精益研究；所述數據庫模塊從CPU接收數據處理模塊和A/D轉換模塊數據，便于研究者采集和進行下一步精益研究；所述評估模塊，將數據庫模塊儲存數據導出，通過評估算法進行分析處理，輸出評估結果和改進方案。...

【技術特征摘要】
1.一種坐式手工裝配線模特值評測系統，可以實現計算機記錄工人動作時間，其特征在于：本產品經過Kinectv2識別，通過內置算法即可得到坐式手工裝配線的模特值，并根據模特值給出評價，其中Kinectv2可通過定位機構實現橫縱向移動，具體包括：Kinectv2外設，Kinectv2定位機構，數據處理模塊，A/D轉換模塊，數顯模塊，數據庫模塊，評估模塊；所述Kinectv2外設需要供電電源驅動，Kinectv2外設包含三個體感交互模塊：語音識別模塊、面孔識別模塊、骨骼識別模塊，Kinectv2根據上述體感交互模塊能夠捕捉用戶動作以及用戶的相對位置，采集的數據將被送到CPU進行下一步處理；所述Kinectv2定位機構由電機驅動，包含滾珠絲杠機構和連桿機構，分別控制Kinect左右位置和上下位置的移動；所述數據處理模塊分為兩個子模塊：模特法識別模塊和Kinectv2位置調整模塊，模特法識別模塊將CPU傳來的用戶動作數據進行識別、分析、處理，得到動作的時間結果返回CPU并存入數據庫；Kinectv2位置調整模塊將CPU傳來的用戶相對位置數據進行識別、分析，并計算出要使Kinectv2正對用戶時，Kinectv2需要調整的位置數據，并輸出給A/D轉換模塊；所述A/D轉換模塊是將數據處理模塊計算輸出的數字量轉換成模擬量；數據處理模塊輸出的是要使Kinectv2與用戶正對應調整的位置代碼，經過A/D轉換成真實的位置量后傳輸到可活動固定機構；所述數顯模塊將CPU傳來的數據處理模塊結果顯示到界面，便于研究者采集和進行下一步精益研究；所述數據庫模塊從CPU接收數據處理模塊和A/D轉換模塊數據，便于研究者采集和進行下一步精益研究；所述評估模塊，將數據庫模塊儲存數據導出，通過評估算法進行分析處理，輸出評估結果和改進方案。2.根據權利要求1所述的一種坐式手工裝配線模特值評測系統，其特征在于，所述Kinectv2定位機構，包括定位結構、縱向移動結構和橫向移動結構；所述定位結構，通過將固定螺母I(2)和固定螺母II(14)上的螺栓I(1)和螺栓II(11)旋動，可調節擋板I(3)和擋板II(13)與基座的間距，使裝置定位在坐式裝配線工人操作臺的對面，其中定位寬度可調節，從而適應不同操作臺，保證Kinectv2與操作臺水平；所訴縱向移動結構，電機II(12)驅動使得連桿I(5)和連桿II(10)移動，完成縱向移動；所訴橫向移動結構，電機I(6)驅動使得絲杠(7)旋轉，滾珠板(8)橫向移動；取出固定件(9)，將Kinectv2放在滾珠板(8)上，再放置固定件(9)，即可保證Kinectv2與操作臺保持水平，從而簡化之后的模特法的換算。3.根據權利要求1所述的一種坐式手工裝配線模特值評測系統，其特征在于，所述Kinectv2在探測時會以自己為坐標原點，X軸是從Kinectv2感應器角度觀看，左邊為正半軸，右邊為負半軸，Y軸正軸豎直向上，僅表示Kinectv2正常放置，并未出現倒置現象，Z表示縱深程度，Kinectv2攝像方向為正方向；當裝配線工人坐在工位上，Kinectv2通過面孔識別模塊識別，將采集的面孔數據與數數據庫中面孔數據對比，相似度達到95％時，啟動設備，Kinectv2骨骼識別追蹤采集人體各個部分三坐標數據，其中包括頭、頸、肩中心、左拇指、右拇指、左指尖、右指尖、左手、右手、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱。4.根據權利要求1所述的一種坐式手工裝配線模特值評測系統，其特征在于，所述模特法識別模塊，采用半身識別的方法，模特法識別模塊僅對模特法中上肢動作進行評測，其中包括移動動作、終結動作、放置動作測算。5.根據權利要求4所述的一種坐式手工裝配線模特值評測系統，所述的移動動作包括手指動作、手腕動作、小臂動作、大臂動作和伸直手臂，范圍測算方法具體測算包括移動范圍測算；移動動作的速度測算；移動動作的判定；步驟一：首先確定默認范圍在移動范圍測算之前，需要裝配線工人坐在Kinectv2設備前，等待5秒，此時Kinectv2根據工人骨骼測算出移動的作業范圍，并默認裝配線工人僅在長為A，寬為B的范圍內活動；步驟二：移動...

【專利技術屬性】
技術研發人員：姜盛乾，劉鵬，羅文濤，付丹妮，
申請(專利權)人：吉林大學，
類型：發明
國別省市：吉林,22