【技術實現步驟摘要】
本專利技術為一種地基立體視覺便攜式鳥群行為觀測系統，主要用于野外環境下鳥群群體行為觀測實驗，所獲取的觀測數據用于鳥群飛行三維軌跡重建，支撐鳥群行為群體動力學研究工作，屬于工程應用領域。
技術介紹
1、大規模鳥群行為近年來受到越來越多研究者的關注。在對鳥群群體行為動力學的研究中，實證數據的作用至關重要。然而，鳥群活動場地以叢林、丘陵、灘涂較為常見，大型拍攝設備往往不易部署，并且由于野外環境下開展觀測實驗的不確定性，以及環境和地形的復雜性，觀測系統的便攜性變得尤為關鍵。
2、目前，國內外主流的地基立體視覺測量設備通常需要部署多個專業視覺成像設備及其輔助配件，安裝及調試整套設備對實驗場地的地形條件、空間大小和部署時間要求高。拍攝設備由于模塊分散、部署時間長及受限于場地空間大小，限制了在叢林、灘涂等野外環境觀測實驗的開展。為了應對以上挑戰，本專利技術提出一種地基立體視覺便攜式鳥群行為觀測系統，該觀測系統具有簡易便攜、部署快速、感存一體的特點，便于在不同場景下對多種鳥群行為開展觀測實驗。系統的圖像傳感器為常規手機內置相機，無需外置存儲、供電及同步設備，通過軟硬件集成開發將常規拍攝設備構建成鳥群軌跡測量設備，可實現4k分辨率（3840×2160像素）、60幀/秒的野外拍攝，在保證視頻清晰度和幀率等關鍵參數達到觀測實驗要求的同時具有更高的靈活性。由于突破了實驗場地地形、空間對系統本身的限制，可根據觀測對象與觀測點的縱深距離進行長基線分離式結構部署，提升了三維重建精度；亦可根據被觀測鳥群的生活習性，選擇優勢位置開展觀測實驗，從而提升
技術實現思路
1、目前國內外主流的地基視覺鳥群觀測系統由于模塊分散、不易攜帶、部署耗時長等缺點，往往采用定點部署開展鳥群行為觀測實驗，難以適應野外不同地形、空間和其他不確定因素，從而限制了野外鳥群行為觀測實驗的開展。本專利技術提出了一種地基立體視覺便攜式鳥群行為觀測系統，可由單人攜帶并快速部署，并且適用于不同地形、環境下的室外觀測實驗。本專利技術主要包括兩個方面：觀測系統的設計與適配，現場的外參快速標定與時間同步方案。首先，本專利技術提供一種適于野外部署的鳥群行為觀測系統，該觀測系統主體由三部消費級拍攝手機構成，其中兩個構成立體視覺，第三視角作為輔助視角解決存在遮擋的問題，另外還包括三腳架、激光測距儀、led發光模塊、姿態傳感器、數據讀取模塊和方位角測量模塊。所述的消費級拍攝手機使用配套的夾具安裝在三腳架上，用于正面觀測鳥群。所述的姿態傳感器在使用時放置在夾具平面上，用于測量手機的俯仰角和橫滾角。所述方位角測量模塊采用膠水固定在三腳架上。方位角測量模塊由角度傳感器、28步進電機、紅色激光、聯軸器和四個自制的3d打印件組成。其中3d打印件1和2之間使用m3螺絲螺母緊固，3d打印件1用膠水固定在三腳架上。3d打印件2和角度傳感器使用m3螺絲連接。角度傳感器和3d打印件4使用聯軸器同軸連接。紅色激光和3d打印件4之間使用膠水固定。3d打印件4另一端使用聯軸器連接28步進電機。28步進電機使用m3螺絲連接在3d打印件3上，3d打印件3使用m3螺絲連接在3d打印件2上。所述的數據讀取模塊包括單片機、12v鋰電池、oled顯示屏、穩壓模塊、485轉ttl通信模塊和電機驅動模塊，設計合適的pcb轉接板將零件組合形成數據讀取模塊，其中鋰電池直接給電機驅動供電，經穩壓模塊后給你單片機和oled顯示屏供電，單片機的電信號通過485轉ttl通信模塊讀取角度傳感器值，其次控制電機驅動轉動紅色激光。
2、此外，本專利技術提供與之對應的野外環境相機外部參數（簡稱“外參”）快速標定和圖像序列時間同步方案。首先建立立體視覺模型和坐標系，每個相機符合小孔成像模型，建立3個坐標系。（1）像素坐標系，該坐標系是二維平面坐標系，坐標系平面是相機成像平面，原點處于圖片的左上角頂點，xy軸以像素為單位，?xy軸分別是成像平面的平行邊，像素坐標系用于描述拍攝目標在圖片上的像素坐標。（2）圖像坐標系，該坐標系是二維平面坐標系，坐標軸與像素坐標系平行，坐標軸單位是米，原點是相機光心到成像平面的垂點，到間的距離是相機焦距。（3）相機坐標系，是相機光心上的坐標系，坐標原點位于相機鏡頭中心，z軸方向沿相機的光軸方向，x軸和y軸分別平行于相機ccd陣列的橫向和縱向。根據等比關系，可以得像素坐標與世界坐標之間的關系：
3、
4、其中， k是是內參矩陣，表示坐標系到的投影變換關系； fx和 fy表示世界到相機的縮放關系，取決于相機焦距與ccd的尺寸；cx和cy表示坐標系到之間坐標系原點的偏移。由于紅色線上的每一點在相機上的成像都是，像素坐標與空間坐標存在一對多的情況，即包含未知深度信息的尺度因子，但存在唯一的歸一化像素坐標。通過三角測量原理即可計算出該尺度因子。雙目立體成像系統原理，空間中的點p分別在左右相機上成像，設像素坐標分別是和。左右相機均采用針孔相機模型，左右相機坐標系之間的投影變換關系用[r|t]表示，則可以得到下面的關系式：
5、
6、其中，和通過圖像處理獲得；和分別是左右相機內參；和別是目標點p在左右相機系下的坐標；矩陣表示坐標從到的變換關系，即相機外參；為4×4矩陣，包含6個自由度，分別是三個坐標軸之間的旋轉角度與坐標原點之間的平移向量。采用最小二乘法即可求解點p在左目相機系下的坐標，通過一個旋轉平移變換即可獲得世界坐標。對于多目系統只需要重復以上的操作計算出不同的即可得到被觀測對象的世界坐標。
7、通過所述的第一方面的鳥群觀測系統可以快速準確便捷的測量出坐標系之間的旋轉角度與坐標平移，完成外參標定。首先建立世界坐標系、中間坐標系；其中是系統的參考系，該坐標系原點固定在左目支架中心，xyz軸方向如圖1所示，z軸垂直向上，xy軸處于水平面上，其中x軸水平向右，y軸朝拍攝正前方。是固定在右目支架上的坐標系，其原點位于右目的支架中心，xyz軸的分布與一致，，所以兩個坐標系僅有繞z軸的方位角旋轉與xy軸方向上的偏移。
8、所述的和類似，僅需要測量三軸的坐標平移并讀取高精度姿態傳感器的俯仰和橫滾角完成計算。即先繞和的x軸旋轉，再繞y軸旋轉，和就可以分別與和坐標軸平行，所以和不需要測量方位角，又因為和的xy軸是是平行于水平面，高精度姿態傳感器的姿態角也是相對于水平面的角度，所以只需要讀取角度傳感器即可，無需考慮三腳架擺放問題。所述的是與旋轉平移變化的橋梁，計算出和?，即可計算出和之間的變換。所述的根據分析僅包含xy軸方向上的偏移與繞z軸的方位角旋轉。其中的基線通過方位角分解成x與y軸分量，z軸分量是標定板之間的高度差。在外參標定中兩個激光形成對射的情況下，z軸幾乎沒有分量，分量大小是幾厘米，在幾十米的基線下可以忽略，本專利技術采用通過高精度激光測距儀測量基線。所述的方位角采用了一種物理的測量方案。使用方位角測量模塊，控制激光轉動，最低旋轉角為0.01本文檔來自技高網...
【技術保護點】
1.一種基于立體視覺的便攜式大規模鳥群觀測系統，其特征在于，該觀測系統硬件部分由三個視角構成，其中兩個構成立體視覺，第三視角作為輔助視角解決存在遮擋的問題，每個視角由消費級拍攝手機、便攜式三腳架、姿態傳感器、數據讀取模塊和方位角測量模塊組成；該系統配備適應野外觀測環境的快速外部參數標定方法及圖像序列時間同步方法。
2.如權利要求書1所述的基于立體視覺的便攜式大規模鳥群觀測系統，其特征在于，所述的消費級拍攝手機使用配套的夾具安裝在三腳架上，用于正面觀測鳥群；姿態傳感器在使用時放置在夾具平面上，用于測量拍攝手機的俯仰角和橫滾角；方位角測量模塊由角度傳感器、28步進電機、紅色激光、聯軸器和四個自制的3D打印件組成，并固定在三腳架上；數據讀取模塊由單片機、12V鋰電池、OLED顯示屏、穩壓模塊、485轉TTL通信模塊和電機驅動模塊，定制化PCB轉接板將零件組合形成數據讀取模塊，并控制方位角測量模塊的電機及角度傳感器讀數。
3.如權利要求書1所述的適應野外觀測環境的快速外部參數標定方法及圖像序列時間同步方法，其特征在于，外部參數標定方法先建立立體視覺模型和坐標系，每
4.如權利要求書3所述的外部參數標定方案，其特征在于，通過權利要求書1所述的鳥群觀測系統可以在野外環境快速準確地測量出多目相機在公共坐標系下的朝向和位置關系，完成外部參數標定。
5.根據權利要求3所述的圖像序列時間同步方法，其特征在于，所述圖像序列時間同步方法包含兩步，第一步是通過不同視角的相機獲取第三方顯示器的時間特征，根據視頻幀率求解圖像序列時間偏移量，完成毫秒級圖像序列時間對齊；第二步，在共同視角放置一個LED發光模塊，該模塊自主研發，可主動頻閃且頻率自主可控，根據燈光亮滅變化優化時間偏移量，時間同步誤差不超過十毫秒。
...【技術特征摘要】
1.一種基于立體視覺的便攜式大規模鳥群觀測系統，其特征在于，該觀測系統硬件部分由三個視角構成，其中兩個構成立體視覺，第三視角作為輔助視角解決存在遮擋的問題，每個視角由消費級拍攝手機、便攜式三腳架、姿態傳感器、數據讀取模塊和方位角測量模塊組成；該系統配備適應野外觀測環境的快速外部參數標定方法及圖像序列時間同步方法。
2.如權利要求書1所述的基于立體視覺的便攜式大規模鳥群觀測系統，其特征在于，所述的消費級拍攝手機使用配套的夾具安裝在三腳架上，用于正面觀測鳥群；姿態傳感器在使用時放置在夾具平面上，用于測量拍攝手機的俯仰角和橫滾角；方位角測量模塊由角度傳感器、28步進電機、紅色激光、聯軸器和四個自制的3d打印件組成，并固定在三腳架上；數據讀取模塊由單片機、12v鋰電池、oled顯示屏、穩壓模塊、485轉ttl通信模塊和電機驅動模塊，定制化pcb轉接板將零件組合形成數據讀取模塊，并控制方位角測量模塊的電機及角度傳感器讀數。<...
【專利技術屬性】
技術研發人員：胡天江，艾宇輝，孫梓杰，鄢偉明，翟浩州，
申請(專利權)人：中山大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。