影像相關研究

 

 

Visual Odometry via IMU-Camera

 

 

Abstract:

           Visual odometry is the process of determining the position and orientation of a vehicle by analyzing the associated camera images. Our odometer architecture combines a monocular camera and an inertial measurement unit (IMU) for trajectory estimation with real scale. This system includes computer vision, ego-motion estimation, and sensor fusion technique. We build up our own IMU-camera device to measure the view changes, acceleration, rotation, magnetometer, and GPS data. Experiments are conducted to show the effectiveness of the proposed method in real environ­ment.

 

摘要:

        視覺里程計是一種利用影像輔助且具有尺度的軌跡估測系統,本實驗室發展出一套結合單一攝影機與慣性感測裝置的系統,此系統包含了電腦視覺、3D移動軌跡估測以及感測器融合等技術,我們製作了一台IMU-camera裝置,可量測影像、加速度、角速度、磁力方向、GPS定位資料,實驗結果顯示,本實驗室所提出的視覺里程演算法,在實際環境中能提供準確的軌跡估測結果。

 

實驗室成員:

 

姓名

學籍

研究摘要

曾勁源

已畢業

使用連續影像於空間中的虛擬線段幾何之影像定位系統

許凱翔

已畢業

結合磁力計於視覺輔助慣性測程器

陳鳴遠

已畢業

使用多個狀態限制卡爾曼濾波器與三焦張量幾何之視覺輔助慣性測程器

陳建安

已畢業

利用IMU-camera所量測到的移動軌跡,對模糊影像做解模糊的技術

 

Introduction:

        本實驗室提出一套結合單一攝影機與慣性量測裝置的測程器架構。由於慣性量測裝置存在誤差累積的問題,導致單純使用慣性量測裝置的測程器在真實環境下很難得到準確的結果,需要有其他感測器的輔助,因此我們以單一攝影機與慣性量測裝置進行感測器融合(Fig. 1),由於使用了攝影機的資訊,慣性量測裝置的誤差可以被有效地抑制住,使得慣性量測裝置可以提供實際地圖尺度。

我們使用在三張影像中存在的三焦張量幾何關係作為攝影機所提供的量測資訊,此方法可以不需要估測特徵點在空間中的位置,也就是不需要進行環境的重建。同時本論文將三張影像分別對應到的攝影機姿態在濾波器中修正,形成一多個狀態限制的卡爾曼濾波器,以此提出一個在計算量與精確度間取得平衡的滑動視窗式測程法,相較於現存視覺式測程法或是同時定位與地圖建立的方法,我們提出的架構更符合自我軌跡估測的測程需求並且適用於即時導航系統。我們同時提出基於三視角幾何的隨機抽樣一致演算法,它可以有效地排除比對錯誤或是落於移動物體上的特徵點,使得整體演算法在動態的環境下仍有可靠的結果。最後,本實驗室實作一套整合單一攝影機、慣性量測裝置以及GPS的硬體設備並以在真實環境下的資料驗證所提出的演算法 (Fig. 2)

 

  

(a)                                                                                     (b)                 

Fig. 1 The device developed in this work and the mounting position

 

Fig. 2 The motion trajectory estimation results

 

Published papers:

[1]     T. Chin-Yuan, C. Jian-An, and H. Jwu-Sheng, “Unscented Blind Image De-blurring Using Camera with Inertial Measurement Unit,” inProc. of the IEEE Intl. Conf. on Robotics and Biomimetics (ROBIO), Shenzhen, China, Dec. 12-14, 2012, pp. 2096-2101.

[2]     H. Jwu-Sheng, T. Chin-Yuan, C. Ming-Yuan and S. Kuan-Chun, “IMU-Assisted Monocular Visual Odometry Including the Human Walking Model for Wearable Applications,” in Proc. of the IEEE Intl. Conf. on Robotics and Automation (ICRA), Karlsruhe, Germany, May 6-10, 2013.

[3]     H. Jwu-Sheng, and C. Ming-Yuan, “A Sliding-Window Visual-IMU Odometer Based on Tri-focal Tensor Geometry,” in Proc. of the IEEE Intl. Conf. on Robotics and Automation (ICRA), 2014.