多攝影機間進行目標物追蹤技術...
陳冠文
台大資工所
於單攝影機畫面進行目標物追蹤已是個廣泛研究的課題,近年來,由於攝影機成本下降與視訊安全產業發展,使用多攝影機監控網路來進行大範圍區域的視訊安全監控是個發展趨勢。因此,於多攝影機間進行目標物追蹤是個日漸重要的研究課題,也有愈來愈多人投入相關研究。
Stauffer與Tieu [14]將目標物追蹤問題可廣泛定義成找對應關係的問題,並將其分成三類:(1)不同時間畫面的目標物對應 (即單攝影機的目標物追蹤)、(2)有重疊監控區域的多攝影機間目標物對應、(3)無重疊監控區域的多攝影機間目標物對應。以圖一為例,第一類問題即當有人A進入Cam 1的畫面時,直到A離開Cam 1的監控畫面之前,系統需能持續追蹤該目標物A。第二類問題發生在Cam 5與Cam 6,此二台攝影機有部分重疊區域,當有人出現在該重疊區域時,系統需判別兩台攝影機所分別追蹤的目標物是否為同一個人。第三類問題以Cam 3與Cam 5為例,假設有一個人A從Cam 5的監控畫面離開,過一小段時間之後,有個人B從Cam 3的監控畫面出現,系統需判別A與B是否為同一個人。
.jpg)
.jpg)
圖一、監控環境平面圖與攝影機取像畫面
早期的多攝影機間目標物追蹤研究,主要是處理多攝影機間的監控區域有重疊時的情形,如:Cai[1]與Collins[2]所提出的方法,他們透過事先校正好的攝影機參數與場景三維模型,即可透過估測目標物於空間中的絕對位置來判別目標物是否為同一個人。其後,Khan與Shah[9]使用field of view (FOV) line,而Stauffer與Tieu[14]提出planar tracking correspondence model (TCM),如圖二,此二者的方法皆不需人工的攝影機校正步驟和建立三維場景模型,即可完成於監控畫面重疊域區進行多攝影機間的目標物追蹤。大致來說,於重疊區域進行多攝影機的目標物追蹤,空間中的絕對位置為主要運用的判別特徵。
.jpg)
圖二、Stauffer與Tieu所提出自動估算平面TCM的結果
由於成本考量,在實際應用上要求所有攝影機的監控畫面皆有重疊是不太可能的,因此近年來,也有較多的人開始研究於不重疊的區域進行多攝影機間的目標物追蹤。整合近年來的方法,於不重疊區域進行多攝影機間的目標物追蹤,可歸納出有兩個主要的特徵:時空特徵(spatial-temporal cue)與外觀特徵(appearance cue)。時空特徵關係為:知道目標物A於攝影機1畫面離開時的位置與時間(s1,t1)和目標物B於攝影機畫面出現時的位置與時間(s2,t2),而A與B為同一個人的機率;外觀特徵關係為:A與B在顏色分布上為同一個人的機率。[3, 5, 6, 7, 8, 11, 12]使用人工方式決定或是透過人工決定對應關係的訓練時期來學習時空特徵關係的分布機率,並進行多攝影機間的目標物追蹤。其中,[7, 12] 有事先透過人工方式校正不同攝影機間的顏色差異,以增進在外觀特徵上判別的正確率。以上方法由於需要大量的人工參與,因此於實際應用上並不容易使用。
Makris et al. [10] 提出一個自動學習不同攝影機間時空特徵關係的方法,他們的方法於學習階段完全不需要人工決定對應關係,透過統計分析的方式學習出不同攝影機間的時空特徵關係,並可學習出攝影機監控畫面間的連結關係,如圖三。其後,[13, 15]將其方法擴展至可以處理「行人、車輛多種物件情形」與「有紅綠燈的情形」。而Gilbert與Bowden [4] 更進一步提出一個逐漸學習的方法,其方法除了不需要人工參與之外,也可隨著學習時間增加而有著更加的追蹤效能,並更進一步改進Makris的方法無法適應環境改變的缺點。
.jpg)
圖三、攝影機監控畫面間的連結關係
多攝影機間的目標物追蹤研究由於才發展沒多久,因此尚有需多問題待解決,如:開關燈所造成的光線環境突然改變、目標物離開一段長時間又進入監控畫面等…,在此一領域尚有許多挑戰與困難存在,值得進一步的深入研究。
參考資料
| [1] | Q.Cai and J. K. Aggarwal. Tracking human motion in structured environments using a distributed-camera system. IEEE Trans. PAMI, 21(11):1241-1247, Nov. 1999. |
| [2] | R.Collins, A. Lipton, H. Fujiyoshi, and T. Kanade. Algorithms for cooperative multisensor surveillance. Proceedings of the IEEE, 89(10):1456-1477, Oct. 2001. |
| [3] | A.Dick and M. Brooks. A stochastic approach to tracking objects across multiple cameras. Proceedings of the Australian Conference on Artificial Intelligence, 2004. |
| [4] | A.Gilbert and R. Bowden. Tracking objects across cameras by incrementally learning inter-camera color calibration and patterns of activity. In ECCV, 2006. |
| [5] | T. Huang and S. Russell. Object identification in a Bayesian Context. In IJCAI, 1997. |
| [6] | O. Javed, Z. Rasheed, K. Shafique, and M. Shah. Tracking across multiple cameras with disjoint views. In ICCV, 2003. |
| [7] | O. Javed, K. Shafique, and M. Shah. Appearance modeling for tracking in multiple non-overlapping cameras. In CVPR, 2005. |
| [8] | V. Kettnaker and R. Zabih. Bayesian multi-camera surveillance. In CVPR, 1999. |
| [9] | S. Khan and M. Shah. Consistent labeling of tracked objects in multiple cameras with overlapping fields of view. IEEE Trans. PAMI, 25(10):1355-1360, Oct. 2003. |
| [10] | D. Makris, T. Ellis, and J. Black. Bridging the gaps between cameras. In CVPR, 2004. |
| [11] | H. Pasula, S. Rusell, M. Ostland, and Y. Ritov. Tracking many objects with many sensors. In IJCAI, 1999. |
| [12] | F. Porikli and A. Divakaran. Multi-camera calibration, object tracking and query generation. In ICME, 2003. |
| [13] | C. Stauffer. Learning to track objects through unobserved regions. In WMVC, 2005. |
| [14] | C. Stauffer and K. Tieu. Automated multi-camera planar tracking correspondence modeling. In CVPR, 2003. |
| [15] | K. Tieu, G. Dalley, and W. Grimson. Inference of non-overlapping camera network topology by measuring statistical dependence. In ICCV, 2005. |










