精選百科
本文由作者推薦
視覺追蹤
計算機領(lǐng)域的概念
視覺跟蹤是指對圖像序列中的運動目標(biāo)進(jìn)行檢測、提取、識別和跟蹤，獲得運動目標(biāo)的運動參數(shù)，如位置、速度、加速度和運動軌跡等，從而進(jìn)行下一步的處理與分析，實現(xiàn)對運動目標(biāo)的行為理解，以完成更高一級的檢測任務(wù)。
基本信息
| 中文名 | 視覺追蹤 |
| 外文名 | Visual tracking |
| 運用領(lǐng)域 | 計算機 |
| 技術(shù)支持 | 依賴高清晰度攝像機和不可見紅外光源 |
研究意義
視覺是人類認(rèn)知世界的重要途徑之一，人類獲取外部信息的80%來自視覺系統(tǒng)。計算視覺就是在了解人類視覺基礎(chǔ)上，用成像系統(tǒng)代替人類視覺器官，用計算級代替人腦完成對輸入圖像的處理與理解。同時，隨著信息技術(shù)與智能科學(xué)的發(fā)展，計算機視覺是人工智能領(lǐng)域熱門學(xué)科之一和物聯(lián)網(wǎng)感知層重要技術(shù)之一。
視覺跟蹤技術(shù)作為計算機視覺領(lǐng)域的熱門課題之一，是對連續(xù)的圖像序列進(jìn)行運動目標(biāo)檢測、提取特征、分類識別、跟蹤濾波、行為識別，以獲得目標(biāo)準(zhǔn)確的運動信息參數(shù)（如位置、速度等），并對其進(jìn)行相應(yīng)的處理分析，實現(xiàn)對目標(biāo)的行為理解。
國外在視頻目標(biāo)檢測與跟蹤領(lǐng)域的研究起步較早，美國軍方及美國自然科學(xué)基金委員會都非常關(guān)注復(fù)雜環(huán)境下目標(biāo)的檢測、跟蹤與識別算法研究與應(yīng)用。1991年，美國國防高級研究項目署DARPA就資助卡內(nèi)梅隆大學(xué)進(jìn)行視覺信息在無人機中的應(yīng)用研究。1997年，DARPA再次邀請多所美國高校參與了視頻監(jiān)控系統(tǒng)重大項目VSAM(videosurveillance and monitoring)的研發(fā)工作。美國國防部DAPRA和JSG&CC聯(lián)合發(fā)起成立了自動識別工作組ATRWG。之后，國外知名大學(xué)與研究機構(gòu)也對視頻目標(biāo)的檢測與跟蹤算法進(jìn)行深入研究，J.Davis等人提出了一種適用于人體檢測的背景相減算法，它首先采用傳統(tǒng)幀相減算法得到感興趣區(qū)域，之后通過梯度信息在感興趣區(qū)域中尋找目標(biāo)輪廓，通過目標(biāo)輪廓確定目標(biāo)位置，S.Huwer等人深入研究了背景模型問題，提出了一種自適應(yīng)的背景模型，該模型可以很好的解決光照變化等問題。
1999年后，國內(nèi)一些高校和科研機構(gòu)也開始視頻目標(biāo)檢測與跟蹤方面的研究。中科院自動化所的模式識別國家重點實驗室圖像和視頻分析研究組研發(fā)的交通行為事件分析系統(tǒng)；2001年，清華大學(xué)開發(fā)的適用于野外環(huán)境的視覺偵查系統(tǒng)。
分類
（1）單攝像頭與多攝像頭
在視頻跟蹤的過程中，根據(jù)使用的攝像頭的數(shù)目，可將目標(biāo)跟蹤方法分為單攝像頭跟蹤方法（Monocular camera）與多攝像頭跟蹤方法（Multiple cameras）。由于單攝像頭視野有限，大范圍場景下的目標(biāo)跟蹤需要使用多攝像頭系統(tǒng)?；诙鄠€攝像頭的跟蹤方法有利于解決遮擋問題，場景混亂、環(huán)境光照突變情況下的目標(biāo)跟蹤問題。
（2）攝像頭靜止與攝像頭運動
在實際的目標(biāo)跟蹤系統(tǒng)中，攝像頭可以是固定在某個位置，不發(fā)生變化，也可以是運動，不固定的。例如，對于大多數(shù)的視頻監(jiān)視系統(tǒng)而言，都是在攝像機靜止?fàn)顟B(tài)下，對特定關(guān)注區(qū)域進(jìn)目標(biāo)的識別跟蹤；而在視覺導(dǎo)航等的應(yīng)用系統(tǒng)中，攝像頭往往隨著無人汽車、無人機等載體進(jìn)行運動。
（3）單目標(biāo)跟蹤與多目標(biāo)跟蹤
根據(jù)跟蹤目標(biāo)的數(shù)量可以將跟蹤算法分為單目標(biāo)跟蹤與多目標(biāo)跟蹤。相比單目標(biāo)跟蹤而言，多目標(biāo)跟蹤問題更加復(fù)雜和困難。多目標(biāo)跟蹤問題需要考慮視頻序列中多個獨立目標(biāo)的位置、大小等數(shù)據(jù)，多個目標(biāo)各自外觀的變化、不同的運動方式、動態(tài)光照的影響以及多個目標(biāo)之間相互遮擋、合并與分離等情況均是多目標(biāo)跟蹤問題中的難點。
（4）剛體跟蹤與非剛體跟蹤
根據(jù)被跟蹤目標(biāo)的結(jié)構(gòu)屬性，可將跟蹤目標(biāo)分為剛體與非剛體。所謂剛體，是指具備剛性結(jié)構(gòu)、不易形變的物體，例如車輛等目標(biāo)；非剛體通常指外形容易變形的物體，例如布料表面、衣服表面等。針對剛體目標(biāo)的跟蹤一直得到廣泛深入的研究，而非剛體目標(biāo)的跟蹤，由于目標(biāo)發(fā)生變形以及出現(xiàn)自身遮擋等現(xiàn)象，不能直接應(yīng)用基于剛體目標(biāo)的跟蹤算法針對非剛體目標(biāo)的跟蹤一直是非常困難并且具有挑戰(zhàn)性的課題。
（5）可見光與紅外圖像的目標(biāo)跟蹤
根據(jù)傳感器成像的類型不同，目標(biāo)跟蹤還可以分為基于可見光圖像的跟蹤和基于紅外圖像的跟蹤。目標(biāo)的紅外圖像和目標(biāo)的可見光圖像不同，它不是人眼所能看到的可見光圖像，而是目標(biāo)表面溫度分布的圖像。紅外圖像屬于被動式成像，無需各種光源照明，全天候工作，安全隱敝，使用方便；紅外光較之可見光的波長長得多，透煙霧性能較好，可在夜間工作?？梢姽鈭D像具有光譜信息豐富、分辨率高、動態(tài)范圍大等優(yōu)點，但在夜間和低能見度等條件下，成像效果差。
比較常用的目標(biāo)跟蹤算法有以下幾種：基于目標(biāo)運動特征的跟蹤算法，如：幀差分法、基于光流的跟蹤方法等；基于視頻序列前后相關(guān)性的目標(biāo)跟蹤算法，如：基于模板的相關(guān)跟蹤算法、基于特征點的相關(guān)跟蹤算法等；基于目標(biāo)特征參數(shù)的跟蹤算法，如基于輪廓的跟蹤算法、基于特征點的跟蹤算法等。另外，很多研究者將小波、人工智能、神經(jīng)網(wǎng)絡(luò)等相關(guān)知識應(yīng)用于目標(biāo)跟蹤領(lǐng)域，并取得了很好的效果。以上這些算法各有其優(yōu)缺點，應(yīng)該根據(jù)應(yīng)用場合進(jìn)行選擇。
典型算法
（1）基于區(qū)域的跟蹤算法
視覺追蹤
起初，基于區(qū)域的跟蹤算法中所用到的目標(biāo)模板是固定的，如 Lucas 等人提出 Lucas-Kanade 方法，該方法利用灰度圖像的空間梯度信息尋找最佳匹配區(qū)域，確定目標(biāo)位置。之后，更多的學(xué)者針對基于區(qū)域方法的缺點進(jìn)行了不同的改進(jìn)，如：Jepson 等人提出的基于紋理特征的自適應(yīng)目標(biāo)外觀模型，該模型可以較好的解決目標(biāo)遮擋的問題，且在跟蹤的過程中采用在線 EM 算法對目標(biāo)模型進(jìn)行更新；Comaniciu 等人提出了基于核函數(shù)的概率密度估計的視頻目標(biāo)跟蹤算法，該方法采用核直方圖表示目標(biāo)，通過 Bhattacharya 系數(shù)計算目標(biāo)模板與候選區(qū)域的相似度，通過均值漂移(MeanShift)算法快速定位目標(biāo)位置。
基于區(qū)域的目標(biāo)跟蹤算法采用了目標(biāo)的全局信息，比如灰度信息、紋理特征等，因此具有較高的可信度，即使目標(biāo)發(fā)生較小的形變也不影響跟蹤效果，但是當(dāng)目標(biāo)發(fā)生較嚴(yán)重的遮擋時，很容易造成跟蹤失敗。
（2）基于特征的跟蹤方法
基于特征的目標(biāo)跟蹤算法通常是利用目標(biāo)的一些顯著特征表示目標(biāo)，并通過特征匹配在圖像序列中跟蹤目標(biāo)。該類算法不考慮目標(biāo)的整體特征，因此當(dāng)目標(biāo)被部分遮擋時，仍然可以利用另一部分可見特征完成跟蹤任務(wù)，但是該算法不能有效處理全遮擋、重疊等問題。
基于特征的跟蹤方法一般包括特征提取和特征匹配兩個過程：
a) 特征提取
所謂特征提取是指從目標(biāo)所在圖像區(qū)域中提取合適的描繪性特征。這些特征不僅應(yīng)該較好地區(qū)分目標(biāo)和背景，而且應(yīng)對目標(biāo)尺度伸縮、目標(biāo)形狀變化、目標(biāo)遮擋等情況具有魯棒性。常用的目標(biāo)特征包括顏色特征、灰度特征、紋理特征、輪廓、光流特征、角點特征等。D.G. Lowe 提出 SIFT(Scale Invariant Feature Transform)算法是圖像特征中效果較好的一種方法，該特征對旋轉(zhuǎn)、尺度縮放、亮度變化具有不變性，對視角變化、仿射變換、噪聲也具有一定的穩(wěn)定性。
b) 特征匹配
特征匹配就是采用一定的方式計算衡量候選區(qū)域與目標(biāo)區(qū)域的相似性，并根據(jù)相似性確定目標(biāo)位置、實現(xiàn)目標(biāo)跟蹤。在計算機視覺領(lǐng)域中，常用的相似性度量準(zhǔn)則包括加權(quán)距離、Bhattacharyya 系數(shù)、歐式距離、Hausdorff 距離等。其中，Bhattacharyya 系數(shù)和歐式距離最為常用。
Tissainayagam 等人提出了一種基于點特征的目標(biāo)跟蹤算法。該算法首先在多個尺度空間中尋找局部曲率最大的角點作為關(guān)鍵點，然后利用提出的MHT-IMM 算法跟蹤這些關(guān)鍵點。這種跟蹤算法適用于具有簡單幾何形狀的目標(biāo)，對于難以提取穩(wěn)定角點的復(fù)雜目標(biāo)，則跟蹤效果較差。
Zhu 等人提出的基于邊緣特征的目標(biāo)跟蹤算法，首先將參考圖像劃分為多個子區(qū)域，并將每個子區(qū)域的邊緣點均值作為目標(biāo)的特征點，然后利用類似光流的方法進(jìn)行特征點匹配，從而實現(xiàn)目標(biāo)跟蹤。
（3）基于輪廓的跟蹤方法
基于輪廓的目標(biāo)跟蹤方法需要在視頻第一幀中指定目標(biāo)輪廓的位置，之后由微分方程遞歸求解，直到輪廓收斂到能量函數(shù)的局部極小值，其中，能量函數(shù)通常與圖像特征和輪廓光滑度有關(guān)。與基于區(qū)域的跟蹤方法相比，基于輪廓的跟蹤方法的計算復(fù)雜度小，對目標(biāo)的部分遮擋魯棒。但這種方法在跟蹤開始時需要初始化目標(biāo)輪廓，因此對初始位置比較敏感，跟蹤精度也被限制在輪廓級。
Kass 等人于 1987 年提出的活動輪廓模型(Active Contour Models，Snake)，通過包括圖像力、內(nèi)部力和外部約束力在內(nèi)的三種力的共同作用控制輪廓的運動。內(nèi)部力主要對輪廓進(jìn)行局部的光滑性約束，圖像力則將曲線推向圖像的邊緣，而外部力可以由用戶指定，主要使輪廓向期望的局部極小值運動，。
Paragios 等人提出了一種用水平集方法表示目標(biāo)輪廓的目標(biāo)檢測與跟蹤算法，該方法首先通過幀差法得到目標(biāo)邊緣，然后通過概率邊緣檢測算子得到目標(biāo)的運動邊緣，通過將目標(biāo)輪廓向目標(biāo)運動邊緣演化實現(xiàn)目標(biāo)跟蹤。
（4）基于模型的跟蹤方法
在實際應(yīng)用中，我們需要跟蹤的往往是一些特定的我們事先具有認(rèn)識的目標(biāo)，因此，基于模型的跟蹤方法首先根據(jù)自己的先驗知識離線的建立該目標(biāo)的 3D 或2D 幾何模型，然后，通過匹配待選區(qū)域模型與目標(biāo)模型實現(xiàn)目標(biāo)跟蹤，進(jìn)而在跟蹤過程中，根據(jù)場景中圖像的特征，確定運動目標(biāo)的各個尺寸參數(shù)、姿態(tài)參數(shù)以及運動參數(shù)。
Shu Wang 等人提出一種基于超像素的跟蹤方法，該方法在超像素基礎(chǔ)上建立目標(biāo)的外觀模板，之后通過計算目標(biāo)和背景的置信圖確定目標(biāo)的位置，在這個過程中，該方法不斷通過分割和顏色聚類防止目標(biāo)的模板漂移。
（5）基于檢測的跟蹤算法
基于檢測的跟蹤算法越來越流行。一般情況下，基于檢測的跟蹤算法都采用一點學(xué)習(xí)方式產(chǎn)生特定目標(biāo)的檢測器，即只用第一幀中人工標(biāo)記的樣本信息訓(xùn)練檢測器。這類算法將跟蹤問題簡化為簡單的將背景和目標(biāo)分離的分類問題，因此這類算法的速度快且效果理想。這類算法為了適應(yīng)目標(biāo)外表的變化，一般都會采用在線學(xué)習(xí)方式進(jìn)行自更新，即根據(jù)自身的跟蹤結(jié)果對檢測器進(jìn)行更新。
面臨的挑戰(zhàn)
視頻目標(biāo)跟蹤技術(shù)理論研究雖然已經(jīng)取得了很大的發(fā)展，并且已經(jīng)有部分成果進(jìn)入實用化階段，但是當(dāng)前仍然面臨著巨大的挑戰(zhàn)，還有許多問題有待進(jìn)一步解決，對此本節(jié)從以下幾個方面進(jìn)行闡述：
1、跟蹤目標(biāo)的多樣性
根據(jù)應(yīng)用需求的不同，視頻跟蹤的對象多種多樣，從而導(dǎo)致跟蹤算法的設(shè)計復(fù)雜多樣。視頻跟蹤的對象可能是不同外觀的行人、或人的臉部、眼部等局部區(qū)域，也可能是具有不同形狀、顏色的車輛或車輛的局部區(qū)域等等。針對不同的跟蹤目標(biāo)，需要建立不同的描述目標(biāo)外觀的特征模型。例如，在跟蹤車輛這類剛體目標(biāo)時所采用的描述目標(biāo)的特征模型，往往不能夠直接用于跟蹤例如衣物等變形表面這類非剛體目標(biāo)；其次，通常的跟蹤對象的運動具有不確定性，例如車輛的行駛過程，可能是勻速運動，也可能是加、減速運動，或是直線運動，或是轉(zhuǎn)向等等，針對不同的跟蹤對象要設(shè)計合適的運動預(yù)測模型；另外，在目標(biāo)運動過程中，目標(biāo)運動本身會造成跟蹤對象外觀特征發(fā)生變化，例如在頭部跟蹤過程中，頭部的旋轉(zhuǎn)會造成頭部區(qū)域的顏色分布發(fā)生變化，此時會導(dǎo)致目標(biāo)有些特征地消失，新特征出現(xiàn)；當(dāng)然，還有跟蹤目標(biāo)之間可能存在遮擋現(xiàn)象，在單一目標(biāo)跟蹤中，目標(biāo)本身可能會發(fā)生自遮擋情況，例如行人的部分區(qū)域，在多目標(biāo)中，目標(biāo)之間也可能發(fā)生相互遮擋，這些情況都增加了跟蹤難度。以上描述的跟蹤目標(biāo)的多樣性都需要對跟蹤算法進(jìn)行合理的設(shè)計和建模描述，從而有效應(yīng)對目標(biāo)的變化。
2、跟蹤環(huán)境的復(fù)雜性
實際應(yīng)用當(dāng)中，室內(nèi)外環(huán)境要素的變化對于目標(biāo)跟蹤算法有很大的影響。室內(nèi)外的光照變化，能夠影響到可見光圖像數(shù)據(jù)，進(jìn)而影響跟蹤目標(biāo)的外觀特征。例如在室內(nèi)黑暗的環(huán)境當(dāng)中，開關(guān)燈會嚴(yán)重影響目標(biāo)與周圍環(huán)境的對比度；室外環(huán)境光照的變化、雨雪天氣等的影響，也會對跟蹤目標(biāo)造成嚴(yán)重干擾。此外，實際的環(huán)境當(dāng)中，不斷變化的背景要素也會對跟蹤目標(biāo)造成影響。例如，在室外密集的人流或車流當(dāng)中，周圍不斷運動的人或車會對指定的目標(biāo)行人或車輛造成嚴(yán)重的影響，道路兩旁的樹木、建筑等同樣會對跟蹤目標(biāo)造成干擾。還有捕獲數(shù)據(jù)的攝像頭設(shè)備，在室內(nèi)外的環(huán)境中都可能受到干擾，例如有些場景會發(fā)生攝像頭抖動問題：如在小區(qū)監(jiān)控中，由于周圍車輛的行使、刮風(fēng)等因素都可能會導(dǎo)致攝像頭晃動、移位等；攝像頭出現(xiàn)視野模糊現(xiàn)象：在長期在惡劣情況下使用，導(dǎo)致攝像頭老化，焦距產(chǎn)生漂移，或者攝像頭落上大量灰塵等情況下，都可能導(dǎo)致視野模糊的問題。為此，如何在種種復(fù)雜干擾的條件下準(zhǔn)確可靠地提取目標(biāo)，是衡量跟蹤算法性能的一項重要指標(biāo)。
3、應(yīng)用需求的多樣性
視頻目標(biāo)跟蹤算法是諸多視覺應(yīng)用的基礎(chǔ)，而各類應(yīng)用對目標(biāo)跟蹤算法各類性能指標(biāo)的要求不盡相同。跟蹤算法的主要指標(biāo)包括跟蹤的準(zhǔn)確性、穩(wěn)定性、抗干擾性以及計算的實時性等。對于視頻監(jiān)控系統(tǒng)等應(yīng)用，需要算法能夠在各種復(fù)雜的外界環(huán)境條件下（如地鐵站、火車站等公共交通系統(tǒng)中），準(zhǔn)確地分析目標(biāo)行為，甚至能準(zhǔn)確報警并盡可能減少虛警誤警，這類應(yīng)用對跟蹤算法的抗干擾性以及計算實時性要求很高；對于網(wǎng)絡(luò)智能交互等應(yīng)用，例如網(wǎng)絡(luò)視頻會議等，需要跟蹤算法準(zhǔn)確提取目標(biāo)的全部區(qū)域，對算法跟蹤的準(zhǔn)確性有很高的要求，而由于網(wǎng)絡(luò)傳輸可能出現(xiàn)的延時等情況，算法的實時性可以有所折中。各類視頻應(yīng)用系統(tǒng)通常來說涉及的方面比較多且復(fù)雜，對于目標(biāo)跟蹤算法需要在跟蹤精度、運行速度以及其他性能指標(biāo)之間進(jìn)行權(quán)衡，是跟蹤算法研究需要考慮的一個重要內(nèi)容。許多跟蹤算法復(fù)雜度高、跟蹤精度受參數(shù)設(shè)置的影響嚴(yán)重，適應(yīng)性和抗干擾性有局限性，如何將視頻跟蹤算法在實際環(huán)境中可靠穩(wěn)定運行，需要進(jìn)一步的研究。
如今，雖然已提出了多種視頻目標(biāo)跟蹤算法，但是大多數(shù)算法一般只適用于一些特定的目標(biāo)、特定的環(huán)境或者具有其它一些應(yīng)用約束條件，并且存在著這樣或那樣的不足有待進(jìn)一步優(yōu)化和完善，而一些更為優(yōu)秀的無環(huán)境約束下的視頻目標(biāo)跟蹤算法也有待去進(jìn)一步研究開發(fā)。
含義二
視覺跟蹤技術(shù)是依賴高清晰度攝像機和不可見紅外光源來達(dá)到探測人眼方向的目的。這種技術(shù)在科學(xué)研究和廣告調(diào)研中被證明非常有用。但同時這種技術(shù)幾乎大部分時候用于殘疾人，而且造價很高。
視覺追蹤相關(guān)的文章
顱骨（skull）位于脊柱上方，由23塊形狀和大小不同的扁骨和不規(guī)則骨組成（中耳的3對聽小骨未計入）。除下頜骨及舌骨外，其余各骨彼此借縫或軟骨牢固連結(jié)，起著保護(hù)和支持腦、感覺器官以及消化器和呼吸器的起始部分的作用。
哈密市，古稱“昆莫、昆吾、伊吾、伊吾盧、哈梅里、哈密里”，是中國新疆維吾爾自治區(qū)下轄地級市，位于新疆東部，地跨東天山南北，總面積14.21萬平方千米，是新疆通往內(nèi)地的門戶。2020年末哈密市常住人口673383人，是多民族聚居地區(qū)，有漢、維吾爾、哈薩克、回、蒙古等39個民族。哈密市轄伊州區(qū)、 巴里
穆罕默德·穆爾西（Mohamed Morsi，1951年8月20日-2019年6月17日），全名穆罕默德·穆爾西·伊薩·阿耶特，政治家，埃及第5任總統(tǒng)，首位民選總統(tǒng)，畢業(yè)于美國南加利福尼亞大學(xué)工程學(xué)博士學(xué)位。
菲利普·K·迪克美國的科幻小說作家代表作《高堡奇人》獲雨果獎最佳小說獎菲利普·K·迪克（Philip K. Dick, 1928.12.16~1982.3.2)是美國的科幻小說作家，除了現(xiàn)在仍在發(fā)行的38本書外，他還寫了一些短篇小說和少數(shù)作品出版在廉價的雜志上，其中至少有七部小說被改編成電影。雖然他
金庸（1923年3月22日—2018年10月30日），本名查良鏞，浙江海寧人?，F(xiàn)代武俠小說作家、新聞家、企業(yè)家、政治評論家、社會活動家。與古龍、梁羽生、溫瑞安等為新派武俠小說代表作家。
阿斯旺(阿拉伯語：?????)，埃及南部城市，阿斯旺省首府，位于尼羅河?xùn)|岸，人口約20萬，著名古城、旅游景點和貿(mào)易中心。阿斯旺是世界上最干燥的地方之一，自2006年5月13日以來，阿斯旺沒測得任何降水。在古埃及時期，阿斯旺被認(rèn)為是埃及民族的發(fā)源地。它位于尼羅河第一瀑布以北，是埃及和努比亞之間的貿(mào)易重鎮(zhèn)，其名據(jù)說是古埃及語“貿(mào)易”一詞的對音。
尚可名片
這家伙太懶了，什么都沒寫！
作者
