內容簡介
無人飛行器正成為一種日漸重要的遙感動態監測平颱。《無人飛行器序列影像處理與運動分析》在國內外相關研究的基礎上,結閤作者所在團隊近年來取得的研究成果,闡述無人飛行器獲取的序列影像的快速處理和運動分析的有關理論與技術。《無人飛行器序列影像處理與運動分析》共分10章,涉及無人飛行器序列影像處理與分析的基礎理論和關鍵技術。首先,結閤遙感動態監測係統的功能特性分析,介紹無人飛行器遙感監測係統的組成與特性。在此基礎上,針對無人飛行器搭載平颱,討論序列影像預處理技術和攝像機構像幾何模型。接下來,重點圍繞序列影像快速處理和運動分析兩方麵的關鍵技術展開深入與廣泛的討論,內容分彆包括攝像機幾何標定、地麵移動目標快速定位、序列影像配準與鑲嵌和序列影像運動估計、運動檢測以及運動對象跟蹤。
目錄
前言
v 第1章緒論
1 1無人飛行器遙感:能力?魅力與潛力
1 2序列影像處理與運動分析
第2章無人飛行器遙感監測係統
2 1概述
2 2無人飛行平颱
2 2 1無人機平颱
2 2 2無人飛艇平颱
2 2 3飛行控製係統
2 3地麵控製站
2 3 1基本組成
2 3 2物理配置
2 3 3基本功能
2 3 4外部接口
2 4任務載荷
2 4 1成像傳感器
2 4 2傳感器位置與姿態測量
2 5數據鏈路
2 5 1數據鏈路的組成
2 5 2數據鏈路的特徵
2 5 3數據傳輸特性
參考文獻
第3章序列影像預處理
3 1序列影像數據特性
3 1 1序列影像一般特性
3 1 2無人飛行器序列影像數據特性
3 2視頻影像重采樣與模數轉換
3 2 1模擬視頻信號采樣
3 2 2視頻采樣製式轉換
3 2 3視頻影像模數轉換
3 2 4數字視頻影像編碼及壓縮
3 3序列影像增強與復原
3 3 1色調校正及調整
3 3 2視頻濾波噪聲抑製
3 3 3區域斑點影像移除
3 3 4幀影像超分辨率重建
3 4序列影像穩定
3 4 1動態平颱序列影像運動補償
3 4 2基於特徵的影像穩定方法
3 4 3光流估計影像穩定方法
參考文獻
第4章攝像機成像幾何模型
4 1針孔攝像機模型
4 2空間直角坐標變換
4 3攝像機幾何構像模型
4 3 1攝像機內參數
4 3 2攝像機外參數
4 4鏡頭畸變
4 5與攝影測量構像模型的比較
參考文獻
vi 第5章攝像機幾何標定
5 1標定攝像機的經典方法
5 1 1利用野外控製點的方法
5 1 2使用三維標定參照物的方法
5 2使用平麵模闆標定攝像機
5 2 1Tsai兩步法
5 2 2張正友方法
5 3攝像機自標定
5 3 1攝像機自標定方法概述
5 3 2基於Kruppa方程的自標定
5 4變焦攝像機在綫標定
5 4 1變焦攝像機內參數模型
5 4 2變焦攝像機內參數模型下的Kruppa方程求解
5 4 3處理鏡頭畸變
參考文獻
第6章地麵移動目標快速定位
6 1GPS/INS坐標係統及其轉換
6 1 1GPS坐標係
6 1 2與INS相關的坐標係
6 1 3攝影測量坐標係
6 1 4GPS坐標與我國地圖坐標的轉換
6 2基於GPS/INS的移動目標直接定位
6 2 1偏心角和偏心分量
6 2 2攝影測量外方位元素
6 2 3單像目標定位解算
6 3誤差分析
6 4非量測型攝像機移動目標定位
6 4 1基本原理
6 4 2確定投影矩陣
參考文獻
第7章序列圖像配準與鑲嵌
7 1角點特徵提取與匹配
7 1 1角點特徵提取
7 1 2角點特徵匹配
7 2基於三視圖的角點特徵提取
7 2 1基本原理
7 2 2基於三視圖的匹配角點提取算法
7 3序列圖像配準模型
7 3 1平麵構像配準模型
7 3 2起伏地錶配準模型
7 3 3序列圖像快速糾正
7 3 4序列圖像配準的多項式模型
7 3 5鏇轉攝像機構像模型
7 4序列圖像自動鑲嵌係統
參考文獻
vii 第8章序列影像運動估計
8 1傳感器運動投影關係
8 1 1運動投影變換
8 1 2光流場的生成
8 2光流運動分析的基本方法
8 2 1微分梯度方法
8 2 2關聯匹配方法
8 2 3頻率能量方法
8 3多約束條件光流運動估計
8 3 1無人飛行器序列影像的多尺度結閤
8 3 2變分光流方法及其平滑作用
8 3 3變分光流計算方法
8 4紅外序列影像相位信息運動估計
8 4 1相位特徵信息紅外序列影像應用
8 4 2基於相位信息的紅外影像光流估計
參考文獻
第9章序列影像運動檢測
9 1靜態場景運動檢測
9 1 1影像幀間差分方法
9 1 2靜止背景建模方法
9 2無人飛行器運動目標檢測分析
9 2 1運動檢測空間屬性要素
9 2 2目標檢測運動特徵要素
9 3動態平颱條件下運動檢測
9 3 1基於背景糾正差分的運動檢測
9 3 2活動輪廓運動分割方法
9 3 3混閤概率模型分割檢測
參考文獻
第10章運動對象跟蹤
10 1運動跟蹤模式類型分析
10 1 1運動目標模型分類
10 1 2運動跟蹤模式類型
10 2基於目標特徵的運動跟蹤
10 2 1KLT特徵光流跟蹤
10 2 2直方圖及核函數模型
10 2 3均值偏移跟蹤方法
10 3狀態濾波更新運動跟蹤
10 3 1Bayesian動態係統框架
10 3 2Kalman濾波跟蹤及其擴展
10 3 3濛特卡羅方法和粒子濾波跟蹤
參考文獻
viii 索引
精彩書摘
第1章緒論
如果讓公眾對過去二十年發生在現代遙感領域的大事件做一個排序,那麼以無人機為代錶的各類無人飛行器的廣泛應用極有可能榮登榜首。事實上,無人飛行器的影響已遠遠超齣傳統遙感技術的範疇而觸及人類社會生活的諸多方麵。本章首先對無人飛行器遙感的基本功能、技術特徵和發展潛力展開分析,然後結閤本書的安排,介紹無人飛行器序列影像處理應用涉及的理論和技術層麵的相關內容。
1.1無人飛行器遙感:能力、魅力與潛力
信息時代的人們多少變得有些麻木。無論是某個商業帝國的突然崩塌,抑或是某個一名不文的少年因突發奇想而一夜成名,諸如此類的人和事齣現得太多,也同樣不可避免地淹沒在信息的洋流之中,於是人們變得習以為常,多數情況下甚至連持久的記憶都難以形成。然而,即便是在信息時代,有一樣東西卻與眾不同地始終吸引著人們的注意力,這就是無人飛行器。無人飛行器由無人機和無人飛艇兩大類組成,以前者為主。本書中,除非需要對二者進行區彆性的介紹和分析,一般我們直接以無人機來代替無人飛行器的概念。
其實,無人飛行器並非新鮮事物,早在飛機問世後不久就齣現瞭。但是,如今人們卻在用新奇的眼光審視它,因為它既改變瞭現狀,又顛覆瞭傳統。同樣,它也不是無所不能,人們卻對其傾注著熱情的期待,因為我們清楚,目前它所展示齣來的能力隻是其潛能的冰山一角。
說無人飛行器披著神秘的外衣進入人們的視野並不為過。原因首先是科幻因素;人們通常在孩提時代就通過科幻小說、電影或動漫接觸到各種無人飛行器,在造成強烈的視覺和心靈刺激的同時也産生種種嚮往與遐想。再次,當然也是最重要的,就是最近二十年來無人機在軍事領域取得的巨大成功。從前人們隻聽說過無人偵察機,或者作為軍事發燒友也對無人靶機等有所瞭解。如今,五花八門、性能各異的無人機已活躍在世界的各個角落,執行著戰場偵察、地形測繪、環境監測乃至目標指示、跟蹤和打擊的各類任務。下一步,不僅可用於實戰的無人戰鬥機指日可待,滿載各類無人機的航空母艦也將遊弋於廣闊的海洋。
至此,有必要對無人飛行器作一些規範化地討論。首先是其定義,我們針對無人機和無人飛艇分彆給齣。無人機是相對於有人機的一個概念,廣義地講,是指飛機內沒有駕駛員,又可對其進行控製的一類航空器。雖然對這類航空器我們一直以“無人機”相稱,但實際上在其發展過程中卻有著眾多的英文名稱,典型的如RPV、UAV和UAS等。其中,RPV(remotely piloted vehicle)意為遙控駕駛飛行器,強調的是利用無綫電技術對無人機的遠距離控製;UAV(unmanned aerial vehicle)是目前為止最廣泛采用的名稱,齣現於預編程自主飛行技術在無人機上得到應用之後,其直譯就是無人航空器;UAS(unmanned aircraft system)即無人機係統,近年來得到廣泛采用,它強調瞭無人機作為一個係統的概念,即除無人機平颱外還包括瞭發射迴收設備、地麵控製站和通信鏈路等。飛艇的概念相對簡單,它是一種利用輕於空氣的氣體來提供升力的航空器。雖然早期大多數飛艇都是有人駕駛的,但無人飛艇數量所占的比重越來越大。無人飛艇的英文縮寫是RPA(remotely piloted airship)即遙控駕駛飛艇。
在無人飛行器的各類應用中,軍事領域應用一直並毫無疑問地將繼續占有支配地位。從最早作為靶機的無人機原型,到陸續用於實戰的成像偵察、戰場測繪、電子乾擾、火炮校射乃至對地攻擊的各型無人機,嚮人們展示齣過去三十年來這一領域令人目不暇接的成果。更令人震撼的是,無人機係統的發展近年來正呈加速之勢,再過幾年就會發現,過去所取得的一切隻能看作其早期或初級成就。對此,從目前美軍正在研發和驗證的幾款隱形無人空中作戰係統,到實驗室中各色形如小鳥的撲翼型智能無人機“樣本”,就可以初見端倪。
與軍事領域轟轟烈烈的發展相比,無人機在民用領域似乎顯得默默無聞、不溫不火。但事實卻是,盡管民用無人機係統沒有(當然也不需要)以軍用係統那樣的速度推陳齣新,但其應用範圍在不斷擴大,其市場也在加速擴展。如今,在災害預警與評估、環境監測等應用中,無人機遙感方式因其低成本、高度靈活等特點而越來越多地取代傳統的航空遙感。即便是在航空攝影測量這樣的高度嚴密和專業化的技術領域,無人機也滲透進來瞭。隨著麵陣相機、側視雷達和成像光譜儀等傳感器的小型化與性能優化,以及數據傳輸與自動導航能力的提升,中低空無人機航空攝影測量係統正在加速占領小區域、大比例尺地圖測繪市場。
未來無人飛行器的一個重要發展趨勢就是其網絡化運用。除瞭將型號和功能各異的無人飛行器組網運行,還可在一個統一時空框架下將布設於地麵的各類傳感器納入其中。圖1��1所示為一個地理空間傳感器網絡原理結構圖。該網絡在地理空間信息框架下,將應用區域所對應的遙感影像信息、非影像信息及其他地理空間信息數進行集成關聯,從而實現對空中及地麵傳感器的協同控製,以及對多個運動目標的同步跟蹤和對特定區域的持續監測,實現基於區域與目標的地理空間圖1��1地理空間傳感器網絡原理結構圖
信息快速獲取和全維認知服務。其中,基於區域的服務是在應用空間內確定重點的區域範圍,實時調配區域網絡資源,對區域內地理空間環境和其他認知信息進行快速采集、處理與分析,從而充分獲取該區域在對應時間內的環境信息。基於目標的服務是在區域監測和前期探測的基礎上確立重點目標,在目標不脫離應用區域或者被捕獲的條件下,網絡資源嚮對應的興趣目標傾斜,實現實時監視、跟蹤和高精度定位。
地理空間傳感器網絡係統的網絡集成特性首先錶現在該網絡是一個空地結閤的立體監測網絡。它由分層和分區域部署的空中多無人飛行器監測網絡與地麵監測網絡構成,以空中監測網絡為主,地麵監測為輔。地麵監測網絡可以探測並發現運動目標,從而引導激活空中無人飛行器網絡的運行,並和空中傳感器網絡共同組成多視覺的立體監測網絡,實現多維信息的全方位監測。網絡集成特性其次錶現在多傳感器的集成。空中無人飛行器網絡可以搭載可見光、紅外、閤成孔徑雷達等傳感器;地麵傳感器主要為微型傳感器節點,該節點可以是視頻、圖像等成像傳感器,也可以是振動、熱敏、紅外、聲波等非成像傳感器。
地理空間信息框架是傳感器網絡體係的核心。為確保網絡構建階段的有效布設以及其中各傳感器的協同實現,需要依托該框架從橫嚮和縱嚮對空間區域進行劃分,如圖1��2所示。區域劃分和分層是網絡所屬各傳感器間實現協同應用的基礎。在空間信息框架中將應用空間劃分為相對獨立的區域,同時確定各傳感器所負責的區域,進而將傳感器及其平颱配屬或投放到其對應的區域,以保證傳感器對於監測區域的完整覆蓋。在縱嚮上的層次劃分可以將網絡中不同性能的飛行器及其搭載傳感器分彆布置於各個層級空域,從而使網絡傳感器及平颱在其性能上得到有效分工,優化監測結果。
圖1��2空中監測網絡的分層布設
1��2序列影像處理與運動分析
如1��1節所述,目前無人飛行器已能搭載各類現有的遙感載荷執行不同的對地觀測任務,這意味著當今主流的遙感技術手段都可以在無人飛行器上得到小型化的版本。如此一來,乍一看無人飛行器遙感過程似乎並不復雜,因為一切都可遵循既定的程序和套路。但實際情況卻遠非如此,與傳統的航空航天遙感相比,無人飛行器遙感必須應對一係列非典型的情況,包括低成本載荷獲取的影像質量相對較低、飛行平颱的高動態和不穩定、海量數據的實時處理與信息提取等。並且,除瞭攜帶不同的傳感器,無人飛行器遙感還有兩大特徵,這就是無人飛行平颱的差異性,以及遙感觀測任務的多樣化。
鑒於此,我們在建立無人飛行器遙感技術體係的時候,就很難將上述因素綜閤在一起,構建一個通用的係統。硬件方麵的難度自不必言,數據融閤處理方麵同樣存在著巨大的障礙。因此,目前比較現實也是通行的做法是,結閤具體的無人飛行係統硬件配置來設計和開發相應的軟件係統,以執行和完成特定的遙感探測任務。
但是,即便是麵對種類眾多的無人飛行器係統及其紛繁復雜的任務模式,仍然可以從頂層抽齣一些共性的問題加以分析和討論。例如,可以撇開無人機係統的差異,將某類傳感器與其具體應用結閤起來,提煉和分析其關鍵技術。這樣,我們就可以從整體上把握具有與之相同或類似的無人機遙感模式的主要理論和技術特徵。
本書正是從這一願望和設想齣發,圍繞無人飛行器序列影像及其區域監視和運動目標跟蹤應用展開。我們注意到,這是當前和今後相當長一個時期的主流遙感模式。在無人飛行器眾多的探測方式中,基於視頻流或序列影像的方式卻獨樹一幟。隨著計算機、網絡和數字處理技術的進步,視頻影像已在工業、交通、安全等領域得到應用並迅速普及開來。然而,一旦能夠從空中實時傳迴地麵目標和景觀的數字視頻,一扇全新的遙感視窗便打開瞭。一直以來,人們都希望能從空中捕捉和跟蹤地麵的運動現象並對興趣區域進行連續與持久的監視,無人飛行器、視頻影像和實時傳輸技術的結閤正好切閤瞭這一需求。
從大的結構上,本書在介紹無人飛行器係統後分兩部分展開:前半部分重點介紹無人飛行器序列影像的基本特徵以及各種標定和預處理方法;後半部分主要圍繞區域監視和對地麵目標的定位與跟蹤應用討論相關的問題。下麵結閤各章內容安排對本書的理論和技術體係作介紹。
在正式針對無人飛行器序列影像的分析處理和應用展開討論之前,有必要對無人飛行器係統做一個較為詳細的介紹。這不僅是為瞭內容體係上的完整性,更是因為序列影像的分析處理過程通常並非單純針對影像數據本身來進行,往往還需結閤飛行平颱和傳感器的狀態參數以及數據傳輸特性聯閤進行。第2章首先分彆結閤無人機和無人飛艇的構造特徵介紹二者的係統組成,並從穩定性、航空動力學控製和電子控製三方麵分析飛行控製係統的設計要求。對作為無人飛行器中樞係統的地麵控製站,在介紹其基本組成和物理配置的基礎上,重點剖析針對各類任務的規劃功能和飛行控製功能,對其與無人飛行器係統其他部分的外部通信接口也作瞭簡要介紹。接下來介紹任務載荷,重點結閤成像傳感器的目標探測和識彆性能及指標要求進行分析。連續和高精度地獲取成像時傳感器的位置與姿態可為地麵目標快速定位提供全新的途徑,這方麵分彆討論GPS(global positioning system)定位原理、慣性導航係統(inertial navigation system,INS)位置和姿態測量方法,以及GPS/INS組閤係統。最後介紹無人飛行器的數據鏈路,在分析其組成和特徵之後著重討論其數據傳輸特性。
在任何一個多層次的影像處理和分析係統中,預處理一般都被視作最底層和最初級的處理,對於序列影像亦是如此,這一環節之所以不可或缺,是因為其直接關乎後續處理的質量和效率。第3章介紹序列影像預處理技術。首先給齣序列影像的一般特性,包括時間連續性和空間相關性;對無人飛行器獲取的序列影像,則分析其獲取平颱特性、信息內容特性和目標對象特性。通過對視頻影像進行離散化處理,可以獲得時空相關性較高且屬性參數一緻的序列影像,這涉及視頻影像重采樣與模數轉換問題,分彆介紹模擬視頻信號采樣、視頻采樣製式轉換、視頻影像模數轉換,以及數字視頻影像編碼與壓縮等方麵的理論和技術。序列影像質量的退化既有色調的失真,也可能來自各類噪聲汙染,甚至由於較大的斑點遮擋影像中的關鍵信息或重要特徵;影像增強和復原的主要任務就是解決類似的問題。對於該章這部分核心內容,重點討論色調校正及調整、視頻濾波噪聲抑製、區域斑點影像移除以及多幀影像超分辨率重建的基本理論和方法。序列影像的全局運動會對其中運動目標的相關處理分析造成乾擾,因此需要在事前進行補償糾正,以降低背景位移變化的幅度,這種自運動糾正的處理技術稱為影像穩定,是序列影像特有的一種預處理。這方麵先分析動態平颱序列影像運動補償問題的數學錶達,接著分彆給齣基於特徵的影像穩定方法以及光流估計影像穩定方法。
第4章的討論圍繞攝像機的成像幾何模型展開。無人飛行器攜帶的通常是非量測型成像傳感器,相對於遙感測繪中使用的量測型相機而言,這類傳感器的內部結構不規則,內參數完全或部分未知,甚至不穩定。對於這類傳感器,傳統的攝影測量中針對畫幅式相機進行幾何建模的方法已不再適用,但卻可以藉助計算機視覺的方法加以描述。為瞭描述物像關係,該章首先介紹針孔攝像
無人飛行器序列影像處理與運動分析 下載 mobi epub pdf txt 電子書