齣版者的話
譯者序
前言
第1章多維信號與係統
1.1多維信號
1.1.1有限域信號和周期信號
1.1.2對稱信號
1.1.3特殊的多維信號
1.2多維變換
1.2.1連續信號的傅裏葉變換
1.2.2離散信號的傅裏葉變換
1.2.3離散傅裏葉變換
1.2.4離散餘弦變換
1.3多維係統
1.3.1衝激響應和2D捲積
1.3.2頻率響應
1.3.3FIR濾波器和對稱性
1.3.4IIR濾波器和偏微分方程
1.4多維采樣理論
1.4.1格上采樣
1.4.2格上采樣信號的頻譜
1.4.3格上采樣的奈奎斯特準則
1.4.4基於格上采樣點的重構
1.5采樣結構轉換
參考文獻
習題集
第2章數字圖像與數字視頻
2.1人類視覺係統和色彩
2.1.1色覺與模型
2.1.2對比靈敏度
2.1.3空�彩逼德氏煊�
2.1.4立體/深度感知
2.2模擬視頻
2.2.1逐行掃描和隔行掃描
2.2.2模擬視頻信號格式
2.2.3模擬/數字轉換
2.3數字視頻
2.3.1空間分辨率和幀率
2.3.2色彩、動態範圍和位深
2.3.3彩色圖像處理
2.3.4數字視頻標準
2.43D視頻
2.4.13D顯示技術
2.4.2立體視頻
2.4.3多視角視頻
2.5數字視頻應用
2.5.1數字電視
2.5.2數字電影
2.5.3互聯網視頻流
2.5.4計算機視覺和場景/活動理解
2.6圖像與視頻質量
2.6.1可視失真
2.6.2主觀質量評價
2.6.3客觀質量評價
參考文獻
第3章圖像濾波
3.1圖像平滑
3.1.1綫性移不變低通濾波
3.1.2雙邊濾波
3.2圖像重采樣和多分辨率錶示
3.2.1圖像抽取
3.2.2內插
3.2.3多分辨率金字塔錶示
3.2.4小波錶示
3.3圖像梯度估計、邊緣和特徵檢測
3.3.1圖像梯度的估計
3.3.2拉普拉斯估計
3.3.3Canny邊緣檢測
3.3.4Harris角檢測
3.4圖像增強
3.4.1基於像素的對比度增強
3.4.2用於色調映射和圖像銳化的空間濾波
3.5圖像去噪
3.5.1圖像與噪聲模型
3.5.2DFT域的綫性空不變濾波器
3.5.3局部自適應濾波
3.5.4非綫性濾波：順序統計、小波收縮和雙邊濾波
3.5.5非局部濾波：NL均值和BM3D
3.6圖像復原
3.6.1模糊模型
3.6.2綫性空不變模糊退化圖像的復原
3.6.3盲復原——模糊識彆
3.6.4空變模糊退化圖像的復原
3.6.5圖像修補
參考文獻
習題集
MATLAB資源
第4章運動估計
4.1成像
4.1.1相機模型
4.1.23D運動的光度效應
4.2運動模型
4.2.1投影運動和錶觀運動
4.2.23D剛體運動投影模型
4.2.32D錶觀運動模型
4.32D錶觀運動估計
4.3.1稀疏對應估計、光流估計與圖像配準問題
4.3.2光流方程和法嚮流
4.3.3位移幀差
4.3.4運動估計是病態問題：遮擋和孔徑問題
4.3.5分層運動估計
4.3.6運動估計的性能評價
4.4差分法
4.4.1Lucas�睰anade法
4.4.2Horn�睸chunk 運動估計
4.5匹配算法
4.5.1基本的塊匹配
4.5.2可變大小塊匹配
4.5.3分層塊匹配
4.5.4廣義塊匹配——局部變形運動
4.5.5來自特徵對應的單應性估計
4.6非綫性優化法
4.6.1像素遞歸運動估計
4.6.2貝葉斯運動估計
4.7變換域法
4.7.1相位相關法
4.7.2空域頻譜法
4.83D運動與結構估計
4.8.1相機標定
4.8.2仿射重建
4.8.3投影重建
4.8.4歐幾裏得重建
4.8.5平麵視差和相對仿射結構重建
4.8.6基於立體視覺的稠密結構
參考文獻
習題集
MATLAB資源
第5章視頻分割與跟蹤
5.1圖像分割
5.1.1閾值法
5.1.2聚類
5.1.3貝葉斯法
5.1.4圖方法
5.1.5主動輪廓模型
5.2變化檢測
5.2.1鏡頭邊界檢測
5.2.2背景相減
5.3運動分割
5.3.1主要運動分割
5.3.2多運動分割
5.3.3基於區域的運動分割：色彩與運動融閤
5.3.4同步進行運動估計與分割
5.4運動跟蹤
5.4.1基於圖的空�彩狽指鈑敫�蹤
5.4.2KLT跟蹤
5.4.3MS跟蹤
5.4.4粒子濾波跟蹤
5.4.5主動輪廓跟蹤
5.4.62D�瞞esh 跟蹤
5.5圖像和視頻摳圖
5.6性能評估
參考文獻
習題集
網絡資源
第6章視頻濾波
6.1空時濾波原理
6.1.1視頻的頻譜
6.1.2運動自適應濾波
6.1.3運動補償濾波
6.2視頻格式轉換
6.2.1下變頻
6.2.2去隔行
6.2.3幀率轉換
6.3多幀的噪聲濾除
6.3.1運動自適應噪聲濾除
6.3.2運動補償噪聲濾除
6.4多幀復原
6.4.1多幀建模
6.4.2多幀維納復原
6.5多幀超分辨率
6.5.1超分辨率
6.5.2低分辨率采樣建模
6.5.3頻域超分辨率
6.5.4多幀空域法
參考文獻
習題集
第7章圖像壓縮
7.1圖像壓縮基礎
7.1.1信息論概念
7.1.2圖像壓縮係統的組成
7.1.3量化
7.1.4符號編碼
7.1.5赫夫曼編碼
7.1.6算術編碼
7.2無損圖像壓縮
7.2.1位平麵編碼
7.2.2RLC和ITU G3/G4標準
7.2.3自適應算術編碼和JBIG
7.2.4早期無損預測編碼
7.2.5JPEG�睱S標準
7.2.6Lempel�瞆iv編碼
7.3離散餘弦變換編碼和JPEG
7.3.1離散餘弦變換
7.3.2ISO JPEG標準
7.3.3編碼器控製和壓縮失真
7.4小波變換編碼和JPEG 2000
7.4.1小波變換和濾波器的選擇
7.4.2ISO JPEG 2000標準
參考文獻
習題集
網絡資源
第8章視頻壓縮
8.1視頻壓縮方法
8.1.1幀內壓縮、運動JPEG 2000和數字電影
8.1.23D變換編碼
8.1.3運動補償變換編碼
8.2早期視頻壓縮標準
8.2.1ISO和ITU標準
8.2.2MPEG��1標準
8.2.3MPEG��2標準
8.3MPEG ��4 AVC/ITU�睺 H.264標準
8.3.1輸入視頻格式和數據結構
8.3.2幀內

前言/序言

　　前言
　　本書於1995年齣版瞭第1版，是第一本全麵介紹數字視頻處理的教材，當時根據視頻處理領域的重要論題分成瞭25章，在一個學期的課程中，每章可以用一到兩次課進行講授。那個時期的數字視頻技術和視頻處理算法還不太成熟，數碼攝像機和DVD剛剛商業化，數字電視標準正在製定，而數字電影還沒有納入議程。因此，與當今的技術水平相比，第1版中的一些方法/算法和技術已經過時，比如像素級迴歸的運動估計、矢量量化、不規則形狀壓縮、基於模型的編碼等已不再先進，還有一些諸如模擬視頻/電視和128K可視電話等技術則已經淘汰瞭。同時近20年來的重大進展顯然也無法體現齣來。
　　第1版齣版至今已有20多年瞭，在當今這個數字化時代，數字視頻已廣泛應用於我們的日常生活。信號處理與計算機視覺領域的重大發展促進瞭視頻處理算法的不斷成熟，能夠應用於不同用途的最常用又有效的算法與技術也更加清晰。因此，現在是本書推齣新版的最好時機。本書圍繞圖像與視頻處理的最新發展進行瞭精心編排，力圖成為一本內容全麵、結構嚴謹的教材。
　　第2版大幅度改進瞭內容與錶述風格的組織方式，包含當今最先進的技術、最有效的算法和最新的知識。全書共分8章，每章對應一個主題，分彆是多維信號處理、圖像/視頻基礎、圖像濾波、運動估計、視頻分割、視頻濾波、圖像壓縮、視頻壓縮。每個主題側重介紹最有效的技術。與第1版相比，這一版不是簡單的內容增補，而是一次全新的改寫。
　　本書可作為高年級本科生或研究生的數字圖像與視頻處理課程的教材，要求讀者預先掌握微積分、綫性代數、概率論和一些基本的數字信號處理概念。具有計算機科學背景但不熟悉信號處理基本概念的讀者，則可以跳過第1章，從第2章開始學習。盡管本書錶述嚴謹，但仍然像一般教材一樣從原理開始講起，因此也可以用作産業界或學術界的工程師和研究人員自學的參考書。本書有助於讀者理解圖像和視頻處理方法的理論基礎，學習用最通用、最有效的算法解決常見的圖像與視頻處理問題。大部分章後提供習題集（部分習題集中還含有MATLAB練習），通過這些可加深讀者對知識的理解和對方法的掌握。
　　數字視頻處理就是對數字視頻比特流的各種操作。所有數字視頻應用都離不開壓縮。此外，為瞭獲得高質量圖像或提取特定信息，數字視頻應用也離不開廣泛應用於格式轉換、增強、復原、高分辨率重建等場閤的濾波處理；有些應用還需要用到其他的處理，以實現運動估計、視頻分割和3D場景分析。視頻的幀與幀之間存在著大量的時間相關性（冗餘），這使得視頻處理不同於靜態圖像處理。可以將視頻看成靜態圖像序列，並逐幀獨立處理。但若采用基於幀間相關性的多幀聯閤處理技術，我們能夠開發齣更有效的視頻處理算法，例如運動補償濾波和預測。此外，某些任務（比如運動估計或動態場景分析）顯然是無法基於單個圖像來進行的。
　　本書的目的是為讀者提供圖像（單幀）和視頻（多幀）處理方法的數學基礎。特彆是，本書還迴答瞭以下基本問題：
　　●如何從噪聲中分離齣圖像（信號）？●內插、復原和超分辨率重建之間是否有內在的聯係？●對於不同的應用，該如何估計2D和3D運動？●如何將圖像和視頻分割成感興趣區域？●如何跟蹤視頻中的對象？●與圖像濾波相比，視頻濾波問題是否更趨嚮於適定？●超分辨率重建為何能夠實現？●能否從視頻片段中得到高質量的靜態圖像？●圖像和視頻壓縮為什麼能夠實現？●如何壓縮圖像和視頻？●圖像/視頻壓縮的最新國際標準是什麼？●3D視頻錶示和壓縮的最新標準是什麼？圖像和視頻處理的大都是病態問題（欠定的和/或對噪聲敏感的），並且它們的解都依賴於某些圖像和視頻模型。附錄B討論瞭用於病態問題解的圖像建模方法。實際上，圖像模型可以分成基於局部平滑、基於變換域稀疏和基於非局部自相似的種類。
　　圖像處理算法大都使用瞭以上模型中的一種或多種。此外，視頻模型還包括基於全局平移或塊平移、參數化運動、運動（空間上）的平滑性、時域運動單調性（時域連續或平滑）、3D空時頻域的平麵支撐等類。
　　各章概述如下。
　　第1章迴顧瞭多維信號、變換和係統的基礎知識，它們是許多圖像和視頻處理方法的理論基礎。該章還介紹瞭格上空時采樣的體製（如逐行和隔行采樣），以及采樣格式轉換理論。讀者如果具有計算機科學背景但不熟悉信號處理概念，則可以跳過本章，直接從第2章開始學習。
　　第2章給齣瞭數字圖像與視頻的基礎知識。主要內容包括人類視覺、空間頻率、彩色模型、模擬和數字視頻錶示、數字視頻標準、3D立體/多視角視頻錶示、數字視頻質量評估等基本概念，以及一些常見的數字視頻應用，如數字電視、數字電影和網絡視頻流等。
　　第3章介紹瞭圖像（靜止幀）濾波類問題，比如圖像重采樣（抽取與內插）、梯度與邊緣檢測、增強、去噪、復原等。還介紹瞭綫性移不變濾波器、自適應濾波器和非綫性濾波器。附錄B給齣瞭求解病態逆問題的一般性框架。
　　第4章介紹瞭2D和3D運動估計方法。運動估計是數字視頻處理的核心，因為運動是視頻的顯著特徵，並且運動補償濾波是利用時間冗餘的最有效方法。再者，許多計算機視覺工作的第一步都是2D或3D運動估計與跟蹤。2D運動估計一般分為稠密光流或稀疏對應估計兩類，可以基於參數法和非參數法來實現。非參數法包括基於圖像梯度的光流估計法、塊匹配法、像素遞歸法、貝葉斯法和相位相關法。基於仿射模型或單應性的參數法可以用於圖像配準或局部變形估計。3D運動/結構估計法一般都基於雙幀極綫約束法（主要針對立體對）或多幀因子分解法。歐幾裏得3D結構重建需要對所有相機進行標定，而投影重建法則無需標定。
　　第5章介紹瞭圖像分割和變化檢測，以及基於參數聚類法和貝葉斯法的主要運動或復雜運動分割。我們還討論瞭運動估計與分割的同時實現問題。因為雙視角運動估計技術對於圖像梯度或對應點的估計精度很敏感，因此我們也對長的單目序列或立體像對中分割對象的運動跟蹤進行瞭討論，其結果更魯棒。
　　第6章介紹瞭視頻濾波，包括標準轉換、去噪和超分辨率重建等內容。首先介紹瞭運動補償濾波的基本原理，隨後介紹瞭標準轉換問題，包括幀速轉換和去隔行等。視頻幀的畫麵中經常存在顆粒，尤其在靜止幀模式下觀看時更加嚴重。為此，討論瞭用於噪聲抑製的運動自適應和運動補償濾波。最後介紹瞭一種統一各種視頻濾波問題的綜閤模型，可用於低分辨率視頻獲取和超分辨率重建。
　　第7章介紹瞭包括二值圖像（傳真）和灰度圖像在內的靜態圖像壓縮方法與標準，如JPEG和JPEG 2000等。還特彆討論瞭無損的圖像壓縮、有損的離散餘弦變換（DCT）編碼和小波變換編碼等方法。
　　第8章討論瞭視頻壓縮方法和標準，它們是實現數字電視、數字電影等數字視頻應用的基礎。在簡要介紹瞭視頻壓縮的不同方法後，詳細描述瞭MPEG��2、AVC/H.264和HEVC(高效視頻編碼）等標準，以及這些標準在可伸縮視頻編碼和立體和多視角視頻編碼方麵的擴展。
　　本書是近20多年來我在數字圖像與視頻處理領域的教學結晶。本書內容豐富，結構閤理，全麵覆蓋瞭圖像濾波、運動估計、視頻分割與跟蹤、視頻濾波、圖像/視頻壓縮等方麵的基本原理和最新成就。然而，一本書無法覆蓋數字視頻處理和計算機視覺領域所有的最新成就，因此本書隻對最基本、最常用的技術和算法加以詳解，而對更多的先進算法和最新研究成果隻進行簡介，並提供用於自學的參考文獻。大部分章節最後都包含習題集（部分習題集還包含MATLAB練習），以便讀者對所學到的方法進行練習。
　　教師可以通過申請獲得教學資料。錶P.1提供瞭一個教學建議，按照一個學期14周、每周兩次課、每次課75分鍾的方式進行組織，可在一個學期的數字圖像與視頻處理課程中講完本書的全部內容。另一種方式是將本書內容分到兩個學期中，這樣有更多時間對每個主題的細節進行探討：第一學期可以開設數字圖像處理課程，講解第1、2、3、7章中的內容；第二學期開設數字視頻處理課程，講解第4、5、6、8章的內容。
　　錶P.1一學期課程的教學建議每次課的編號專題章/節12D信號與2D變換1.1節、1.2節22D係統、2D FIR濾波器、頻率響應1.3節3格上空時采樣1.4節、1.5節4數字圖像/視頻、人類視覺、視頻質量第2章5矢量矩陣錶示、圖像模型、圖像/視頻處理中病態問題的錶達附錄A、附錄B6抽取、內插、多分辨率金字塔3.2節7梯度估計、邊緣/角檢測3.3節8圖像增強、點操作、鈍化掩模、雙邊濾波3.1節、3.4節9噪聲濾波：LSI濾波器（自適應、非綫性、非局部濾波器）3.5節10圖像復原：迭代法、POCS3.6節11運動建模、光流法、對應法4.1節、4.2節、4.3節12不同的方法：Lukas�睰anade、參數模型4.4節13塊匹配、參數模型估計中的特徵匹配、相位相關法4.5節、4.7節143D運動估計、對極幾何4.8節15變化檢測、視頻分割5.2節、5.3節16運動跟蹤5.4節、5.5節17運動補償濾波、多幀聯閤去隔行、去噪6.1節、6.2節、6.3節18超分辨率重建6.5節19數據/圖像壓縮介紹、信息論概念、熵編碼、算術編碼7.1節20無損位平麵編碼、G3/G4、JBIG標準7.2節21預測數據編碼、JPEG標準7.2節22DCT與JPEG圖像壓縮7.3節23小波變換、JPEG 2000圖像壓縮7.4節24MC�睤CT、MPEG��1、MPEG��28.1節、8.2節25MPEG��4 AVC/H.264標準8.3節26HEVC8.4節27可分級視頻編碼、DASH自適應流、抗誤碼8.5節283D/立體和多視角視頻壓縮8.6節顯然，本書是信號處理和計算機科學相關組織研究成果的薈萃。每章都有很多引用並列齣瞭相關參考文獻，但肯定無法涵蓋圖像和視頻領域科研與工業部門傑齣研究者的所有成就。此外，對於ISO和ITU組織中各位科學傢經多年工作取得的圖像與視頻編碼的顯著成果，這裏也難以一一緻意。
　　最後，衷心感謝Xin Li (美國西弗吉尼亞大學，WVU)、 Eli Saber、Moncef Gabbouj、 Janusz Konrad和H.Joel Trussell在本書成稿過程中的貢獻。同時感謝Prentice Hall齣版社的Bernard Goodwin、 Kim Boedigheimer和 Julie Nahil的幫助與支持。
　　A.Murat Tekalp於土耳其伊斯坦布爾Koc大學