內容簡介
在大數據時代,信息科學必須發展信息錶徵、獲取及復原的新理論、新方法。基於信號的稀疏性,“稀疏感知”用少量的測量數據實現高質量的信號復原,緩解大數據信息問題的壓力。
實現稀疏感知的關鍵是:(1)有效地獲取數據,(2)有效地處理數據,實現信息復原。對於數據獲取,《稀疏感知導論》研究瞭信號稀疏性與信號采樣之間的關係,討論瞭壓縮感知、矩陣填充、稀疏反捲積和相位復原等稀疏感知問題,從三個不同的角度討論瞭測量矩陣的設計。對於數據處理和信息復原,《稀疏感知導論》研究瞭梯度迭代優化算法、Bayesian算法和信息傳遞算法;特彆地針對大數據處理問題,《稀疏感知導論》研究瞭乘子交替迭代優化算法、隨機坐標優化算法和隨機梯度優化算法等;《稀疏感知導論》還討論瞭若乾貪婪算法。
內頁插圖
目錄
目錄
前言
符號使用和約定
縮寫詞錶
緒論 1
參考文獻 5
第1章 信號采樣、錶徵與稀疏感知 8
1.1 Nyquist-Shannon 采樣定理 8
1.2 信號錶徵 15
1.2.1 信號的確定性錶徵 15
1.2.2 信號的一般性統計描述 17
1.2.3 白化信號的統計錶徵 19
1.3 稀疏信號與稀疏感知 22
1.3.1 信號的稀疏性與錶徵 22
1.3.2 稀疏感知問題 24
附錄1A 廣義信號采樣方法 27
參考文獻 29
第2章 稀疏感知的若乾數學問題 31
2.1 壓縮感知 31
2.2 低秩矩陣感知 41
2.3 稀疏捲積感知 45
2.4 相位復原 49
附錄2A 三個常用的概率不等式 52
參考文獻 53
第3章 RIP 分析與 L1-正則化優化 55
3.1 廣義 RIP 定義及其特性分析 55
3.2 廣義 RIP 與 L1-最小化 64
3.3 廣義 RIP 與 L1/L2-最小化 67
3.4 統計 RIP 與 L1 最優化 70
3.5 最優測量矩陣設計 (1) 75
附錄3A L1 優化估計的無偏性分析 77
參考文獻 81
第4章 貪婪算法 82
4.1 匹配追蹤算法 82
4.1.1 正交匹配追蹤算法 82
4.1.2 CoSaMP 算法 85
4.2 迭代硬門限算法 92
4.3 低秩矩陣感知的迭代硬門限算法 99
4.3.1 低秩矩陣的硬門限投影 99
4.3.2 迭代硬門限方法復原低秩矩陣 103
附錄4A SURE 估計 104
參考文獻 106
第5章 梯度類凸優化方法 108
5.1 凸優化的有關概念 109
5.1.1 凸函數的定義及基本性質 109
5.1.2 拉格朗日乘子法 114
5.1.3 Fenchel 共軛函數 116
5.1.4 Bregman 距離 118
5.2 基於 Nesterov 光滑化方法的梯度優化方法 120
5.2.1 Nesterov 光滑化 120
5.2.2 梯度迭代算法的一般性描述 122
5.2.3 加速梯度迭代優化方法 131
5.3 鄰近算子方法 137
5.3.1 鄰近算子 138
5.3.2 迭代軟門限方法 141
5.3.3 加速迭代軟門限方法 145
5.4 亞梯度與 Bregman 算法 146
附錄5A Wirtinger 導數 150
附錄5B Pareto 麯綫 151
附錄5C 基於深度神經網絡的迭代軟門限算法 153
附錄5D 最優測量矩陣設計 (2) 155
參考文獻 156
第6章 麵嚮大數據的優化方法 158
6.1 乘子交替迭代優化方法 158
6.1.1 稀疏優化問題的拉格朗日方法 158
6.1.2 ADMM 算法 161
6.1.3 Scaled-ADMM 算法 163
6.1.4 ADMM 算法的收斂性 165
6.2 隨機梯度優化方法 169
6.3 隨機坐標優化算法 176
6.3.1 隨機坐標優化算法及收斂性分析 176
6.3.2 加速隨機坐標優化算法 181
6.4 Robust 優化方法 183
6.5 維度約化 186
6.5.1 主成分分析 186
6.5.2 綫性判彆分析 188
6.5.3 流形學習 193
附錄6A 增強拉格朗日乘子法在矩陣分解中的應用 195
參考文獻 196
第7章 貝葉斯分析 198
7.1 貝葉斯分析的基本概念 198
7.1.1 貝葉斯建模 200
7.1.2 貝葉斯方法與確定性方法的關係 212
7.2 最大期望算法 216
7.3 Laplace EM-貝葉斯分析 220
7.3.1 Laplace 信號建模 221
7.3.2 Lapalce 模型的 EM-貝葉斯算法 223
7.4 最大期望-變分貝葉斯算法 227
7.5 混閤高斯模型的 EM-貝葉斯分析 234
7.5.1 標準 EM-貝葉斯算法 235
7.5.2 基於分層模型的 EM-貝葉斯算法 239
7.6 基於濛特卡羅的貝葉斯分析 242
7.6.1 濛特卡羅采樣的 Metropolis 算法 242
7.6.2 限製 Boltzmann 機 246
7.6.3 對比散度算法 247
附錄7A 常用的概率密度函數錶 250
附錄7B 貝葉斯分析在盲反捲積中的應用例 251
附錄7C 最優測量矩陣設計 (3) 254
附錄7D 稀疏高斯隨機過程 254
附錄7E 重要性采樣 256
參考文獻 259
第8章 信息傳遞算法 262
8.1 信息傳遞算法基本概念 262
8.2 求解 y = Ax + n 的信息傳遞算法 267
8.2.1 Sum-Product 近似信息傳遞算法 270
8.2.2 Max-Product 近似信息傳遞 275
8.3 Gaussian-Bernoulli 稀疏感知近似信息傳遞算法Ⅰ:Krzakala 方法 280
8.4 Gaussian-Bernoulli 稀疏感知近似信息傳遞算法Ⅱ:Schniter 方法 289
附錄8A 對 Max-Product 傳遞模式和 Sum-Product 傳遞模式的進一步 討論 296
參考文獻 298
前言/序言
我們有幸生活在全球科技發生許多重大突破的時代,信息大爆炸、大數據一定程度上反映瞭當今時代的特點。21世紀初“稀疏感知”(Sparse Sensing)在信息科學掀起一場“革命”。“稀疏感知”利用信號的稀疏特性,用低於甚至遠低於Nyquist采樣率獲取的信號離散樣本,通過高性能的優化算法實現信號的完美重建。“稀疏感知”使信息的獲取擺脫瞭傳統信息論的“桎梏”,在信息論、圖像處理、模式識彆、微波成像、地球科學、天文觀測、光學、無綫通信等諸多領域受到極大關注,被美國的權威科技評論雜誌評為2007年度十大科技進展。時代要求有創新力的科學傢和工程技術人員必須掌握先進的數據處理的理論和方法,有能力從海量數據中高效率地提取所需要的目標信息。我們在應用稀疏感知方法研究電磁成像中深刻認識到,稀疏感知為復雜、多參數、電磁大數據問題的研究打開瞭新的窗口,並決心構建稀疏電磁感知的體係,為解決現有的電磁成像體製與信息處理中的睏難開闢新途徑。
稀疏感知是傳統經典信息理論與方法的發展,但又有它自己全新的概念和方法。我們整理瞭十多年來在學習、工作、研究中積纍的有關內容,參考國外的有關教材、專著和近年一些新的研究成果,形成本書。這裏重點關注那些與實際應用密切相關的理論要點和算法核心技術,希望能有益於從事或將從事以及有興趣於此領域的讀者,幫助他們能以比較容易理解的方式進入,並消化、吸收、應用這個新的信息感知的理論和技術。
作者十分感謝得到上海交通大學“李政道圖書館”的惠允,提供抽象畫《流光》原稿的掃描件作為本書的封麵圖。該畫由諾貝爾物理奬獲得者、著名物理學傢李政道先生與中央工藝美術學院吳冠中教授閤作,為1996年中國高等科學技術中心舉辦的“復雜性與簡單性”國際學術研討會而作。這幅具現代風格的抽象畫,吳冠中美術大師“以點、綫揮灑神韻,韆變萬化,化靜為動,猶如乾鏇坤轉”*,在大師眼中“復雜的天地萬物形態各異,運動不息,又互有聯係,有其各自和共同的規律”,“復雜行為背後存在著簡單的規律和描述方法”*,其科學內涵與本書理義相通。
本書基於我們多年的學習筆記和研究工作,凝聚瞭我們的心血;但自知管見所及有限,不足之處難免,誠望讀者朋友及各位專傢、學者不吝賜教。
最後,在書稿將成之際,銘記在成書過程中受到多位同事、親人朋友的幫助和北京市教育局“優秀博士導師”項目資助,在此一並緻謝。
稀疏感知導論 [Introduction to Sparse Sensing] 下載 mobi epub pdf txt 電子書