內容簡介
全書共包含18個章節,從概率密度、貝葉斯決策理論引入樣本學習的基本概念,進而介紹瞭近鄰域學習、核學習及神經網絡學習,在此基礎上探討瞭PCA學習、VC維概念、函數估計問題等,後重點介紹瞭非常實用的支持嚮量機SVM及Boosting方法。各章均包含小結、附錄、習題及參考資料,非常適閤於大專院校計算機及電氣工程類碩博士研究生及高年級學生作為教學參考書。
目錄
譯者序
前言
第1章引言:分類、學習、
特徵及應用
1.1範圍
1.2為什麼需要機器學習?
1.3一些應用
1.3.1圖像識彆
1.3.2語音識彆
1.3.3醫學診斷
1.3.4統計套利
1.4測量、特徵和特徵嚮量
1.5概率的需要
1.6監督學習
1.7小結
1.8附錄:歸納法
1.9問題
1.10參考文獻
第2章概率
2.1一些基本事件的概率
2.2復閤事件的概率
2.3條件概率
2.4不放迴抽取
2.5一個經典的生日問題
2.6隨機變量
2.7期望值
2.8方差
2.9小結
2.10附錄:概率詮釋
2.11問題
2.12參考文獻
第3章概率密度
3.1一個二維實例
3.2在[0,1]區間的隨機數
3.3密度函數
3.4高維空間中的概率密度
3.5聯閤密度和條件密度
3.6期望和方差
3.7大數定律
3.8小結
3.9附錄:可測性
3.10問題
3.11參考文獻
第4章模式識彆問題
4.1一個簡單例子
4.2決策規則
4.3成功基準
4.4最佳分類器:貝葉斯決策
規則
4.5連續特徵和密度
4.6小結
4.7附錄:不可數概念
4.8問題
4.9參考文獻
第5章最優貝葉斯決策規則
5.1貝葉斯定理
5.2貝葉斯決策規則
5.3最優及其評論
5.4一個例子
5.5基於密度函數的貝葉斯定理
及決策規則
5.6小結
5.7附錄:條件概率的定義
5.8問題
5.9參考文獻
第6章從實例中學習
6.1概率分布知識的欠缺
6.2訓練數據
6.3對訓練數據的假設
6.4蠻力學習方法
6.5維數災難、歸納偏置以及
無免費午餐原理
6.6小結
6.7附錄:學習的類型
6.8問題
6.9參考文獻
第7章最近鄰規則
7.1最近鄰規則
7.2最近鄰規則的性能
7.3直覺判斷與性能證明框架
7.4使用更多鄰域
7.5小結
7.6附錄:當人們使用最近鄰域
進行推理時的一些問題
7.6.1誰是單身漢?
7.6.2法律推理
7.6.3道德推理
7.7問題
7.8參考文獻
第8章核規則
8.1動機
8.2最近鄰規則的變體
8.3核規則
8.4核規則的通用一緻性
8.5勢函數
8.6更多的通用核
8.7小結
8.8附錄:核、相似性和特徵
8.9問題
8.10參考文獻
第9章神經網絡:感知器
9.1多層前饋網絡
9.2神經網絡用於學習和分類
9.3感知器
9.3.1閾值
9.4感知器學習規則
9.5感知器的錶達能力
9.6小結
9.7附錄:思想模型
9.8問題
9.9參考文獻
第10章多層神經網絡
10.1多層網絡的錶徵能力
10.2學習及S形輸齣
10.3訓練誤差和權值空間
10.4基於梯度下降的誤差最小化
10.5反嚮傳播
10.6反嚮傳播方程的推導
10.6.1單神經元情況下的推導
10.6.2多層網絡情況下的推導
10.7小結
10.8附錄:梯度下降與反射平衡
推理
10.9問題
10.10參考文獻
第11章可能近似正確(PAC)
學習
11.1決策規則分類
11.2來自一個類中的最優規則
11.3可能近似正確準則
11.4PAC學習
11.5小結
11.6附錄:識彆不可辨元
11.7問題
11.8參考文獻
第12章VC維
12.1近似誤差和估計誤差
12.2打散
12.3VC維
12.4學習結果
12.5舉例
12.6神經網絡應用
12.7小結
12.8附錄:VC維與波普爾
(Popper)維度
12.9問題
12.10參考文獻
第13章無限VC維
13.1類層次及修正的PAC準則
13.2失配與復雜性間的平衡
13.3學習結果
13.4歸納偏置與簡單性
13.5小結
13.6附錄:均勻收斂與泛
緻性
13.7問題
13.8參考文獻
第14章函數估計問題
14.1估計
14.2成功準則
14.3最優估計:迴歸函數
14.4函數估計中的學習
14.5小結
14.6附錄:均值迴歸
14.7問題
14.8參考文獻
第15章學習函數估計
15.1函數估計與迴歸問題迴顧
15.2最近鄰規則
15.3核方法
15.4神經網絡學習
15.5基於確定函數類的估計
15.6打散、僞維數與學習
15.7結論
15.8附錄:估計中的準確度、
精度、偏差及方差
15.9問題
15.10參考文獻
第16章簡明性
16.1科學中的簡明性
16.1.1對簡明性的明確倡導
16.1.2這個世界簡單嗎?
16.1.3對簡明性的錯誤訴求
16.1.4對簡明性的隱性訴求
16.2排序假設
16.2.1兩種簡明性排序法
16.3兩個實例
16.3.1麯綫擬閤
16.3.2枚舉歸納
16.4簡明性即錶徵簡明性
16.4.1要確定錶徵係統嗎?
16.4.2參數越少越簡單嗎?
16.5簡明性的實用理論
16.6簡明性和全局不確定性
16.7小結
16.8附錄:基礎科學和統計學習
理論
16.9問題
16.10參考文獻
第17章支持嚮量機
17.1特徵嚮量的映射
17.2間隔最大化
17.3優化與支持嚮量
17.4實現及其與核方法的關聯
17.5優化問題的細節
17.5.1改寫分離條件
17.5.2間隔方程
17.5.3用於不可分實例的鬆弛
變量
17.5.4優化問題的重構和求解
17.6小結
17.7附錄:計算
17.8問題
17.9參考文獻
第18章集成學習
18.1弱學習規則
18.2分類器組閤
18.3訓練樣本的分布
18.4自適應集成學習算法
(AdaBoost)
18.5訓練數據的性能
18.6泛化性能
18.7小結
18.8附錄:集成方法
18.9問題
18.10參考文獻
前言/序言
本書為新興領域的統計學習理論提供瞭一個寬泛和易於理解的入門性介紹,這一領域的發展源於對模式識彆和機器學習、非參數統計、計算機科學、語言學中的語言學習和認知心理學、哲學問題中的歸納法以及哲學和科學方法論等學科與技術的研究。
本書是“學習理論與認知論”課程的非常好的入門教材,目前已在普林斯頓大學電氣工程專業的教學中使用。“學習理論與認知論”課程並沒有特定的基礎要求,嚮所有對其感興趣的學生開放,包括新生、主修科學的高年級學生,以及來自工程、人文、社會科學的學生。雖然許多材料技術性較強,但是我們發現大部分學生可以體會和領悟本書的要點。
模式識彆的工程研究關注的是基於一個有用的方法研發齣的自動化係統來區分不同的輸入模式。為郵局開發的係統用於如何掃描手寫地址並將郵件排序,製造商關注如何設計一個計算機係統把普通的談話內容進行文字轉錄,還有諸如計算機能否用來分析醫學圖像,進而做齣診斷等此類問題。
機器學習提供瞭對一些模式識彆問題進行求解的有效方法。它可能是采用受過訓練的係統來識彆手寫郵政編碼,或能使自動化係統與用戶進行交互使其學會實現對語音的識彆;也許是使用機器學習算法來開發一套醫學圖像分析係統。
機器學習和模式識彆也關注學習係統所包含的一般原則。一種係統化的方法技術非常有用,因為我們並不是從無到有開發算法並在每個新的應用程序中特設某一種方式。評估一個學習係統的性能所采用的技術也是非常重要的。對學習算法的實踐環節而言,知道什麼是可實現的,什麼是可用的評價基準,並提齣新的技術也同等重要。
這些問題也齣現在認知論與哲學問題中。我們能學到什麼?以及我們如何進行學習?我們能夠從其他思想和外部世界學到什麼?通過歸納法我們又能學到什麼?哲學問題的歸納法關注的是如何在歸納推理的基礎上學到一些新東西。而給定的事實是歸納推理前提的真實性無法保證其結論的真實性。這個問題沒有唯一解,這並不是因為無解,而是因為有太多解,這取決於采用什麼學習方法。在本書中,我們解釋瞭如何根據歸納形成各種不同的解決方案。
因此,我們希望本書能為廣大讀者在統計學習理論中提供一個簡便的入門性介紹。對於那些對學習理論或實際算法的深入研究感興趣的讀者,我們希望本書提供給他們一個有益的齣發點。而對於那些對一般的認知論和哲學感興趣的讀者,我們希望本書有助於他們從其他領域中領悟一些重要的想法。對其他讀者而言,我們也希望本書有助於他們對統計學習理論有更深層次的理解,因為它揭示瞭學習的本質及其限製,這也是人工智能的核心進展。
感謝普林斯頓大學本科教育創新課程發展250周年紀念基金的資助。RajeevKulkarni對全書提供瞭非常有用的意見。JoelPredd和MayaGupta提供瞭許多寶貴的意見。此外,感謝JoshuaHarris對本書的仔細審讀。同時也感謝幾年來,我的助教和學生們一起對該課程內容的討論。謝謝!
在工程應用及商務分析中,非常重要的任務之一是能夠從小樣本數據中進行快速機器學習。統計學習理論(SLT)給齣瞭從少量數據樣本中抽取模式及其關係的理論基礎,這個學習機理的核心是平衡所有解決方案之間的性能與復雜度從而找齣最優的解決方案。
支持嚮量機(SVM)提供的學習能力來自於對統計學習理論的深度數學分析,其學習過程是基於有限的觀測值來估計係統的未知關係及其結構的過程。統計學習理論給齣瞭設計這樣一個經驗主義機器學習的數學條件,這為在精確地錶達已有數據和處理未知數據之間保持最佳的平衡提供瞭解決方案。SVM的主要優點錶現在:①從小樣本數據記錄中學習;②模型復雜度可控(SVM可以通過調整一些參數對模型的復雜性進行直接的控製);③奇異點檢測與數據壓縮。SVM的主要缺點錶現在:①黑盒模型(SVM模型的可解釋性要比理解神經網絡具有更大的挑戰性);②市場推廣睏難(解釋SVM及其統計學習理論基礎需要深厚的數學背景知識及模式識彆經驗,甚至對一個經驗豐富的研究人員來說都是一個挑戰)。
近年來,基於深度神經網絡的機器學習理論研究風靡人工智能學術領域,在工業界的應用也嶄露頭角,引人矚目的事件是2016年榖歌公司的AlphaGo戰勝世界圍棋冠軍李世石。一個錯誤的觀點是認為深度學習神經網絡將要取代傳統的淺層人工神經網絡以及基於統計學習理論的SVM。不可取代的原因在於:其一,科學理論的發展有其自身的規律性,成為學術熱點並不代錶著會成為核心應用技術;其二,深度學習對復雜異構大數據模式的機器學習較為有效,而對規範的小數據模式SVM則是利器;其三,統計學習理論與深度學習的融閤或許會對大數據時代的人工智能發展起到一定的推動作用,已發錶的基於SVM的深度學習及深度SVM就是例證。
本書以通俗易懂的方式提供瞭統計學習理論與機器學習及模式識彆的基本概念及常用算法,這包括概率密度函數、貝葉斯決策、最近鄰規則、人工神經網絡、VC維、函數估計問題、支持嚮量機、集成學習等,適閤作為高校研究生及本科生的人工智能、機器學習等課程的教學用書及自學參考書。
本書的齣版得到西安石油大學優秀學術著作齣版基金的支持,在此錶示感謝!
程國建
統計學習理論基礎 下載 mobi epub pdf txt 電子書