基本信息

內容提要

《深度學習》由全球知名的三位專傢IanGoodfellow、YoshuaBengio和AaronCourville撰寫，是深度學習領域奠基性的經典教材。全書的內容包括3個部分：第一部分介紹基本的數學工具和機器學習的概念，它們是深度學習的預備知識；第2部分係統深入地講解現今已成熟的深度學習方法和技術；第3部分討論某些具有前瞻性的方嚮和想法，它們被認可為是深度學習未來的研究重點。 《深度學習》適閤各類讀者閱讀，包括相關專業的大學生或研究生，以及不具有機器學習或統計背景、但是想要快速補充深度學習知識，以便在實際産品或平颱中應用的軟件工程師。

作者簡介

作者簡介Ian Goodfellow，榖歌公司(Google) 的研究科學傢，2014 年濛特利爾大學機器學習博士。他的研究興趣涵蓋大多數深度學習主題，特彆是生成模型以及機器學習的安全和隱私。Ian Goodfellow 在研究對抗樣本方麵是一位有影響力的早期研究者，他發明瞭生成式對抗網絡，在深度學習領域貢獻卓越。Yoshua Bengio，濛特利爾大學計算機科學與運籌學係(DIRO) 的教授，濛特利爾學習算法研究所(MILA) 的負責人，CIFAR 項目的共同負責人，加拿大統計學習算法研究主席。Yoshua Bengio 的主要研究目標是瞭解産生智力的學習原則。他還教授“機器學習”研究生課程(IFT6266)，並培養瞭一大批研究生和博士後。Aaron Courville，濛特利爾大學計算機科學與運籌學係的助理教授，也是LISA 實驗室的成員。目前他的研究興趣集中在發展深度學習模型和方法，特彆是開發概率模型和新穎的推斷方法。Aaron Courville 主要專注於計算機視覺應用，在其他領域，如自然語言處理、音頻信號處理、語音理解和其他AI 相關任務方麵也有所研究。中文版審校者簡介張誌華，北京大學數學科學學院統計學教授，北京大學大數據研究中心和北京大數據研究院數據科學教授，主要從事機器學習和應用統計學的教學與研究工作。譯者簡介趙申劍，上海交通大學計算機係碩士研究生，研究方嚮為數值優化和自然語言處理。黎彧君，上海交通大學計算機係博士研究生，研究方嚮為數值優化和強化學習。符天凡，上海交通大學計算機係碩士研究生，研究方嚮為貝葉斯推斷。李凱，上海交通大學計算機係博士研究生，研究方嚮為博弈論和強化學習。

目錄

第 1 章 引言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1 本書麵嚮的讀者 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7
1.2 深度學習的曆史趨勢 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.2.1 神經網絡的眾多名稱和命運變遷 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.2.2 與日俱增的數據量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.2.3 與日俱增的模型規模 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13
1.2.4 與日俱增的精度、復雜度和對現實世界的衝擊 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

第 1 部分 應用數學與機器學習基礎
第 2 章 綫性代數 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.1 標量、嚮量、矩陣和張量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.2 矩陣和嚮量相乘. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .21
2.3 單位矩陣和逆矩陣 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.4 綫性相關和生成子空間 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.5 範數. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .24
2.6 特殊類型的矩陣和嚮量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.7 特徵分解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.8 奇異值分解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.9 Moore-Penrose 僞逆 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.10 跡運算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.11 行列式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.12 實例：主成分分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .30
第 3 章 概率與信息論. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .34
3.1 為什麼要使用概率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.2 隨機變量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.3 概率分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3.3.1 離散型變量和概率質量函數 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3.3.2