編輯推薦
零基礎入門TensorFlow和深度學習
示例豐富,提供所有的源代碼,基於TensorFlow1.3版本
內容由淺入深,包含全連接網絡、捲積神經網絡和循環神經網絡、分布式訓練等
一綫開發人員實戰經驗總結
內容簡介
TensorFlow是2015年年底開源的一套深度學習框架,是目前*活躍的深度學習框架。本書基於1.3版本,首先介紹瞭它的安裝和基本用法,然後討論瞭深度學習的基本概念,包括神經網絡前嚮計算、損失函數、反嚮傳播計算和優化函數等,接著介紹瞭捲積神經網絡和循環神經網絡,*後介紹瞭在大規模應用的場景下,如何實現分布式的深度學習訓練。
本書適閤深度學習的初學者學習和參考。
作者簡介
羅鼕日,畢業於中科院研究生院;先後在百度,平安科技從事數據挖掘,機器學習,深度學習相關的領域的研究工作。
目錄
第1章 初識TensorFlow 1
1.1 TensorFlow特點 1
1.2 其他深度學習框架 3
1.2.1 Caffe 3
1.2.2 MXNet 3
1.2.3 Torch 4
1.2.4 Theano 4
1.2.5 CNTK 5
第2章 TensorFlow環境搭建 6
2.1 安裝環境介紹 6
2.1.1 CUDA簡介 6
2.1.2 cuDNN簡介 6
2.1.3 查看機器的GPU信息 7
2.2 安裝TensorFlow 8
2.2.1 安裝pip 9
2.2.2 通過pip安裝TensorFlow 9
2.2.3 源碼編譯安裝TensorFlow 10
2.3 NVIDIA驅動安裝 11
2.4 安裝CUDA和cuDNN 12
2.4.1 Linux下安裝CUDA 12
2.4.2 Linux下安裝cuDNN 13
2.4.3 Windows和Mac係統下安裝CUDA 14
2.4.4 Windows和Mac係統下安裝cuDNN 14
2.5 安裝測試 15
第3章 TensorFlow基礎 16
3.1 基本概念 16
3.1.1 張量 16
3.1.2 圖 17
3.1.3 操作 18
3.1.4 會話 19
3.2 變量 24
3.2.1 變量的初始化 24
3.2.2 變量的變形 25
3.2.3 數據類型和維度 26
3.2.4 共享變量和變量命名空間 27
3.3 模型的保存和載入 33
3.3.1 模型的保存 33
3.3.2 模型的載入 34
3.4 使用GPU 34
3.4.1 指定GPU設備 35
3.4.2 指定GPU顯存占用 36
3.5 數據讀取 36
3.5.1 使用placeholder填充方式讀取數據 37
3.5.2 從文件讀入數據的方式 37
3.5.3 預先讀入內存的方式 48
3.6 利用TensorBoard進行數據可視化 49
3.6.1 在TensorBoard中查看圖結構 49
3.6.2 訓練過程中單一數據變化趨勢 51
3.6.3 訓練過程中數據分布可視化 53
3.6.4 其他使用技巧 56
第4章 深度神經網絡基礎 58
4.1 神經元 58
4.2 簡單神經網絡 59
4.3 深度神經網絡 62
4.4 損失函數 63
4.5 梯度下降 64
4.6 反嚮傳播 66
4.6.1 求導鏈式法則 66
4.6.2 反嚮傳播算法思路 67
4.6.3 反嚮傳播算法的計算過程 68
4.7 優化函數 72
4.7.1 隨機梯度下降優化算法 72
4.7.2 基於衝量的優化算法 73
4.7.3 Adagrad優化算法 74
4.7.4 Adadelta優化算法 75
4.7.5 Adam優化算法 75
4.7.6 TensorFlow中的優化算法API 76
4.8 一個簡單的例子 77
第5章 捲積神經網絡 83
5.1 簡介 83
5.2 什麼是捲積 84
5.3 捲積神經網絡基礎 88
5.3.1 局部感知野 88
5.3.2 參數共享 89
5.3.3 多捲積核 91
5.3.4 池化 92
5.3.5 多層捲積 93
5.4 捲積神經網絡的訓練 94
5.4.1 池化層反嚮傳播 95
5.4.2 捲積層反嚮傳播 96
5.5 TensorFlow中的捲積神經網絡 101
5.5.1 TensorFlow的捲積操作 101
5.5.2 TensorFlow的池化操作 103
5.6 用TensorFlow實現0和1數字識彆 104
5.6.1 由圖片生成TFRecord文件 104
5.6.2 構建捲積網絡結構 106
5.6.3 訓練過程 110
5.6.4 捲積過程數據的變化 114
5.7 幾種經典的捲積神經網絡 117
5.7.1 AlexNet 117
5.7.2 VGGNet 118
5.7.3 Inception Net 120
5.7.4 ResNet 121
第6章 循環神經網絡 123
6.1 普通RNN 123
6.1.1 普通RNN結構 123
6.1.2 普通RNN的不足 125
6.2 LSTM單元 126
6.2.1 LSTM單元基本結構 127
6.2.2 增加peephole的LSTM單元 131
6.2.3 GRU單元 132
6.3 TensorFlow中的RNN 132
6.4 用LSTM+CTC實現語音識彆 136
6.4.1 語音特徵介紹 136
6.4.2 計算流程描述 137
6.4.3 TensorFlow實現 139
6.5 在NLP中的應用 144
6.5.1 語言模型 144
6.5.2 詞嚮量 147
6.5.3 中文分詞 148
6.6 小結 159
第7章 TensorFlow分布式 160
7.1 單機多GPU訓練 160
7.2 多機多GPU分布式訓練 163
7.2.1 參數服務器 163
7.2.2 in-graph和between-graph
模式 164
7.2.3 同步更新和異步更新 165
7.2.4 異步更新分布式示例 165
TensorFlow入門與實戰 下載 mobi epub pdf txt 電子書