編輯推薦
Spark是新興的大數據處理引擎,在大數據處理方麵有:超快速、多語言支持、復雜查詢支持、實時流處理、集成Hadoop及Hadoop已有功能、活躍的用戶社區等優勢。
這是一本為數據工程師、應用開發人員、數據科學傢而編寫的,非常利於學習和運用Spark的傑齣指南。
內容簡介
Spark是一個基於內存計算的開源集群計算係統,它非常小巧玲瓏,讓數據分析更加快速,已逐漸成為新一代大數據處理平颱中的佼佼者。
本書內容分為12章,從認識Apache Spark開始講解,陸續介紹瞭Spark的使用、外部數據源、Spark SQL、Spark Streaming、機器學習、監督學習中的迴歸和分類、無監督學習、推薦係統、圖像處理、優化及調優等內容。
本書適閤大數據領域的技術人員,可以幫助他們更好地洞悉大數據,本書也適閤想要學習Spark進行大數據處理的人員,它將是一本**的參考教程。
作者簡介
Rishi Yadav擁有17年設計和開發企業級應用的經驗。他是一位開源軟件專傢,引領瞭美國公司的大數據趨勢。Rish被評為2014年40位40歲以下矽榖傑齣工程師之一。他於1998年獲得傑齣的印度理工學院(Indian Institute of Technology,IIT)德裏分校的學士學位。大約在10年前,Rishi創辦瞭InfoObjects,這是一傢以深度探索數據為宗旨的企業。該公司已連續4年被列入發展快公司5000強。InfoObjects也被授予瞭2014及2015年度灣區傑齣工作地點首名的桂冠。Rishi還是一位開源社區貢獻者和活躍的博主。
目錄
目錄
第1章 開始使用Apache Spark 1
1.1 簡介 1
1.2 使用二進製文件安裝Spark 2
1.3 通過Maven構建Spark源碼 5
1.4 在Amazon EC2上部署Spark 7
1.5 在集群上以獨立模式部署
Spark 13
1.6 在集群上使用Mesos部署Spark 18
1.7 在集群上使用YARN部署 19
1.8 使用Tachyon作為堆外存儲層 22
第2章 使用Spark開發應用 27
2.1 簡介 27
2.2 探索Spark shell 27
2.3 在Eclipse中使用Maven開發Spark應用 29
2.4 在Eclipse中使用SBT開發Spark應用 33
2.5 在Intellij IDEA中使用Maven開發Spark應用 34
2.6 在Intellij IDEA中使用SBT開發Spark應用 36
第3章 外部數據源 38
3.1 簡介 38
3.2 從本地文件係統加載數據 39
3.3 從HDFS加載數據 40
3.4 從HDFS加載自定義輸入格式的數據 45
3.5 從Amazon S3加載數據 46
3.6 從Apache Cassandra加載數據 49
3.7 從關係型數據庫加載數據 54
第4章 Spark SQL 57
4.1 簡介 57
4.2 理解Catalyst優化器 60
4.3 創建HiveContext 63
4.4 使用case類生成數據格式 66
4.5 編程指定數據格式 67
4.6 使用Parquet格式載入及存儲數據 69
4.7 使用JSON格式載入及存儲數據 73
4.8 從關係型數據庫載入及存儲數據 75
4.9 從任意數據源載入及存儲數據 78
第5章 Spark Streaming 80
5.1 簡介 80
5.2 使用Streaming統計字數 82
5.3 Twitter流數據處理 84
5.4 Kafka流數據處理 88
第6章 機器學習——MLlib 94
6.1 簡介 94
6.2 創建嚮量 95
6.3 創建嚮量標簽 97
6.4 創建矩陣 99
6.5 計算概述統計量 101
6.6 計算相關性 102
6.7 進行假設檢驗 104
6.8 使用ML創建機器學習
流水綫 106
第7章 監督學習之迴歸——MLlib 109
7.1 簡介 109
7.2 使用綫性迴歸 110
7.3 理解代價函數 112
7.4 使用Lasso綫性迴歸 116
7.5 使用嶺迴歸 117
第8章 監督學習之分類——MLlib 119
8.1 簡介 119
8.2 邏輯迴歸分類 119
8.3 支持嚮量機二元分類 124
8.4 決策樹分類 127
8.5 隨機森林分類 134
8.6 梯度提升樹(GBTs)分類 139
8.7 樸素貝葉斯分類 140
第9章 無監督學習——MLlib 143
9.1 簡介 143
9.2 使用k-means聚類 144
9.3 主成分分析的降維 149
9.4 奇異值分解降維 155
第10章 推薦係統 159
10.1 簡介 159
10.2 顯性反饋的協同過濾 161
10.3 隱性反饋的協同過濾 164
第11章 圖像處理——GraphX 169
11.1 簡介 169
11.2 基本圖像運算 170
11.3 使用PageRank 171
11.4 查找連通分量 174
11.5 相鄰聚閤實現 177
第12章 優化及調優 180
12.1 簡介 180
12.2 內存優化 183
12.3 使用壓縮提升性能 185
12.4 使用序列化提升性能 186
12.5 優化垃圾迴收 187
12.6 優化並行度的級彆 187
12.7 理解未來的優化——Tungsten
項目 188
Spark Cookbook 中文版 下載 mobi epub pdf txt 電子書