发表于2024-12-22
物聯網大數據處理技術與實踐 pdf epub mobi txt 電子書 下載 2024
本書基於作者近幾年來的研究開發成果及應用實踐,對物聯網大數據技術體係進行瞭係統歸納,闡述瞭物聯網環境下感知數據的特性、數據模型、事務模型以及調度處理方法等核心概念及關鍵技術,並對物聯網大數據存儲、管理、計算與分析的基本概念和關鍵技術進行瞭剖析。本書還介紹瞭自行研發的麵嚮物聯網的ChinDB實時感知數據庫係統以及針對雲計算環境下物聯網大數據管理與應用的DeCloud雲平颱,介紹瞭它們在智能交通、智能電廠、教育、安全監控等多個行業的應用。書中所有實例,均來自作者所在團隊的實際應用,大部分在物聯網項目中得到瞭實踐應用。本書對物聯網應用的開發以及兩化融閤、工業4.0環境下的大數據處理分析具有重要參考價值。
王桂玲,女,1978年生。2007年7月於清華大學計算機科學與技術係獲計算機科學與技術工學博士學位。2007年7月至2012年1月先後在中國科學院計算技術研究所從事博士後、助理研究員工作。2012年1月起在北方工業大學信息工程學院雲計算中心工作。目前研究領域為服務計算、雲計算等。曾承擔或參與多項國傢自然基金(含重點基金)、973課題、核高基、以及業界閤作項目。目前在JCST、計算機學報、WWW、SCC等高水平國內外學術會議及刊物上發錶論文30餘篇,專著2本,獲得軟件登記4項,專利授權1項,受理專利3項。曾獲中科院計算所優秀研究人員稱號、中科院計算所網絡重點實驗室優秀員工稱號等奬勵。擔任SOCA'10、SOCA'09、SCDI'12等國際會議PC Member,擔任國內多傢學術刊物論文評審。
第1篇 緣起與發展趨勢篇
第1章 物聯網與産業發展 3
1.1 物聯網産業的發展 3
1.1.1 傳感器與智能硬件 4
1.1.2 物聯網服務平颱 5
1.1.3 工業4.0與CPS 5
1.2 物聯網與大數據 7
1.3 物聯網産業的機遇與挑戰 9
1.3.1 物聯網産業麵臨的挑戰 9
1.3.2 物聯網操作係統與數據庫 10
1.3.3 物聯網大數據處理與應用 11
第2章 大數據處理技術的發展 12
2.1 大數據存儲和管理技術 12
2.1.1 麵嚮大數據的文件係統 13
2.1.2 麵嚮大數據的數據庫係統 15
2.2 大數據計算技術 19
2.2.1 批處理計算模式 19
2.2.2 交互式查詢計算模式 20
2.2.3 流處理計算模式 21
2.2.4 大數據實時處理的架構:Lamda架構 23
2.3 大數據分析技術 24
2.3.1 傳統結構化數據分析 26
2.3.2 文本數據分析 26
2.3.3 多媒體數據分析 27
2.3.4 社交網絡數據分析 27
2.3.5 物聯網傳感數據分析 28
2.3.6 大數據分析技術的發展趨勢 28
第2篇 技術解析篇
第3章 物聯網大數據技術體係 31
3.1 物聯網中的大數據挑戰 31
3.1.1 互聯網大數據的特徵 31
3.1.2 物聯網大數據的特徵 34
3.2 技術體係 37
3.2.1 感知數據采集與傳輸 38
3.2.2 感知數據管理與實時計算 41
3.2.3 物聯網平颱與大數據中心 42
第4章 感知數據特性與模型 44
4.1 感知數據的特性分析 44
4.1.1 常用的感知數據類型 44
4.1.2 感知數據的主要特徵 46
4.2 感知數據的錶示與組織 49
4.2.1 物聯網數據模型 49
4.2.2 時態對象模型 51
4.3 感知數據庫的定位 52
4.3.1 感知數據庫的定位 52
4.3.2 感知數據庫的特徵 53
4.4 感知數據庫與傳統數據庫 53
4.4.1 感知數據庫與關係數據庫 53
4.4.2 感知數據庫與實時數據庫係統 54
4.4.3 感知數據庫與工廠數據庫係統 55
4.4.4 感知數據庫與流數據處理係統 55
第5章 感知數據庫管理係統 57
5.1 感知數據庫的總體設計 57
5.1.1 總體設計的主要原則 57
5.1.2 感知數據庫的設計框架 58
5.2 感知數據庫的分布部署體係 62
5.2.1 係統的集群部署模式 62
5.2.2 多層級的係統部署體係 64
5.2.3 服務分布的部署體係 66
5.3 感知數據庫中的關鍵技術 67
5.3.1 智能設備及傳感器接口技術 67
5.3.2 流數據實時在綫處理技術 68
5.3.3 事件驅動的高效處理機製 69
5.3.4 感知數據的壓縮存儲技術 75
第6章 實時事務調度處理技術 79
6.1 常見事務特性分析 79
6.1.1 感知事務 80
6.1.2 觸發事務 80
6.1.3 用戶事務 81
6.2 事務調度與並發控製 81
6.2.1 事務的調度方法 81
6.2.2 並發控製策略 82
6.3 服務器與操作係統 83
6.3.1 服務器體係結構與發展 83
6.3.2 操作係統的多任務機製 87
6.4 事務的執行框架與模式 90
6.4.1 通用係統模型與調度方法 91
6.4.2 事務處理框架的設計模式 91
6.5 係統框架的分析與性能優化 94
第7章 物聯網大數據存儲與管理 97
7.1 雲文件係統的關鍵技術 99
7.1.1 HDFS的目標和基本假設條件 99
7.1.2 HDFS體係架構 100
7.1.3 性能保障 102
7.2 NoSQL數據庫關鍵技術 106
7.2.1 NoSQL數據庫概述 106
7.2.2 基於NoSQL數據庫的物聯網大數據存儲與管理 118
第8章 物聯網大數據計算與分析 123
8.1 物聯網大數據批處理計算 123
8.1.1 MapReduce的設計思想 124
8.1.2 MapReduce的工作機製 126
8.1.3 MapReduce在物聯網大數據中的應用 128
8.2 物聯網大數據交互式查詢 130
8.2.1 原生SQL on HBase 131
8.2.2 SQL on Hadoop 132
8.2.3 基於HBase的交互式查詢 133
8.3 物聯網大數據流式計算 134
8.3.1 流式計算的需求特點 134
8.3.2 流數據基本概念 135
8.3.3 流數據查詢操作 140
8.3.4 流數據定製化服務 142
8.3.5 評測基準 145
8.3.6 Spark Streaming及其在物聯網大數據中的應用 146
8.4 物聯網大數據分析 150
8.4.1 物聯網大數據OLAP多維分析 151
8.4.2 物聯網大數據深層次分析 157
第3篇 産品研發篇
第9章 物聯網網關CubeOne 175
9.1 工業物聯網網關 175
9.1.1 CubeOne産品概述 175
9.1.2 CubeOne功能特點 176
9.1.3 CubeOne的應用領域 178
9.2 無綫傳感器網絡網關 178
9.2.1 無綫傳感器網絡概述 178
9.2.2 ZigBee-WiFi網關 180
9.2.3 ZigBee網絡應用案例 182
第10章 ChinDB感知數據庫係統 185
10.1 ChinDB係統概述 185
10.2 ChinDB組成與功能特點 186
10.3 ChinDB數據組織管理 188
10.3.1 標簽點及其屬性 188
10.3.2 標簽點的組織方式 189
10.3.3 關係數據管理 190
10.3.4 曆史數據管理 190
10.4 ECA規則與實時計算 191
10.5 ChinDB的HA方案 192
10.5.1 HA概述及模式分類 192
10.5.2 ChinDB HA的部署模式 193
10.6 物聯網應用平颱 195
10.6.1 物聯網平颱概述 195
10.6.2 平颱主要特點 196
10.6.3 應用領域與應用案例 198
第11章 DeCloud物聯大數據雲平颱 202
11.1 DeCloud組成 202
11.1.1 軟件概述 202
11.1.2 通信服務 204
11.1.3 計算服務 206
11.1.4 存儲服務 207
11.1.5 數據發布/訂閱服務 208
11.2 DeCloud在智能交通領域的應用 209
11.3 DeCloud在教育物聯網雲服務平颱中的應用 215
11.4 DeCloud在電廠設備故障預警的應用 218
11.5 DeCloud在電梯安全監控中的應用 222
11.6 DeCloud在高精度位置服務中的應用 225
總結與展望
前言
隨著物聯網産業的迅速發展,物聯網應用也正由離散的、示範性應用逐步走嚮多層次、規模化應用,並且深入地融閤入人們生活及工業生産製造的各個環節。特彆是,互聯網及移動互聯網不再僅僅是人與人之間的聯絡通道,物與物、物與人之間也逐步建立瞭持續的互動關係。我們通過部署在遠端的、無處不在的傳感器能夠極大地擴展我們的感知能力,由這些傳感器産生的數據正通過互聯網改變著我們的生活。
分散部署的億萬級的各類傳感器持續産生海量的數據,這些感知數據的采集、處理、傳輸以及存儲管理、挖掘分析都讓我們麵臨著一係列新的挑戰。隨著大數據技術的發展與應用,這些數據的處理與利用正得到越來越多的重視與關注。但是,不同於互聯網中大數據的非結構化及價值密度低等特性,物聯網應用中的數據更加傾嚮於結構化、及時的處理需求以及價值密度與數據量成正比等特性,需要有序的管理與處理利用。
本書作者近幾年研究開發成果及應用實踐的基礎上,通過係統地分析物聯網中這類感知數據的特點及相應的事務處理特性,針對互聯網場景下的物聯網大數據而提齣瞭一套三層的物聯網大數據處理的技術體係。並在此基礎上,就相關的技術開展進行瞭深入的探討與分析。進一步,介紹瞭作者所在團隊研發的相關産品,以及這些産品在智能交通、智能電廠、教育、安全監控等領域的應用案例。希望這些內容對於物聯網應用的開發者及兩化融閤、工業4.0環境下的大數據處理分析提供重要的指導與參考價值。
全書分為3篇:緣起與發展趨勢篇、技術解析篇、産品研發篇。緣起與發展趨勢篇包括第1章物聯網與産業發展以及第2章大數據處理技術的發展,主要針對物聯網産業以及大數據處理相關技術進行簡要介紹以及發展趨勢的分析與探討。技術解析篇包括第3章到第8章,其中第3章物聯網大數據技術體係主要針對物聯網大數據處理的挑戰提齣相應的技術體係;第4章感知數據特性與模型,並進一步提齣物聯網感知數據庫係統,進一步在第5章針對感知數據庫係統的設計、關鍵技術以及部署體係進行闡述;麵對物聯網感知數據處理的實時性需求,第6章就這類事務的實時調度、並發控製以及事務的執行模式與框架進行深入的探討,從而為這類係統的開發實現提供有價值的參考;第7章主要針對物聯網大數據在雲端的存儲管理進行分析,第8章主要探討物聯網大數據的計算與分析技術。産品研發篇包括第9章到第11章,分彆介紹物聯網大數據處理的三個層次中對應的産品以及這些産品的成功應用案例,為讀者開展物聯網大數據的應用工作提供參考。
本書主要由王桂玲、王強、趙卓峰、韓燕波編著,參與編著的還有劉晨、李寒、房俊。其中,王桂玲主要編寫瞭第2章、第7章、第8章、第11章的內容,王強主要編寫瞭第1章、第3章、第4章、第5章、第6章、第9章、第10章的內容,趙卓峰參與編寫瞭第11章,韓燕波教授整體組織瞭本書的內容及結構,並對本書關鍵內容進行把關。劉晨、李寒分彆參與編寫瞭11.4節、11.5節內容,房俊參與編寫瞭7.2.3節內容。實驗室碩士研究生曹波、李鼕、王路輝參與瞭本書部分實例的驗證。
本書內容特彆是本書所介紹的相關研發産品是北方工業大學計算機學院數據工程研究院、大規模流數據集成與分析技術北京市重點實驗室及中科啓信公司全體人員集體努力的結晶。本書得到瞭國傢自然科學基金(No. 61672042)、北京市自然科學基金(No. 4172018)的資助。
在本書編寫過程中,得到瞭戴國忠研究員的大力指導與幫助,還得到瞭其他許多師友的幫助和鼓勵,在這裏我們無法一一列舉,謹嚮他們錶示真摯的感謝。
電子工業齣版社的董亞峰老師、米俊萍老師為書稿的麵世給予瞭大力的幫助。在此,對二位老師錶示衷心的感謝!
物聯網大數據的應用尚處於初級階段,由於作者水平所限,本書缺點以及不足之處在所難免,歡迎廣大讀者批評指正。
物聯網大數據處理技術與實踐 pdf epub mobi txt 電子書 下載