編輯推薦
Scrapy是一個開源的Python爬蟲框架,可以用來輕鬆提取從頁麵數據。Scrapy帶有豐富的特性,可通過簡單的編碼或配置來訪問,從而可以節省開發人員數周的開發時間,並高效地提取所需數據。Scrapy有一個高度活躍且迅速增長的社區,而且已經成為黑客、創業者和Web爬取專傢的首*框架。
本書講解瞭Scrapy的基礎知識,討論瞭如何從任意源提取數據,如何清理數據,以及如何使用Python和第三方API進行處理,以滿足自身需求。本書還講解瞭如何將爬取的數據高效地饋入數據庫、搜索引擎和流數據處理係統(比如Apache Spark)。在學習完本書後,你將對數據爬取胸有成竹,並將數據應用在自己的應用程序中。
本書內容:
使用HTML和Xpath提取所需的數據;
使用Python編寫Scrapy爬蟲,並在網絡上進行爬取操作;
將數據推送到任意數據庫、搜搜引擎或分析係統的方法;
配置爬蟲,使其下載文件和圖形,以及使用代理;
創建用來限流數據的高效管道;
使用Twitsted實踐驅動的API並發處理數百個Item;
讓爬蟲更快速,讓內存使用率更高,以及對Scrapy性能進行調優的技巧;
使用Scrapyd和Scrapinghub執行大規模分布式爬取操作的方法。
內容簡介
Scrapy是使用Python開發的一個快速、高層次的屏幕抓取和Web抓取框架,用於抓Web站點並從頁麵中提取結構化的數據。《精通Python爬蟲框架Scrapy》以Scrapy 1.0版本為基礎,講解瞭Scrapy的基礎知識,以及如何使用Python和三方API提取、整理數據,以滿足自己的需求。
本書共11章,其內容涵蓋瞭Scrapy基礎知識,理解HTML和XPath,安裝Scrapy並爬取一個網站,使用爬蟲填充數據庫並輸齣到移動應用中,爬蟲的強大功能,將爬蟲部署到Scrapinghub雲服務器,Scrapy的配置與管理,Scrapy編程,管道秘訣,理解Scrapy性能,使用Scrapyd與實時分析進行分布式爬取。本書附錄還提供瞭各種軟件的安裝與故障排除等內容。
本書適閤軟件開發人員、數據科學傢,以及對自然語言處理和機器學習感興趣的人閱讀。
作者簡介
Dimitrios Kouzis-Loukas作為一位軟件開發人員,已經擁有超過15年的經驗。同時,他還使用自己掌握的知識和技能,嚮廣大讀者講授如何編寫軟件。
他學習並掌握瞭多門學科,包括數學、物理學以及微電子學。他對這些學科的透徹理解,提高瞭自身的標準,而不隻是“實用的解決方案”。他知道真正的解決方案應當是像物理學規律一樣確定,像ECC內存一樣健壯,像數學一樣通用。
Dimitrios目前正在使用新的數據中心技術開發低延遲、高可用的分布式係統。他是語言無關論者,不過對Python、C++和Java略有偏好。他對開源軟硬件有著堅定的信念,他希望他的貢獻能夠造福於各個社區和全人類。
關於譯者
李斌,畢業於北京科技大學計算機科學與技術專業,獲得碩士學位。曾任職於阿裏巴巴,當前供職於凡普金科,負責應用安全工作。熱愛Python編程和Web安全,希望以更加智能和自動化的方式提升網絡安全。
目錄
第 1章 Scrapy簡介 1
1.1 初識Scrapy 1
1.2 喜歡Scrapy的更多理由 2
1.3 關於本書:目標和用途 3
1.4 掌握自動化數據爬取的重要性 4
1.4.1 開發健壯且高質量的應用,並提供閤理規劃 4
1.4.2 快速開發高質量可行産品 5
1.4.3 Google不會使用錶單,爬取纔能擴大規模 6
1.4.4 發現並融入你的生態係統 7
1.5 在充滿爬蟲的世界裏做一個好公民 7
1.6 Scrapy不是什麼 8
1.7 本章小結 9
第 2章 理解HTML和XPath 10
現貨 精通Python爬蟲框架Scrapy 下載 mobi epub pdf txt 電子書