1．1 HTTP基本原理 1
1．2 Web 网页基础 12
1．3 爬虫的基本原理 19
1．4 Session和Cookie 21
1．5 代理的基本原理 24
1．6 多线程和多进程的基本原理 26
第2章 基本库的使用 29
2．1 urllib的使用 29
2．2 requests的使用 47
2．3 正则表达式 63
2．4 httpx的使用 73
2．5 基础爬虫案例实战 78
第3章 网页数据的解析提取 90
3．1 XPath的使用 90
3．2 Beautiful Soup的使用 99
3．3 pyquery的使用 113
3．4 parsel 的使用 124
第4章 数据的存储 128
4．1 TXT 文本文件存储 128
4．2 JSON 文件存储 130
4．3 CSV 文件存储 134
4．4 MySQL 存储 138
4．5 MongoDB 文档存储 144
4．6 Redis缓存存储 151
4．7 Elasticsearch 搜索引擎存储 159
4．8 RabbitMQ 的使用 166
第5章 Ajax 数据爬取 174
5．1 什么是 Ajax 174
5．2 Ajax分析方法 176
5．3 Ajax 分析与爬取实战 179
第6章 异步爬虫 191
6．1 协程的基本原理 191
6．2 aiohttp的使用 201
6．3 aiohttp 异步爬取实战 207
第7章 JavaScript 动态渲染页面爬取 212
7．1 Selenium 的使用 212
7．2 Splash 的使用 226
7．3 Pyppeteer 的使用 242
7．4 Playwright 的使用 257
7．5 Selenium 爬取实战 269
7．6 Pyppeteer 爬取实战 276
7．7 CSS 位置偏移反爬案例分析与爬取实战 282
7．8 字体反爬案例分析与爬取实战 287
第8章 验证码的识别 293
8．1 使用 OCR 技术识别图形验证码 293
8．2 使用 OpenCV 识别滑动验证码的缺口 298
8．3 使用深度学习识别图形验证码 304
8．4 使用深度学习识别滑动验证码的缺口 309
8．5 使用打码平台识别验证码 316
8．6 手机验证码的自动化处理 324
第9章 代理的使用 331
9．1 代理的设置 331
9．2 代理池的维护 340
9．3 付费代理的使用 351
9．4 ADSL 拨号代理的搭建方法 357
9．5 代理反爬案例爬取实战 365
第 10章 模拟登录 373
10．1 模拟登录的基本原理 373
10．2 基于Session和Cookie的模拟登录爬取实战 376
10．3 基于JWT的模拟登录爬取实战 381
10．4 大规模账号池的搭建 385
第 11章 JavaScript 逆向爬虫 397
11．1 网站加密和混淆技术简介 397
11．2 浏览器调试常用技巧 413
11．3 JavaScript Hook 的使用 430
11．4 无限 debugger 的原理与绕过 440
11．5 使用 Python 模拟执行 JavaScript 445
11．6 使用 Node．js 模拟执行 JavaScript 451
11．7 浏览器环境下 JavaScript 的模拟执行 454
11．8 AST 技术简介 460
11．9 使用 AST 技术还原混淆代码 472
11．10 特殊混淆案例的还原 480
11．11 WebAssembly 案例分析和爬取实战 490
11．12 JavaScript 逆向技巧总结 498
11．13 JavaScript 逆向爬取实战 505
第 12章 App 数据的爬取 530
12．1 Charles 抓包工具的使用 530
12．2 mitmproxy 抓包工具的使用 538
12．3 mitmdump 实时抓包处理 544
12．4 Appium 的使用 551
12．5 基于 Appium 的 App 爬取实战 562
12．6 Airtest 的使用 568
12．7 基于 Airtest 的 App 爬取实战 585
12．8 手机群控爬取实战 591
12．9 云手机的使用 594
第 13章 Android 逆向 603
13．1 jadx 的使用 603
13．2 JEB 的使用 615
13．3 Xposed 框架的使用 624
13．4 基于 Xposed 的爬取实战案例 635
13．5 Frida 的使用 643
13．6 SSL Pining 问题的解决方案 650
13．7 Android 脱壳技术简介与实战 657
13．8 利用 IDA Pro 静态分析和动态调试 so 文件 664
13．9 基于 Frida-RPC 模拟执行 so 文件 680
13．10 基于 AndServer-RPC 模拟执行 so 文件 685
13．11 基于 unidbg 模拟执行 so 文件 692
第 14章 页面智能解析 700
14．1 页面智能解析简介 700
14．2 详情页智能解析算法简介 707
14．3 详情页智能解析算法的实现 714
14．4 列表页智能解析算法简介 722
14．5 列表页智能解析算法的实现 727
14．6 如何智能分辨列表页和详情页 735
第 15章 Scrapy框架的使用 739
15．1 Scrapy框架介绍 739
15．2 Scrapy入门 743
15．3 Selector 的使用 754
15．4 Spider 的使用 759
15．5 Downloader Middleware的使用 766
15．6 Spider Middleware的使用 775
15．7 Item Pipeline的使用 781
15．8 Extension的使用 792
15．9 Scrapy 对接 Selenium 795
15．10 Scrapy 对接 Splash 801
15．11 Scrapy 对接 Pyppeteer 806
15．12 Scrapy 规则化爬虫 813
15．13 Scrapy 实战 827
第 16章 分布式爬虫 840
16．1 分布式爬虫理念 840
16．2 Scrapy-Redis原理和源码解析 842
16．3 基于Scrapy-Redis的分布式爬虫实现 847
16．4 基于Bloom Filter进行大规模去重 851
16．5 基于RabbitMQ的分布式爬虫 859
第 17章 爬虫的管理和部署 862
17．1 Scrapyd和ScrapydAPI的使用 862
17．2 Scrapyd-Client 的使用 867
17．3 Gerapy 爬虫管理框架的使用 869
17．4 将Scrapy 项目打包成 Docker 镜像 873
17．5 Docker Compose 的使用 878
17．6 Kubernetes的使用 880
17．7 用 Kubernetes 部署和管理 Scrapy 爬虫 888
17．8 Scrapy 分布式爬虫的数据统计方案 899
17．9 基于Prometheus和Grafana的分布式爬虫监控方案 904
附录 爬虫与法律 917
· · · · · · (收起)
具体描述
◎ 編輯推薦
Python 之父 Guido van Rossum 推薦的爬蟲入門書，第 1 版銷量近 100000 冊；
微軟中國大數據工程師、博客文章過百萬的靜覓大神力作；
新增異步爬蟲、JavaScript 逆嚮、App 逆嚮、智能網頁解析、深度學習識彆驗證碼、Kubernetes 運維及部署等知識點
◎ 內容簡介
本書介紹瞭如何利用 Python 3 開發網絡爬蟲。本書為第 2 版，相比於第 1 版，為每個知識點的實戰項目配備瞭針對性的練習平颱，避免瞭案例過期的問題。另外，主要增加瞭異步爬蟲、JavaScript 逆嚮、App 逆嚮、頁麵智能解析、深度學習識彆驗證碼、Kubernetes 運維及部署等知識點，同時也對各個爬蟲知識點涉及的請求、存儲、解析、測試等工具進行瞭豐富和更新。
本書適閤Python 程序員閱讀。
◎ 大佬推薦
I am happy to see that Python is so widely used in the Chinese IT community. I hope this book will help more people understand Python and web crawling/scraping.
——Guido van Rossum，Creator of Python， Distinguished Engineer，Microsoft
時代在不斷進步，我們需要不斷學習，慶纔在工作上是這樣，在興趣上也是這樣，這本爬蟲書充分體現瞭這一點。第 2 版相比第 1 版內容更加全麵，覆蓋的知識點更為廣泛，也更貼近技術前沿。本書具有通俗易懂的講解和豐富的案例代碼，可以讓讀者係統地學習爬蟲相關的各種知識，我極力推薦大傢閱讀本書。
——曾文峰，微軟亞洲互聯網工程院副院長、微軟公司全球閤夥人
在今天這個數據驅動的人工智能時代，這個有越來越多移動互聯網數據來自 App 的時代，主流的數據來源平颱幾乎都提高瞭數據采集的風控水平，這導緻數據采集的難度越來越大，此時行業中需要一本書來幫助爬蟲工程師提高技術水平。崔慶纔的這本《Python 3 網絡爬蟲開發實戰（第2版）》是市場上截至目前公開數據采集領域最好的圖書之一，這本書能解答數據采集工作中遇到的大部分問題，更難得的是作者還建立瞭技術討論群，方便大傢交流和提高。
——梁斌 penny，北京八友科技總經理、清華大學博士
作為第 1 版的升級版，本書增加瞭很多前沿的爬蟲相關技術。從爬蟲入門到分布式抓取，本書詳細介紹瞭爬蟲技術的各個要點，並針對不同場景提齣瞭不同的解決方案。另外，書中的實戰案例也在第 1 版的基礎上做瞭重構升級，能幫助讀者更好地學習爬蟲技術。本書內容通俗易懂，乾貨滿滿，強烈推薦給大傢！
——宋睿華，中國人民大學高瓴人工智能學院長聘副教授
用户评价
##第一章安裝花了一上午一下午；網上作者公佈了電子版本但是內容還是實體書上充實、寫的太好了嗚嗚嗚、雖然有些部分有翻譯文檔之嫌；app爬取之前看的比較仔細、後面內容基本就過了一下、很詳細、有對應專門使用的爬取頁面、gayhub代碼也都公開了、吊打那本動物書權威指南
评分##基本上是把github上的内容照搬过来了 论文参考了其中一部分抓取方法
评分##基本上是把github上的内容照搬过来了 论文参考了其中一部分抓取方法
评分##写的非常丰富，第一版看完学了很多东西，现在第二版也出来了，比第一版更加丰富，内容更多，我爱了。
评分##很一般，对我学习爬虫几乎没有任何作用，这本书摆在家里都快吃灰了，除了刚买的时候兴奋的看过之后，并且表示要学习之后就没有用得上了，基本上里边没有多少有用的内容。
评分##很不错的爬虫书籍，但是有些案例随着网站发爬虫的举措变得不大可行，整体受益匪浅。
评分##很一般，对我学习爬虫几乎没有任何作用，这本书摆在家里都快吃灰了，除了刚买的时候兴奋的看过之后，并且表示要学习之后就没有用得上了，基本上里边没有多少有用的内容。
评分##本来看的是权威指南, 但是那里实例网页被公司屏蔽了- - 试试看这本 …… 读了，挺全面的。就我现在看，同一个目的，教几种不同的实现方式有点费。要是当查阅手册，又穿插了很多指导的废话。 除此，还是很OK的
评分快速看完还行????只是不太习惯教科书，本科开始都是野路子自学：遇山开路，遇水搭桥。
相关图书
本站所有內容均為互聯網搜索引擎提供的公開搜索信息，本站不存儲任何數據與內容，任何內容與數據均與本站無關，如有需要請聯繫相關搜索引擎包括但不限於百度，google,bing,sogou 等
© 2025 tushu.tinynews.org All Rights Reserved. 求知書站 版权所有