网络爬虫介绍

本书介绍了如何利用Python3开发网络爬虫。本书为第2版，相比于第1版，为每个知识点的实战项目配备了针对性的练习平台，避免了案例过期的问题。另外，主要增加了异步爬虫、JavaScript逆向、App逆向、页面智能解析、深度学习识别验证码、Kubernetes运维及部署等知识点，同时也对各个爬虫知识点涉及的请求、存储、解析、测试等工具进行了丰富和更新。本书适合Python程序员阅读。

本书首先介绍了开发环境的配置，接着讨论了Web网站的构成和页面渲染、动态网页和静态网页对爬虫造成的影响，紧接着详细介绍了信息校验型反爬虫、动态渲染反爬虫、文本混淆反爬虫知识、特征识别反爬虫的原理、实现和绕过，然后概览了App数据爬取的关键和常用的反爬虫手段，最后介绍了常见的编码和加密原理、JavaScript代码混淆知识、前端禁止事件以及与爬虫相关的法律知识和风险点。

爬虫特级实战 430集Python专家课程从docker到爬虫反爬 视频

本书讲解了如何使用Python编写网络爬虫，涵盖爬虫的概念、Web基础、Chrome、Charles和Packet Capture抓包、urllib、Requests请求库、lxml、Beautiful Soup、正则表达式解析数据、CSV、Excel、MySQL、Redis、MongoDB保存数据、反爬虫策略应对、爬虫框架Scrapy的使用与部署，以及应用案例。本书结构清晰、内容精练，代码示例典型实用，附带实践过程中遇到问题的解决方案，非常适合Python初学者和进阶读者阅读。

Python爬虫 视频教程

本书采用简洁强大的Python 语言，介绍了网页抓取，并为抓取新式网络中的各种数据类型提供了全面的指导。第一部分重点介绍网页抓取的基本原理：如何用Python 从网络服务器请求信息，如何对服务器的响应进行基本处理，以及如何以自动化手段与网站进行交互。第二部分介绍如何用网络爬虫测试网站，自动化处理，以及如何通过更多的方式接入网络。

B站评论没有查找功能，就随手写了一个爬虫爬取B站评论存储到本地txt中 首先需要安装python的request库，和beautifulsoup库

一般我们进行网络资源的爬取操作时，通常需要把浏览器中的request header的内容复制出来，放在脚本中进行操作。 通常我们是手动在每个key和value的两边都加上''，但是这种方法比较麻烦，且比较耗时，以下为输入一段浏览器header内容字符串，自动格式化为字典类型的方法。