通用网络爬虫是搜索引擎抓取系统(Baidu、Google、Sogou等)的一个重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。为搜索引擎提供搜索支持。

针对通用爬虫的这些情况，聚焦爬虫技术得以广泛使用。聚焦爬虫，是"面向特定主题需求"的一种网络爬虫程序，它与通用搜索引擎爬虫的区别在于：聚焦爬虫在实施网页抓取时会对内容进行处理筛选，尽量保证只抓取与需求相关的网页数据。

Robots协议也叫爬虫协议、机器人协议等，全称是“网络爬虫排除标准”(Robots ExclusionProtocol)，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取

IP地址就跟我们的身份证一样，可以识别计算机的身份，一旦IP地址被限制，我们将无法对网站进行其他操作，此时我们可以通过代理IP的方式解决这个问题。

代理IP： 可以理解成一个中间平台，我们的程序先将请求发出到代理IP，由代理IP再将我们的实际请求发给对应的网站，此时，网站看到的访问IP就是代理IP，而不是我们的计算机的实际IP地址，这样就可以避开网站的封禁限制(通俗的理解：我们的“身份证”被拉入了访问黑名单，此时可以通过借助其他人的“身份证”来访问)。

.代理IP池： 单一的代理IP还是存在容易被封禁的问题，因此，可以将多个代理IP维护到一个“池”中(跟线程池类似)，当某个代理IP被封禁时，可以切换到其他的代理IP，这样被封禁的概率将大大降低。

降低被封禁概率： 因为有了代理IP池，可以进行代理IP地址的切换，从而避免了"单点故障"，代理IP池越大，使用时被限制的几率就越低。

爬取亚马逊下网站电脑的价格进行数据分析

网战地址： https://www.amazon.cn/gp/browse.html?node=106200071&ref_=nav_em__pc_notebook_0_2_3_2

逻辑分析： 通过浏览器调试工具查询到需要获取信息的标签，然后使用xpath获取指定元素数据，

网络爬虫是指按照一定的规则自动地抓取万维网信息的程序或者脚本。该方法可以将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储。它支持图片、音频、视频等文件或附件的采集，附件与正文可以自动关联。

网络爬虫是一种按照一定的规则，自动地抓取网络信息的程序或者脚本。网络爬虫可以自动采集所有其能够访问到的页面内容，为搜索引擎和大数据分析提供数据来源。从功能上来讲，爬虫一般有网络数据采集、处理和存储 3 部分功能，

网络爬虫通过定义采集字段对网页中的文本信息、图片信息等进行爬取。并且在网页中还包含一些超链接信息，网络爬虫系统正是通过网页中的超链接信息不断获得网络上的其他网页。网络爬虫从一个或若干初始网页的 URL 开始，获得初始网页上的 URL，爬虫将网页中所需要提取的资源进行提取并保存，同时提取出网站中存在的其他网站链接，经过发送请求，接收网站响应以及再次解析页面，再将网页中所需资源进行提取......以此类推，通过网页爬虫便可将搜索引擎上的相关数据完全爬取出来

从待抓取 URL 队列中取出待抓取 URL，解析 DNS，得到主机的 IP 地址，并将 URL 对应的网页下载下来，存储到已下载网页库中。此外，将这些 URL 放进已抓取 URL 队列。
分析已抓取 URL 队列中的 URL，分析其中的其他 URL，并且将这些 URL 放入待抓取 URL 队列，从而进入下一个循环。

数据处理是对数据（包括数值的和非数值的）进行分析和加工的技术过程。网络爬虫爬取的初始数据是需要“清洗”的，在数据处理步骤，对各种原始数据的分析、整理、计算、编辑等的加工和处理，从大量的、可能是杂乱无章的、难以理解的数据中抽取并推导出有价值、有意义的数据。

爬虫在1中爬取c网页，看到其链接到a网页，于是爬完c后前去获取a。当爬虫在2中获取a网页时，看到其链接到d，于是爬完a后前去获取d。而当爬虫在3中爬取d网页时，看到其又链接到c网页，于是爬完d后又前去获取c。这样，爬虫就陷入了获取从c到a到d再到c的不断循环之中，永远都在c、a、d这3个网页中打转，永远不能自拔。因为爬虫的智力极其有限，它只知道往前爬。这也是为什么它不会多次去爬去e网页的原因，因为当它爬完e网页后，就得退回来，退回这一行为使爬虫知道它已经爬过e了，因而不会再次前往。

当爬虫不断地访问相同的页面时，由于其速度很快，从而独占web服务器的连接，造成其他真正要访问此服务器的用户连接不上，进而导致该服务器对其真正的用户拒绝访问。这一点，是爬虫对该服务器的侵权和损害，如此的爬虫行为是会遭到法律诉讼的。

二是人为的恶意陷阱。其主要表现在动态生成的网络页面之中。如下图所示：

通用爬虫：通用爬虫是搜索引擎（Baidu、Google、Yahoo等）“抓取系统”的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。 简单来讲就是尽可能的；把互联网上的所有的网页下载下来，放到本地服务器里形成备分，在对这些网页做相关处理(提取关键字、去掉广告)，最后提供一个用户检索接口。

如上图所示，HTTP协议 是无状态的协议，用户浏览服务器上的内容，只需要发送页面请求，服务器返回内容。对于服务器来说，并不关心，也并不知道是哪个用户的请求。对于一般浏览性的网页来说，没有任何问题。
　　- 但是，现在很多的网站，是需要用户登录的。以淘宝为例：比如说某个用户想购买一个产品，当点击 “ 购买按钮 ” 时，由于HTTP协议 是无状态的，那对于淘宝来说，就不知道是哪个用户操作的。
　　- 为了实现这种用户标记，服务器就采用了cookie这种机制来识别具体是哪一个用户的访问。

需要注意的是：cookie信息是保存在本地浏览器里面的，服务器上并不存储相关的信息。 在发送请求时，cookie的这些内容是放在 Http协议中的header 字段中进行传输的。

- 几乎现在所有的网站都会发送一些 cookie信息过来，当用户请求中携带了cookie信息，服务器就可以知道是哪个用户的访问了，从而不需要再使用账户和密码登录。

如图，为了实现用户标记，在Http无状态请求的基础之上，我们需要在请求中携带一些用户信息（比如用户名之类，这些信息是服务器发送到本地浏览器的，但是服务器并不存储这些信息），这就是cookie机制。