Python网络爬虫既可以在本地运行，也可以在云端运行。相对于本地运行方案，华为云上运行爬虫具有更多优势：

华为云上运行爬虫程序可将爬取到的数据分为两类，图片存储到OBS对象存储，文本存储到RDS数据库中。

网络搜索引擎和其他一些网站使用网络爬虫或蜘蛛软件来更新他们的网络内容或其他网站的网络内容索引。网络爬虫复制页面以供搜索引擎处理，搜索引擎对下载的页面进行索引，以便用户可以更有效地搜索。

爬虫抓取了这些内容之后需要数据存储，一般存储于数据库或 csv 文件中。

数据采集完毕需要对采集的数据经行清洗，删除一些空数据、异常数据等，清洗的目的主要是：使数据质量达到项目的要求。

对于一些涉及查看当下热门话题的爬虫项目，还需要使用自然语言处理。

在网络爬虫抓取数据的时候，目标网站可能设置了验证码、网络爬虫陷阱，同时相同的 User-Agent 也会被视为非正常用户，这些都需要避开。

有的时候频繁的抓取一个网站的数据，可能会被管理员将 IP 加入黑名单，这个时候会需要使用到代理 IP ，来避免 IP 地址被封杀。

以上都是网络爬虫需要的技能，我会在接下来的章节中，详细介绍爬虫的每一个技术，使大家学会使用网络爬虫获取自己需要的数据。

（1）通用网络爬虫

访问全互联网资源，

将互联网中的网页下载到本地，形成一个互联网内容的镜像备份。

（2）聚焦网络爬虫

有选择性地访问与目标主题相关的网页，获取所需要的数据。

（3）增量式网络爬虫

只抓取新产生或者已经发生变化的网页的网络爬虫。

（4）深层网络爬虫

是指抓取深层网页的网络爬虫。

第一步

搜索引擎去成千上万个网站抓取数据。

第二步

搜索引擎通过爬虫爬取到的网页，将数据存入原始页面数据库(也就是文档库)。其中的页面数据与用户浏览器得到的HTML是完全—样的。

第三步

搜索引擎将爬虫抓取回来的页面，进行各种步骤的预处理:中文分词，消除噪音，索引处理······

搜索引擎在对信息进行组织和处理后，为用户提供关键字检索服务，将用户检索相关的信息展示给用户。展示的时候会进行排名。

通用网络爬虫是搜索引擎抓取系统(Baidu、Google、Sogou等)的一个重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。为搜索引擎提供搜索支持。

针对通用爬虫的这些情况，聚焦爬虫技术得以广泛使用。聚焦爬虫，是"面向特定主题需求"的一种网络爬虫程序，它与通用搜索引擎爬虫的区别在于：聚焦爬虫在实施网页抓取时会对内容进行处理筛选，尽量保证只抓取与需求相关的网页数据。

Robots协议也叫爬虫协议、机器人协议等，全称是“网络爬虫排除标准”(Robots ExclusionProtocol)，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取

IP地址就跟我们的身份证一样，可以识别计算机的身份，一旦IP地址被限制，我们将无法对网站进行其他操作，此时我们可以通过代理IP的方式解决这个问题。

代理IP： 可以理解成一个中间平台，我们的程序先将请求发出到代理IP，由代理IP再将我们的实际请求发给对应的网站，此时，网站看到的访问IP就是代理IP，而不是我们的计算机的实际IP地址，这样就可以避开网站的封禁限制(通俗的理解：我们的“身份证”被拉入了访问黑名单，此时可以通过借助其他人的“身份证”来访问)。

.代理IP池： 单一的代理IP还是存在容易被封禁的问题，因此，可以将多个代理IP维护到一个“池”中(跟线程池类似)，当某个代理IP被封禁时，可以切换到其他的代理IP，这样被封禁的概率将大大降低。

降低被封禁概率： 因为有了代理IP池，可以进行代理IP地址的切换，从而避免了"单点故障"，代理IP池越大，使用时被限制的几率就越低。

爬取亚马逊下网站电脑的价格进行数据分析

网战地址： https://www.amazon.cn/gp/browse.html?node=106200071&ref_=nav_em__pc_notebook_0_2_3_2

逻辑分析： 通过浏览器调试工具查询到需要获取信息的标签，然后使用xpath获取指定元素数据，

网络爬虫是指按照一定的规则自动地抓取万维网信息的程序或者脚本。该方法可以将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储。它支持图片、音频、视频等文件或附件的采集，附件与正文可以自动关联。