2：服务器将这份数字证书发送给客户端，因为客户端也认可证书机构，客户端可以通过数字证书中的数字签名来验证公钥的真伪，来确保服务器传过来的公开密钥是真实的。一般情况下，证书的数字签名是很难被伪造的，这取决于认证机构的公信力。一旦确认信息无误之后，客户端就会通过公钥对报文进行加密发送，服务器接收到以后用自己的私钥进行解密。

通用爬虫是一个自动提取网页的程序，它为搜索引擎从Internet网上下载网页，是搜索引擎的重要组成部分。

通用爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。图1演示了通用爬虫抓取网页的流程。

通用网络爬虫从互联网中搜集网页，采集信息，这些网页信息用于为搜索引擎建立索引提供支持，它决定着整个引擎系统的内容是否丰富，信息是否及时，因此其性能的优劣直接影响着搜索引擎的效果。

搜索引擎在对信息进行组织和处理后，为用户提供关键字检索服务，将用户检索相关的信息展示给用户。

同时会根据页面的PageRank值(链接的访问量排名)来进行网站排名，这样Rank值高的网站在搜索结果中会排名较前，当然也可以直接付费购买搜索引擎网站排名，付费购买排名是搜索引擎公司的盈利业务之一。

. 抓取网页

搜索引擎使用通用爬虫来抓取网页，其基本工作流程与其他爬虫类似，大致步骤如下：

(1)首先选取一部分的种子URL，将这些URL放入待抓取URL队列;

(2)取出待抓取URL，解析DNS得到主机的IP，并将URL对应的网页下载下来，存储进已下载网页库中，并且将这些URL放进已抓取URL队列。

首先选取一部分的初始URL，将这些URL放入 待抓取URL队列 ；
取出待抓取URL，解析DNS得到主机的IP，并将URL对应的网页下载下来，存储进已下载网页库中，并且将这些URL放进 已抓取URL队列 。
分析网页中包含的其他URL，并且将URL放入 待抓取URL队列，从而进入下一个循环....

PS : 搜索引擎如何获取一个新网站的URL：

新网站向搜索引擎主动提交网址：（如百度http://zhanzhang.baidu.com/linksubmit/url）

在其他网站上设置新网站外链（尽可能处于搜索引擎爬虫爬取范围）

搜索引擎和DNS解析服务商(如DNSPod等）合作，新网站域名将被迅速抓取。

Robots协议（也叫爬虫协议、机器人协议等），全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取，例如：

淘宝网：https://www.taobao.com/robots.txt

腾讯网： http://www.qq.com/robots.txt

同时会根据页面的PageRank值（链接的访问量排名）来进行网站排名，这样Rank值高的网站在搜索结果中会排名较前，当然也可以直接使用 Money 购买搜索引擎网站排名，简单粗暴。

网站其实是用的爬虫爬的别的网站的信息，处理后放到数据库里，然后通过自己的前端页面将数据展示出来，通过广告、会员等形式进行流量变现实现盈利。如搜索引擎百度，天眼查，AGE动漫网等等。

网络爬虫就是从这个巨大复杂的网络体中，根据给定的策略，抓取所需要的内容

used = set() # 设置一个集合，保存已经抓取过的URL
storage = {}
while len(queue) > 0 and count > 0 :
try:
url = queue.pop(0)
html = requests.get(url).text
storage[url] = html #将已经抓取过的URL存入used集合中
used.add(url)
new_urls = r.findall(html) # 将新发行未抓取的URL添加到queue中
print(url+"下的url数量为："+str(len(new_urls)))
for new_url in new_urls:
if new_url not in used and new_url not in queue:
queue.append(new_url)
count -= 1
except Exception as e :

我们可以感受下一个一级网页到下一级网页的链接能有多么多

从网络爬虫的角度来看，整个互联网可以划分为：

在网络爬虫的组成部分中，待抓取URL队列是最重要一环
待抓取队列中的URL以什么样的顺序排列，这涉及到页面抓取的先后问题
决定待抓取URL排列顺序的方法，成为抓取策略
网络爬虫使用不同的抓取策略，实质是使用不同的方法确定待抓取URL队列中URL的先后顺序
爬虫的多种抓取策略目标基本一致：优先抓取重要的网页
网页的重要想，大多数采用网页的流动性来进行度量

、数据抓取策略
非完全PageRank策略
OCIP策略
大站优先策略
合作抓取策略
图遍历算法策略

PageRank策略算法基于以下的思想对网页的重要性进行评分：
①一个网页被很多其他网页链接，该网页比较重要，PageRank分数回相对较高
② 一个PageRank分数高的网页链接到一个其他的网页，被链接到的网页的PageRank分数会相应提高

PageRank算法计算的对象是整个互联网页面的集合；而非完全PageRank策略则关注的是以下的页面集合：
①网络爬虫已经下载的页面
②待抓取URL队列的URL
之后由两者组成的页面子集中，计算PageRank分数
根据PageRank分数，按照从高到低的顺序，将待抓取URL队列重排，形成新的待抓取URL队列

重要的网页往往离种子站点距离较近
互联网的深度没有那么深，但却出乎意料地宽广

将新下载网页中发现的链接直接插入待抓取URL队列的末尾。也就是指网络爬虫会先抓取起始网页中链接的所有网页
再选择其中一个链接网页，继续抓取在此网页中链接的所有网页
广度优先策略从根节点开始，尽可能访问离根节点最近的节点