IP 地址是网络上用于识别设备的唯一地址。有了 IP 地址，支持 Internet 协议的不同设备就可以相互通信。

本地 DNS 缓存执行“查找”以查看结果是否已缓存，如果已缓存则检索并返回。
如果本地 DNS 缓存为空，则解析器可能具有所请求信息的缓存副本，因此无需经历整个 DNS“查找”过程；如果不是这种情况，则 DNS 解析器将经历标准 DNS“查找”过程并缓存并在完成后返回结果。

DNS（Domain Name System）域名管理系统，是当用户使用浏览器访问网址之后，使用的第一个重要协议。DNS 要解决的是域名和 IP 地址的映射问题

DNS 服务器。根 DNS 服务器提供 TLD 服务器的 IP 地址。目前世界上只有 13 组根服务器，我国境内目前仍没有根服务器

TTL是该记录的生存时间，它决定了资源记录应当从缓存中删除的时间

运营商强制DNS解析
如果前面2个步骤设置了DNS，但是本地看到的DNS和你设置的DNS完全不同，既不是电脑本机设置的DNS，也不是路由器设置的DNS，那就有可能是运营商强制指定了DNS服务器。这样运营商可以屏蔽用户对一些恶意网址的访问，当然，一旦用户欠费了，那么访问任意url，都会跳转到指定的缴费提醒界面

Monitoring→Latestdata→点击Zabbixserver运行脚本，得到一个shell（注：需要在筛选栏hostgroups选择Zabbixservers才能看到1脚本）

用户访问网站或 App 时，会向 DNS 服务器发送请求，解析网站域名对应的 IP 地址。DNS 服务器会返回正确的 IP 地址，用户的设备与目标服务器建立连接并访问网站。
但在 DNS 劫持攻击中，恶意 DNS 服务器会返回错误的 IP 地址，导致用户访问到错误的网站或者无法访问目标网站。
腾讯云官方给出了自查方案，IT之家汇总如下：
首先检查您的路由器的主 DNS 配置是否被修改为了类似以下 IP（包括但不限于以下 IP），如果被修改为了以下 IP，并且辅 DNS 被改为 1.1.1.1，基本可以确定您的家用路由器 DNS 被劫持篡改。

Netcraft Site Report显示目标网站信息如下，包括网站搭建框架和操作系统。

操作系统：Windows Server 2008
Web服务器：Microsoft IIS/7.5

爬虫程序管理是识别和管理网站及在线应用程序上爬虫程序流量的过程。虽然像网络爬虫这样的爬虫程序对业务有益，但许多爬虫程序本质上是恶意程序，应阻止其访问网站和应用程序。在实施爬虫程序管理技术时，务必要选择能够仔细、准确地区分有益爬虫程序和有害爬虫程序的解决方案。不加区别便阻止爬虫程序运行的解决方案可能会无意中阻止网络爬虫，进而降低网站的搜索引擎排名。

爬虫解决方案模块能够缓解自动化工具（如脚本/模拟器等）对网站进行数据爬取、业务作弊/欺诈、撞库/垃圾注册、恶意秒杀/薅羊毛、短信接口滥刷等，有效降低核心数据资产泄露和业务营销活动风险，降低服务器带宽费用和负载。

.1.翻页爬取接口
2.数据列表对页面爬取
3.爬取接口获得行业类型
4.文件下载页面需要图片验证，模拟浏览器完成验证

撞库是利用爬虫程序网络的最有效方式之一。在撞库攻击中，网络犯罪分子使用爬虫程序网络向网站的登录表单内自动注入窃取的用户名密码对，意图寻找一种最终能让他们对 IT 网络或用户帐户进行未授权访问的组合。一个僵尸网络每个小时可以执行成千上万次欺诈性登录尝试，并且在尝试成功时，会导致受害公司及其客户在钱财、隐私信息和信任方面遭受损失。

Akamai Account Protector可提供针对爬虫程序网络、僵尸网络攻击和撞库攻击的出色防护。通过部署高效的检测和爬虫程序抵御技术，Akamai 的解决方案能够实时发现可疑的人和爬虫程序行为，从而阻止撞库攻击、危险爬虫程序及其他帐户接管尝试。

打开浏览器，输入网址url访问页面内容。
复制页面内容的标题、做者、内容
存储到文本文件或者excel。java
从技术角度来讲整个过程主要为网络访问、扣取结构化数据、存储。咱们看一下用java程序如何来实现这一过程。

每三十分钟更换一次 IP，而这些服务器也很便宜，在 100-200 每月，所以大可以搭建一个集群，这样基本上一个 IP 被封之前也基本被换掉了。

要封禁这种用户也很简单，可以看出虽然 IP 在更换，但是基本上还是在一个 B 段之内，一个 B 段也就 6w 个用户，直接封了就行了

目前这样的框架搭建起来基本能够解决大量的抓取需求了。经过界面能够管理资源、反监控规则、网页扣取规则、消息中间件状态、数据监控图表，而且能够经过后台调整资源分配并能动态更新保证抓取不断电。不过若是一个任务的处理特别大，可能须要抓取24个小时或者几天。好比咱们要抓取一条微博的转发，这个转发是30w，那若是每页线性去抓取耗时确定是很是慢了，若是能把这30/拆分不少小任务，那咱们的并行计算能力就会提升不少。不得不提的就是把大型的抓取任务hadoop口话，废话不说直接上图

robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使用robots元数据（Metadata，又称元数据）。

无论是浏览器还是爬虫程序，在向服务器发起网络请求的时候，都会发过去一个头文件：headers，比如知乎的requests headers

这里面的大多数的字段都是浏览器向服务器”表明身份“用的 对于爬虫程序来说，最需要注意的字段就是：User-Agent 很多网站都会建立 user-agent白名单，只有属于正常范围的user-agent才能够正常访问。

服务器端根据字体映射文件先将客户端查询的数据进行变换再传回前端，前端根据字体文件进行逆向解密。

映射方式可以是数字乱序显示，这样爬虫可以爬取数据，但是数据是错误的。

当我们打开蚂蚁短租搜素贵阳市，反馈如下图所示结果
网址为：http://www.mayi.com/guiyang/1/?map=n

1.我们可以看到短租房信息呈现一定规律分布，如图2所示，这也是我们要取的信息

2.通过浏览器查元素，我们可以看到需要爬取每条租房信息都位于<dd></dd>节点下

3.在定位房屋名称，如图4所示。位于<div class="room-detail clearfloat"></div>节点下

4.接下来我们写个简单的BeautifulSoup进行爬取

5.但很遗憾。报错了，说明蚂蚁金融防御措施还是挺到位的。