Monitoring→Latestdata→点击Zabbixserver运行脚本，得到一个shell（注：需要在筛选栏hostgroups选择Zabbixservers才能看到1脚本）

用户访问网站或 App 时，会向 DNS 服务器发送请求，解析网站域名对应的 IP 地址。DNS 服务器会返回正确的 IP 地址，用户的设备与目标服务器建立连接并访问网站。
但在 DNS 劫持攻击中，恶意 DNS 服务器会返回错误的 IP 地址，导致用户访问到错误的网站或者无法访问目标网站。
腾讯云官方给出了自查方案，IT之家汇总如下：
首先检查您的路由器的主 DNS 配置是否被修改为了类似以下 IP（包括但不限于以下 IP），如果被修改为了以下 IP，并且辅 DNS 被改为 1.1.1.1，基本可以确定您的家用路由器 DNS 被劫持篡改。

Netcraft Site Report显示目标网站信息如下，包括网站搭建框架和操作系统。

操作系统：Windows Server 2008
Web服务器：Microsoft IIS/7.5

爬虫程序管理是识别和管理网站及在线应用程序上爬虫程序流量的过程。虽然像网络爬虫这样的爬虫程序对业务有益，但许多爬虫程序本质上是恶意程序，应阻止其访问网站和应用程序。在实施爬虫程序管理技术时，务必要选择能够仔细、准确地区分有益爬虫程序和有害爬虫程序的解决方案。不加区别便阻止爬虫程序运行的解决方案可能会无意中阻止网络爬虫，进而降低网站的搜索引擎排名。

爬虫解决方案模块能够缓解自动化工具（如脚本/模拟器等）对网站进行数据爬取、业务作弊/欺诈、撞库/垃圾注册、恶意秒杀/薅羊毛、短信接口滥刷等，有效降低核心数据资产泄露和业务营销活动风险，降低服务器带宽费用和负载。

.1.翻页爬取接口
2.数据列表对页面爬取
3.爬取接口获得行业类型
4.文件下载页面需要图片验证，模拟浏览器完成验证

撞库是利用爬虫程序网络的最有效方式之一。在撞库攻击中，网络犯罪分子使用爬虫程序网络向网站的登录表单内自动注入窃取的用户名密码对，意图寻找一种最终能让他们对 IT 网络或用户帐户进行未授权访问的组合。一个僵尸网络每个小时可以执行成千上万次欺诈性登录尝试，并且在尝试成功时，会导致受害公司及其客户在钱财、隐私信息和信任方面遭受损失。

Akamai Account Protector可提供针对爬虫程序网络、僵尸网络攻击和撞库攻击的出色防护。通过部署高效的检测和爬虫程序抵御技术，Akamai 的解决方案能够实时发现可疑的人和爬虫程序行为，从而阻止撞库攻击、危险爬虫程序及其他帐户接管尝试。

打开浏览器，输入网址url访问页面内容。
复制页面内容的标题、做者、内容
存储到文本文件或者excel。java
从技术角度来讲整个过程主要为网络访问、扣取结构化数据、存储。咱们看一下用java程序如何来实现这一过程。

每三十分钟更换一次 IP，而这些服务器也很便宜，在 100-200 每月，所以大可以搭建一个集群，这样基本上一个 IP 被封之前也基本被换掉了。

要封禁这种用户也很简单，可以看出虽然 IP 在更换，但是基本上还是在一个 B 段之内，一个 B 段也就 6w 个用户，直接封了就行了

目前这样的框架搭建起来基本能够解决大量的抓取需求了。经过界面能够管理资源、反监控规则、网页扣取规则、消息中间件状态、数据监控图表，而且能够经过后台调整资源分配并能动态更新保证抓取不断电。不过若是一个任务的处理特别大，可能须要抓取24个小时或者几天。好比咱们要抓取一条微博的转发，这个转发是30w，那若是每页线性去抓取耗时确定是很是慢了，若是能把这30/拆分不少小任务，那咱们的并行计算能力就会提升不少。不得不提的就是把大型的抓取任务hadoop口话，废话不说直接上图

robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使用robots元数据（Metadata，又称元数据）。

无论是浏览器还是爬虫程序，在向服务器发起网络请求的时候，都会发过去一个头文件：headers，比如知乎的requests headers

这里面的大多数的字段都是浏览器向服务器”表明身份“用的 对于爬虫程序来说，最需要注意的字段就是：User-Agent 很多网站都会建立 user-agent白名单，只有属于正常范围的user-agent才能够正常访问。

服务器端根据字体映射文件先将客户端查询的数据进行变换再传回前端，前端根据字体文件进行逆向解密。

映射方式可以是数字乱序显示，这样爬虫可以爬取数据，但是数据是错误的。

当我们打开蚂蚁短租搜素贵阳市，反馈如下图所示结果
网址为：http://www.mayi.com/guiyang/1/?map=n

1.我们可以看到短租房信息呈现一定规律分布，如图2所示，这也是我们要取的信息

2.通过浏览器查元素，我们可以看到需要爬取每条租房信息都位于<dd></dd>节点下

3.在定位房屋名称，如图4所示。位于<div class="room-detail clearfloat"></div>节点下

4.接下来我们写个简单的BeautifulSoup进行爬取

5.但很遗憾。报错了，说明蚂蚁金融防御措施还是挺到位的。

其实，如果能看懂JS代码，这样的方式还是很容易破解的，所以需要做以下几个操作来加大破解难度。

对JS加密
使用多个不同的字体文件，然后约定使用指定字体文件方式，比如时间戳取模，这样每次爬取到的数据映射方式都不一样，映射结果就不一样，极大提高了破解的难度。该种方式相比使用加密算法方式难度更高，因为加密算法是固定的几种，对方很容易获取并破解，而字体文件映射可以按任意规则映射，正常的数据使之错误显示，爬虫不容易察觉。

寻找URL的规律，对URL进行构造便可获取所有照片。通过使用selenium来实现模拟用户操作浏览器，然后结合BeautifulSoup等包来解析网页通过这种方法获取数据，简单，也比较直观，缺点是速度比较慢。

因为很多网址都增加了登陆验证，所以需要添加一段利用cookier跳过验证码的操作

1.chrmoe浏览器，F12，把name和value填入cookies

2.任意点击一条网络资源，右侧headers往下翻到底

4.测试访问是否成功

5.访问成功的话进入下一步
一般翻页后查看网址变化就能得出网址规则

6.最后将结果导入csv文件；编码格式utf-8-sig防止乱码

这次的网站，从爬虫的技术角度上来讲，难度不大，而且可以说是非常简单了。但是，它实用啊！你想嘛，早上上班前跑一下爬虫，晚上回家以后已经有几十部最新大片在你硬盘里等着你啦，累了一天躺床上看看电影，这种感觉是不是很爽啊。

爬虫的原理，是通过给定的一个 URL（就是类似于 www.baidu.com 这样的，俗称网址的东东） 请求，去访问一个网页，获取那个网页上的源代码（不知道源代码的，随便打开一个网页，右键，查看网页源代码，出来的一大堆像乱码一样的东西就是网页源代码，我们需要的数据就藏在这些源代码里面）并返回来。

python的requests库只能爬取静态页面，爬取不了动态加载的页面。使用JS加载数据方式，能提高爬虫门槛。

蜘蛛陷阱导致网络爬虫进入无限循环之类的东西，这会浪费蜘蛛的资源，降低其生产力，并且在编写得不好的爬虫的情况下，可能导致程序崩溃。礼貌蜘蛛在不同主机之间交替请求，并且不会每隔几秒钟从同一服务器请求多次文档，这意味着“礼貌”网络爬虫比“不礼貌”爬虫的影响程度要小得多。