网站其实是用的爬虫爬的别的网站的信息，处理后放到数据库里，然后通过自己的前端页面将数据展示出来，通过广告、会员等形式进行流量变现实现盈利。如搜索引擎百度，天眼查，AGE动漫网等等。

网络爬虫就是从这个巨大复杂的网络体中，根据给定的策略，抓取所需要的内容

used = set() # 设置一个集合，保存已经抓取过的URL
storage = {}
while len(queue) > 0 and count > 0 :
try:
url = queue.pop(0)
html = requests.get(url).text
storage[url] = html #将已经抓取过的URL存入used集合中
used.add(url)
new_urls = r.findall(html) # 将新发行未抓取的URL添加到queue中
print(url+"下的url数量为："+str(len(new_urls)))
for new_url in new_urls:
if new_url not in used and new_url not in queue:
queue.append(new_url)
count -= 1
except Exception as e :

我们可以感受下一个一级网页到下一级网页的链接能有多么多

从网络爬虫的角度来看，整个互联网可以划分为：

在网络爬虫的组成部分中，待抓取URL队列是最重要一环
待抓取队列中的URL以什么样的顺序排列，这涉及到页面抓取的先后问题
决定待抓取URL排列顺序的方法，成为抓取策略
网络爬虫使用不同的抓取策略，实质是使用不同的方法确定待抓取URL队列中URL的先后顺序
爬虫的多种抓取策略目标基本一致：优先抓取重要的网页
网页的重要想，大多数采用网页的流动性来进行度量

、数据抓取策略
非完全PageRank策略
OCIP策略
大站优先策略
合作抓取策略
图遍历算法策略

PageRank策略算法基于以下的思想对网页的重要性进行评分：
①一个网页被很多其他网页链接，该网页比较重要，PageRank分数回相对较高
② 一个PageRank分数高的网页链接到一个其他的网页，被链接到的网页的PageRank分数会相应提高

PageRank算法计算的对象是整个互联网页面的集合；而非完全PageRank策略则关注的是以下的页面集合：
①网络爬虫已经下载的页面
②待抓取URL队列的URL
之后由两者组成的页面子集中，计算PageRank分数
根据PageRank分数，按照从高到低的顺序，将待抓取URL队列重排，形成新的待抓取URL队列

重要的网页往往离种子站点距离较近
互联网的深度没有那么深，但却出乎意料地宽广

将新下载网页中发现的链接直接插入待抓取URL队列的末尾。也就是指网络爬虫会先抓取起始网页中链接的所有网页
再选择其中一个链接网页，继续抓取在此网页中链接的所有网页
广度优先策略从根节点开始，尽可能访问离根节点最近的节点

抓取策略关注待抓取URL队列，也就是互联网中的待下载页面的合集
针对已下载的网页来说，互联网实时变化，页面随时会有变化
更新策略决定何时更新之前已经下载过的页面

爬虫管理平台是一个一站式管理系统，集爬虫部署、任务调度、任务监控、结果展示等模块于一体，通常配有可视化 UI 界面，可以在 Web 端通过与 UI 界面交互来有效管理爬虫。爬虫管理平台一般来说是支持分布式的，可以在多台机器上协作运行。

以下是一个典型的爬虫管理平台所涉及的模块。

任务管理：如何执行、调度爬虫抓取任务，以及如何监控任务，包括日志监控等等；
爬虫管理：包括爬虫部署，即将开发好的爬虫部署（打包或复制）到相应的节点上，以及爬虫配置和版本管理；
节点管理：包括节点（服务器/机器）的注册和监控，以及节点之间的通信，如何监控节点性能状况等；
前端应用：包括一个可视化 UI 界面，让用户可通过与其交互，与后台应用进行通信。
当然，有些爬虫管理平台可能还不止这些模块，它可能包括其他比较实用的功能，例如可配置的抓取规则、可视化配置抓取规则、代理池、Cookie 池、异常监控等等。

HTTP劫持的手段有哪些呢？
一般通用的方法都是插入静态脚本或者是HTML Content，或者是将整体替换成Iframe，然后再在顶层的Iframe上进行内容的植入

我们首先阐述所关注的威胁模型。部分网络用户可能选择使用公共DNS服务器，正常情况下，其DNS解析路径如图一蓝线所示。同时，我们假设路径上的某些设备可能会监控用户的DNS请求流量，并且能够劫持和操纵用户的DNS请求。例如，将满足预设条件的DNS请求转发到中间盒子（Middlebox），并使用其他替代的DNS服务器（Alternative resolver）处理用户的DNS请求；最终，中间盒子通过伪造IP源地址的方式将DNS应答包发往终端用户，此时的解析路径如图一红线所示



DNS劫持，入侵 渗透 拖库 攻击 防御 开发等各类服务！

登陆进来之后就可以通过上传war，来获取它的webshell来控制这台机器了！当然可以在已经获取到权限中的主机大量的进行有用信息收集！最好就行把一些凭证信息获取下来，后期可以对其进行复用。




DNS劫持，入侵 渗透 拖库 攻击 防御 开发等各类服务！

ddos它利用大量的互流量使目模何服器或其周图的基設施不退重食，而阻断目模服器、服務或路的正常流量


DNS劫持，入侵 渗透 拖库 攻击 防御 开发等各类服务！

连接到互联网的每个设备都有一个唯一 IP 地址，其他计算机可使用该 IP 地址查找此设备。DNS 服务器使人们无需存储例如 192.168.1.1（IPv4 中）等 IP 地址或更复杂的较新字母数字 IP 地址，例如 2400:cb00:2048:1::c629:d7a2（IPv6 中）

DNS 解析器是 DNS 查找的第一站，其负责与发出初始请求的客户端打交道。解析器启动查询序列，最终使 URL 转换为必要的 IP 地址
DNS劫持，入侵 渗透 拖库 劫持 提权 破解等各类服务！咨询 ：@YaMaa8