可以一次向不同的数据库查询。网页接口的查询工具仍然依赖whois协议向服务器发送查询请求，命令列接口的工具仍然被系统管理员广泛使用。whois通常使用TCP协议43端口。每个域名/IP的whois信息由对应的管理机构保存。

1、证书校验(其实就是https，我们用burp的证书就可以绕过)
2、代理屏蔽(使用okhttp框架，里面可以设置无代理模式，不走系统代理)最常见
3、单向认证，证书绑定(SSL pinning 单边校验)
4、双向认证(安卓并不是很常见)双向认证会影响服务器的性能，其实在安卓中并不常见，代理屏蔽是现在最常见的情况。

解密需要证书。证书是个密码，有密码才能解密
app->目标[他们都有各自的密码]
app -> burp -> 目标[burp是看不懂他们沟通的东西
装证书的核心:让app用burp的证书进行通信
app-> Burp [burp的证书]
burp-> 目标通信[正常的证书]
单向认证:
app会检测和我通信的人的证书是否合法[他内置一本证书]
Burp生成一本和app内置证书一样的证书[工具]

双向认证:(双向认证或者是其他协议)
客户端检测、服务端检测

我们使用charles在Proxy里面把window Proxy取消 然后再Proxy setting里面设置代理

进入系统就是相当于在本地测试了【这里不知道是不是BUG，通过本地搭建的，若依后台接口获取到的IP也是内网的，不是公网IP】
较有趣的就是用户名，用的是小程序的标识作为用户名，o开头的那种字段，28位，只有通过小程序的接口才能获取到

是一台云主机，整个内网就一台主机。很多人可能看到esc，就不想再打了。不过我还是去翻了一下文件夹，把数据库账号也拉下来。

若依默认口令为admin/admin123，结果真的直接进了。
管理员权限，直接上工具探测一下是否有若依的几个漏洞：

在本地测试发现，修改密码处内容是直接写到boss.php文件，并且没有过滤：
接下来我们尝试拿Shell。在账号处插入phpinfo()函数，文件内容变成了这样：

发现个前台 token 可以伪造任意账号登陆，一处后台储存型 XSS，但是那个点管理员基本不会触发，想着顺着这条路挖个昵称处的 XSS ，结果尼玛，POST 参数 img，

通过后台可以看出这个数据应该是APP注册数据，有50多万条记录。用户名应该是随机取名的，后来拿下权限后验证猜测没错：

使用的产品，域名，CDN， os， 服务器， 基本都部署在 阿里云 腾讯云。

Aircrack-ng是帮助WiFi网络的安全性的工具。它用于网络审计，并提供WiFi安全性和控制，还可以作为具有驱动程序和显卡，重放攻击的最佳wifi黑客应用程序之一。通过捕获数据包来处理丢失的密钥。支持的操作系统包括NetBSD，Windows，OS X，Linux和Solaris。

成功抓到模拟器中浏览器的数据包

SQL注入（SQL Injection），是一个常见的发生于应用程序和数据库之间的web安全漏洞，由于在开发过程中的设计不当导致程序中忽略了检查，没有有效的过滤用户的输入，是攻击者可以向服务器提交不正常的访问数据（即恶意的SQL命令代码），程序在接收后错误的将攻击者的输入作为代码语句的一部分执行，导致原始的查询逻辑被改变，额外的执行了攻击者静态构造的恶意代码，从而绕过验证机制和权限检查，达到取得隐藏数据或覆盖关键的参值，甚至执行数据库主机操作系统命令的目的。

接渗透.破解国内外站点数据.爬虫.三网劫持 渗透站点 劫持运营商 web数据爬虫等等业务：

NBNS（NetBios名称服务器）
Bettercap将广播数据包广播到端口137 / UDP，询问其名称为“ CKAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA”。

SSDP（简单服务发现协议）
Bettercap广播的SSDP数据包可搜索所有类型的服务（UDP端口1900）。

WSD（Web服务发现）
Bettercap广播WSD数据包以搜索服务（UDP端口3702）。
ID 姓名 电子邮件 电话 邮编 国家 州/省 帐户创建于 帐单地址 发货地址 出生日期 税号 增值税号 性别 街道地址 城市 帐单名字 帐单姓氏

用了以上的工具，你基本可以解决大部分网站了，算是一个合格的初级爬虫工程师了。这个时候，我们想要进阶就需要面对更复杂的网站爬虫了，这个阶段，你不仅要会后端的知识，还需要了解一些前端的知识，因为很多网站的反爬措施是放在前端的。你需要提取对方站点的js信息，并需要理解和逆向回去，原生的js代码一般不易于阅读，这时，就要它来帮你格式化吧

1.请求地址

https://www.lagou.com/zhaopin/Python/

2.需要爬取的内容

（1）岗位名称

（2）薪资

（3）公司所在地

Chrome属于爬虫的基础工具，一般我们用它做初始的爬取分析，页面逻辑跳转、简单的js调试、网络请求的步骤等。我们初期的大部分工作都在它上面完成，打个不恰当的比喻，不用Chrome，我们就要从智能时代倒退到马车时代

同类工具： Firefox、Safari、Opera

PySpider PySpider是一款基于Python的强大的分布式爬虫框架。它具有简单易用的特点，不需要编写复杂的代码即可完成爬虫任务。PySpider提供了直观的Web界面，方便用户管理和监控爬虫任务。同时，PySpider还支持分布式爬虫，可以快速地爬取大规模的网页数据。

对于现有的搜索引擎来说，还不存在哪个搜索引擎有能力将互联网上出现的所有网页都下载并建立索引，所有搜索引擎只能索引互联网的一部分。而所谓的抓取覆盖率指的是爬虫抓取网页的数量占互联网所有网页数量的比例，覆盖率越高，等价于搜索引擎的召回率越高，用户体验越好。

用户反馈使用手机浏览器打开网页时经常被跳转到色情推广页面，经过抓包分析，发现是由于百度网盟CDN缓存服务器中的关键JS文件被污染注入广告代码，劫持代码根据user-agent头判断流量来源后针对PC、android、iso等平台进行分流弹窗，诱导用户安装“伪色播”病毒APP。