善意爬虫访问流量（24.22%）高于恶意爬虫（20.98%）约三个百分点之外，2014、2015年恶意爬虫访问流量占比分别为36.32%、27.04%，均高于同年的善意爬虫访问流量占比（22.78%、18.16%）。
针对通用爬虫的这些情况，聚焦爬虫技术得以广泛使用。聚焦爬虫，是"面向特定主题需求"的一种网络爬虫程序，它与通用搜索引擎爬虫的区别在于：聚焦爬虫在实施网页抓取时会对内容进行处理筛选，尽量保证只抓取与需求相关的网页数据。
针对通用爬虫的这些情况，聚焦爬虫技术得以广泛使用。聚焦爬虫，是"面向特定主题需求"的一种网络爬虫程序，它与通用搜索引擎爬虫的区别在于：聚焦爬虫在实施网页抓取时会对内容进行处理筛选，尽量保证只抓取与需求相关的网页数据。
网络通信由两部分组成:客户端请求消息与服务器响应消息
1.当我们在浏览器输入URL https://www.baidu.com的时候，浏览器发送一个Request请求去获取 https://www.baidu.com 的html文件，服务器把Response文件对象发送回给浏览器。
2.浏览器分析Response中的HTML，发现其中引用了很多其他文件，比如Images文件，CSS文件，JS文件。浏览器会自动再次发送Request去获取图片，CSS文件，或者JS文件。
3.当所有的文件都下载成功后，网页会根据HTML语法结构，完整的显示出来了。
实际上我们通过学习爬虫技术爬取数据，也是向服务器请求数据,获取服务器响应数据的过程。
1.当我们在浏览器输入URL https://www.baidu.com的时候，浏览器发送一个Request请求去获取 https://www.baidu.com 的html文件，服务器把Response文件对象发送回给浏览器。
2.浏览器分析Response中的HTML，发现其中引用了很多其他文件，比如Images文件，CSS文件，JS文件。浏览器会自动再次发送Request去获取图片，CSS文件，或者JS文件。
3.当所有的文件都下载成功后，网页会根据HTML语法结构，完整的显示出来了。
实际上我们通过学习爬虫技术爬取数据，也是向服务器请求数据,获取服务器响应数据的过程。
❤1
网络爬虫技术的原理涉及三部分：Python编程基础、HTML网页基础、HTTP原理以及Requests库，首先，我们既然要使用Python编写爬虫，自然要掌握Python的基础编程知识；其次，我们的爬虫是从互联网的网页上抓取信息，所以要对目的网页有一定的了解，即HTML网页基础；最后，爬虫程序要处理和web站点进行的请求与响应，所以还要了解HTTP的通信原理以及Python中用来处理HTTP请求和响应的Requests库。
❤1
向对象是相对于面向过程而言的。比如C语言、Shell语言就是面向过程的，面向过程是一件事“该怎么做”，编程的时候把解决问题的步骤分析出来，然后用函数把这些步骤实现；面向对象是一种以“对象”为中心的编程思想，把要解决的问题分解成各个对象，建立对象的目的不是为了完成一个步骤，而是为了描叙某个对象在整个解决问题的步骤中的属性和行为，面向对象是一件事“该让谁来做”，这个“谁”就是对象，他要怎么做是他自己的事，反正最后一群对象合力能把事做好就行了。至于解释型语言，我们在编程时使用的是高级语言，计算机不能直接理解高级语言，只能理解和运行机器语言，所以必须要把高级语言翻译成机器语言，计算机才能运行高级语言所编写的程序。解释型语言的优点是可跨平台运行，缺点则是运行时需要源代码，知识产权保护性差，运行效率低。
HTML 标签 (HTML tag)由尖括号包围，通常是成对出现的，比如 <header> 和 </header>，<body>和</body>，在我们抓取图片的爬虫程序中，就需要获得img标签后面的图片url链接来下载图片。
我们在编写爬虫时构建HTTP的请求并处理HTTP的响应，如果从零开始，效率非常低，所以就需要用到Python中的Request库。Requests是一种常用的http请求库，可以方便地发送http请求并处理响应结果，极大地提高了效率。
我们在编写爬虫时构建HTTP的请求并处理HTTP的响应，如果从零开始，效率非常低，所以就需要用到Python中的Request库。Requests是一种常用的http请求库，可以方便地发送http请求并处理响应结果，极大地提高了效率。
第一步是洞察目标网页并且完成Python网络爬虫的编写；
第二步是ECS运行Python爬虫并用RDS存储文本数据；
第三步是使用OBS存储抓取的图片。
第二步是ECS运行Python爬虫并用RDS存储文本数据；
第三步是使用OBS存储抓取的图片。