网络爬虫又分为善意爬虫和恶意爬虫。善意爬虫具有促进数据共享的正面影响，而恶意爬虫极有可能造成数据泄露、侵权、

恶意爬虫流量进行追踪，并统计出了恶意爬虫流量最大的十大行业。其中，占比最多的是出行行业（20.87%）。分析认为，购票平台数据量庞大，尤其在节假日期间，车票、机票、住宿更是供不应求，致使代购票和第三方抢票服务层出不穷，而要做到数据实时刷新，需要大量网络爬虫。

善意爬虫访问流量（24.22%）高于恶意爬虫（20.98%）约三个百分点之外，2014、2015年恶意爬虫访问流量占比分别为36.32%、27.04%，均高于同年的善意爬虫访问流量占比（22.78%、18.16%）。

针对通用爬虫的这些情况，聚焦爬虫技术得以广泛使用。聚焦爬虫，是"面向特定主题需求"的一种网络爬虫程序，它与通用搜索引擎爬虫的区别在于：聚焦爬虫在实施网页抓取时会对内容进行处理筛选，尽量保证只抓取与需求相关的网页数据。

纵观整个互联网，网络爬虫的流量高达37.2%。这些网络爬虫在网络中肆意游走，爬取数据、查看信息，如此循环往复。

按照网络爬虫的功能进行分类，可以分为网页爬虫和接口爬虫（也称API爬虫）