随着互联网信息的“爆炸”，网络爬虫渐渐为人们所熟知，并被应用到了社会生活的众多领域。作为一种自动采集网页数据的技术，很多人其实并不清楚网络爬虫具体能应用到什么场景。事实上，大多数依赖数据支撑的应用场景都离不开网络爬虫，包括搜索引擎、舆情分析与监测、聚合平台、出行类软件等。
搜索引擎是通用网络爬虫最重要的应用场景之一，它会将网络爬虫作为最基础的部分——互联网信息的采集器，让网络爬虫自动到互联网中抓取数据。例如谷歌、百度、必应等搜索引擎都是利用网络爬虫技术从互联网上采集海量的数据。
政府或企业通过网络爬虫技术自动采集论坛评论、在线博客、新闻媒体或微博等网站中的海量数据，采用数据挖掘的相关方法（如词频统计、文本情感计算、主题识别等）发掘舆情热点，跟踪目标话题，并根据一定的标准采取相应的舆情控制与引导措施。例如，百度热点排行榜、微博热搜排行榜。
如今出现的很多聚合平台，如返利网、慢慢买等，也是网络爬虫技术的常见的应用场景，这些平台就是运用网络爬虫技术对一些电商平台上的商品信息进行采集，将所有的商品信息放到自己的平台上展示，并提供横向数据的比较，帮助用户寻找实惠的商品价格。例如，用户在慢慢买平台搜索华为智能手表后，平台上展示了很多款华为智能手表的价格分析及价格走势等信息。
出行类软件，比如飞猪、携程、去哪儿等，也是网络爬虫应用比较多的场景。这类应用运用网络爬虫技术，不断地访问交通出行的官方售票网站刷新余票，一旦发现有新的余票便会通知用户付款买票。不过，官方售票网站并不欢迎网络爬虫的这种行为，因为高频率地访问网页极易造成网站出现瘫痪的情况。
爬虫介绍
爬虫程序通过请求url地址，根据响应的内容进行解析采集数据，就是用代码模拟人的行为，去各各网站溜达、点点按钮、查查数据。或者把看到的数据拿下来。
作用：
通过有效的爬虫手段批量采集数据，可以降低人工成本，提高有效数据量，给予运营/销售的数据支撑，加快产品发展。
爬虫应用领域:
批量采集某个领域的招聘数据，对某个行业的招聘情况进行分析
批量采集某个行业的电商数据，以分析出具体热销商品，进行商业决策 • 采集目标客户数据，以进行后续营销
批量爬取腾讯动漫的漫画，以实现脱网本地集中浏览
开发一款火车票抢票程序，以实现自动抢票
爬取评论，舆情监控
爬取说说信息，分析上线时间
爬虫的合法性:
俗话说：“爬虫爬得欢，监狱要坐穿；数据玩的溜，牢饭吃个够”。
爬虫是否违法视情况而定。
合法的爬虫:
公开的数据，没有标识不可爬取
不影响别人服务器
不影响的业务
不合法的爬虫:
用户数据
部分网站、APP数据超过指定数量
明文规定不让爬取
在域名后加上/robots.txt查看
页面上标明
影响业务
影响服务器
类似DDOS攻击的问题
disallow就是不允许爬虫，allow允许。
但是并非所有网站都会有robots.txt来提供是否允许爬虫的信息，这时候就看自己了哈哈哈哈哈。
我们能爬的数据并不代表合法，需要谨慎判断。
提示:
部分爬虫虽然违法，但公司、或企业不会直接报警。会采用反爬的手段，严重后才会报警。
反爬与反反爬:
反爬：有时企业不想自己的数据被别人拿到。这时就会设置反爬的手段，来不让爬虫获取数据。
反爬虫常用一些手段：
合法检测：请求校验（useragent，referer，接口加签 ，等）
验证码：识别文字、做题、滑动等
小黑屋：IP/用户限制请求频率，或者直接拦截
投毒：反爬虫高境界可以不用拦截，拦截是一时的，投毒返回虚假数据，可以误导竞品决策
反反爬：破解掉反爬手段，再获取其数据。（话说所有的手段都能破解嘛？）
道高一尺魔高一丈，这是一场没有硝烟的战争，程序员VS程序员
http://www.dxsbao.com/shijian/549487.html 点此复制本页地址
