关键词：
在我们的对2016年大数据行业的预测文章《2016年大数据将走下神坛拥抱生活 资本青睐创业机会多》里，我们曾经提到“在2016年，防止网站数据爬取将变成一种生意。”。今天我找到了来自”BSDR“的一篇文章，文章里主要介绍了常见的反爬虫应对方法，下面是正文。
常见的反爬虫
这几天在爬一个网站，网站做了很多反爬虫工作，爬起来有些艰难，花了一些时间才绕过反爬虫。在这里把我写爬虫以来遇到的各种反爬虫策略和应对的方法总结一下。
从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。这里我们只讨论数据采集部分。
一般网站从三个方面反爬虫：用户请求的Headers，用户行为，网站目录和数据加载方式。前两种比较容易遇到，大多数网站都从这些角度来反爬虫。第三种一些应用ajax的网站会采用，这样增大了爬取的难度。
通过Headers反爬虫
从用户请求的Headers反爬虫是最常见的反爬虫策略。很多网站都会对Headers的User-Agent进行检测，还有一部分网站会对Referer进行检测（一些资源网站的防盗链就是检测Referer）。如果遇到了这类反爬虫机制，可以直接在爬虫中添加Headers，将浏览器的User-Agent复制到爬虫的Headers中；或者将Referer值修改为目标网站域名。对于检测Headers的反爬虫，在爬虫中修改或者添加Headers就能很好的绕过。
基于用户行为反爬虫
还有一部分网站是通过检测用户行为，例如同一IP短时间内多次访问同一页面，或者同一账户短时间内多次进行相同操作。
大多数网站都是前一种情况，对于这种情况，使用IP代理就可以解决。可以专门写一个爬虫，爬取网上公开的代理ip，检测后全部保存起来。这样的代理ip爬虫经常会用到，最好自己准备一个。有了大量代理ip后可以每请求几次更换一个ip，这在requests或者urllib2中很容易做到，这样就能很容易的绕过第一种反爬虫。
对于第二种情况，可以在每次请求后随机间隔几秒再进行下一次请求。有些有逻辑漏洞的网站，可以通过请求几次，退出登录，重新登录，继续请求来绕过同一账号短时间内不能多次进行相同请求的限制。
动态页面的反爬虫
上述的几种情况大多都是出现在静态页面，还有一部分网站，我们需要爬取的数据是通过ajax请求得到，或者通过Java生成的。首先用Firebug或者HttpFox对网络请求进行分析。如果能够找到ajax请求，也能分析出具体的参数和响应的具体含义，我们就能采用上面的方法，直接利用requests或者urllib2模拟ajax请求，对响应的json进行分析得到需要的数据。
能够直接模拟ajax请求获取数据固然是极好的，但是有些网站把ajax请求的所有参数全部加密了。我们根本没办法构造自己所需要的数据的请求。我这几天爬的那个网站就是这样，除了加密ajax参数，它还把一些基本的功能都封装了，全部都是在调用自己的接口，而接口参数都是加密的。遇到这样的网站，我们就不能用上面的方法了，我用的是selenium+phantomJS框架，调用浏览器内核，并利用phantomJS执行js来模拟人为操作以及触发页面中的js脚本。从填写表单到点击按钮再到滚动页面，全部都可以模拟，不考虑具体的请求和响应过程，只是完完整整的把人浏览页面获取数据的过程模拟一遍。
用这套框架几乎能绕过大多数的反爬虫，因为它不是在伪装成浏览器来获取数据（上述的通过添加 Headers一定程度上就是为了伪装成浏览器），它本身就是浏览器，phantomJS就是一个没有界面的浏览器，只是操控这个浏览器的不是人。利用 selenium+phantomJS能干很多事情，例如识别点触式（12306）或者滑动式的验证码，对页面表单进行暴力破解等等。它在自动化渗透中还 会大展身手，以后还会提到这个。
常见的反爬虫和应对方法
0x01常见的反爬虫这几天在爬一个网站，网站做了很多反爬虫工作，爬起来有些艰难，花了一些时间才绕过反爬虫。在这里把我写爬虫以来遇到的各种反爬虫策略和应对的方法总结一下。从功能上来讲，爬虫一般分为数据采集，... 查看详情
常见的反爬虫和应对方法
0x01常见的反爬虫这几天在爬一个网站，网站做了很多反爬虫工作，爬起来有些艰难，花了一些时间才绕过反爬虫。在这里把我写爬虫以来遇到的各种反爬虫策略和应对的方法总结一下。从功能上来讲，爬虫一般分为数据采集，... 查看详情
常见的反爬机制及应对策略
...种区分浏览器行为和机器行为中最简单的方法，还有一些网站会对Referer（上级链接）进行检测从而实现爬虫。 相应的解决措施：通过审查元素或者开发者工具获取相应的headers然后把相应的headers传输给python的requests，这样就... 查看详情
爬虫进阶常见的反爬手段和解决方法（建议收藏）
爬虫进阶：常见的反爬手段和解决思路1服务器反爬的原因2服务器常反什么样的爬虫3反爬虫领域常见的一些概念4反爬的三个方向5常见基于身份识别进行反爬5.1通过headers字段来反爬5.2通过请求参数来反爬6常见基于爬虫行为进... 查看详情
pythonscrapy反爬虫常见解决方案（包含5种方法）(代码片段)
爬虫的本质就是“抓取”第二方网站中有价值的数据，因此，每个网站都会或多或少地采用一些反爬虫技术来防范爬虫。比如前面介绍的通过User-Agent请求头验证是否为浏览器、使用 JavaScript动态加载资源等，这些都是... 查看详情
如何使用python解决网站的反爬虫
...的Headers反爬虫是最常见的反爬虫策略。伪装header。很多网站都会对Headers的User-Agent进行检测，还有一部分网站会对Referer进行检测（一些资源网站的防盗链就是检测Referer）。如果遇到了这类反爬虫机制，可以直接在爬虫中添加Head... 查看详情
爬虫抓取技术
...简单的工作。反反爬虫爬虫的固定套路也就那么多，各种网站爬取策略的不同就在于网站的反爬虫机制不同，因此多作试验，摸清网站的反爬机制，是大规模爬虫的先行工作。爬虫与反爬虫是无休止的斗争，也是一个见招拆招的... 查看详情
爬虫过程中如何有效的应对ip限制?
...作等多种问题，所以在爬去数据之前，一定要了解好预爬网站是否涉及违法操作，找到合适的代理IP访问网站等一系列问题。我们都知道如果一个固定的IP在短暂的时间内，快速大量的访问一个网站，那自然会引起注意，管理员... 查看详情
爬虫过程中如何有效的应对ip限制?
...作等多种问题，所以在爬去数据之前，一定要了解好预爬网站是否涉及违法操作，找到合适的代理IP访问网站等一系列问题。我们都知道如果一个固定的IP在短暂的时间内，快速大量的访问一个网站，那自然会引起注意，管理员... 查看详情
反反爬虫的技术手段都有哪些?
...的访问2、通过识别爬虫的User-Agent信息来拒绝爬虫3、通过网站流量统计系统和日志分析来识别爬虫4、网站的实时反爬虫防火墙实现5、通过JS算法，文字经过一定转换后才显示出来，容易被破解。某技术网站采用了这种方法6、通... 查看详情
如何应对网站反爬虫策略？如何高效地爬大量数据
...取IP,如果请求失败则从IP池中删除该失效的IP.Cookies有一些网站是基于cookies做反爬虫,这个基本上就是如@朱添一所说的,维护一套Cookies池注意研究下目标网站的cookies过期事件,可以模拟浏览器,定时生成cookies限速访问像开多线程,循... 查看详情
反击“猫眼电影”网站的反爬虫策略
...实际情况列举了包括猫眼电影、美团、去哪儿等大型电商网站的反爬虫机制。的确，如文章所说，对于一张网页，我们往往希望它是结构良好，内容清晰的，这样搜索引擎才能准确地认知它；而反过来，又有一些情景，我们不希... 查看详情
「python爬虫」：破解网站字体加密和反反爬虫(代码片段)
...猫眼电影票房，汽车之家，天眼查，实习僧等网站。这些网站采用了自定义的字体文件，在浏览器上正常显示，但是爬虫抓取下来的数据要么就是乱码，要么就是变成其他字符，是因为他们采用自定义... 查看详情
python爬虫采集遇到403问题怎么办？
最近使用爬虫程序去爬一些电商网站，但是爬取的效果不怎么好，总是返回403，也使用过代理，是代理的问题，还是程序的问题。各位大神请指教？403是网页状态码，表示访问拒绝或者禁止访问。应该是你触发到网站的反爬虫机... 查看详情
网站反屏蔽常见的六大方法
很多网站管理员可能会遇到这种情况，自己的网站突然之间无法从国内访问了，遇到这种情况后，网站主如何应对，这里速腾数据就介绍几个站长反屏蔽的常见方法。1、网站使用多个IP地址；最简单的方式是使用CDN服务，针对不... 查看详情
反爬虫的所有套路和策略
反爬虫是一种防止网络爬虫抓取网站内容的技术。为了保护网站的数据安全，网站管理员采用了各种策略来阻止或限制爬虫的访问。以下是一些常见的反爬虫策略和相应的例子：User-Agent检查：检查请求头的User-Agent字段来识别爬... 查看详情
如何应对网站反爬虫策略？如何高效地爬大量数据
...面限制。有时候发现抓取的信息内容空白，这是因为这个网站的信息是通过用户的XHR动态返回内容信息。解决这种问题就要爬虫程序对网站进行分析，找到内容信息并抓取，才能获取内容。3、降低IP访问频率。有时候平台为了阻... 查看详情
爬虫的总结私人日志
...过人工打码（一般需付费）基于Headers的反爬虫：大部分网站会对headers中的User-Agent和Referer字段进行检测。可根据浏览器正常访问的请求头对爬虫的请求头进行修改，尽可能和浏览器保持一致。基于用户行为的反爬虫：例同一IP短... 查看详情