关键词：
0x01 常见的反爬虫
这几天在爬一个网站，网站做了很多反爬虫工作，爬起来有些艰难，花了一些时间才绕过反爬虫。在这里把我写爬虫以来遇到的各种反爬虫策略和应对的方法总结一下。
从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。这里我们只讨论数据采集部分。
一般网站从三个方面反爬虫：用户请求的Headers，用户行为，网站目录和数据加载方式。前两种比较容易遇到，大多数网站都从这些角度来反爬虫。第三种一些应用ajax的网站会采用，这样增大了爬取的难度。
0x02 通过Headers反爬虫
从用户请求的Headers反爬虫是最常见的反爬虫策略。很多网站都会对Headers的User-Agent进行检测，还有一部分网站会对Referer进行检测（一些资源网站的防盗链就是检测Referer）。如果遇到了这类反爬虫机制，可以直接在爬虫中添加Headers，将浏览器的User-Agent复制到爬虫的Headers中；或者将Referer值修改为目标网站域名。对于检测Headers的反爬虫，在爬虫中修改或者添加Headers就能很好的绕过。
0x03 基于用户行为反爬虫
还有一部分网站是通过检测用户行为，例如同一IP短时间内多次访问同一页面，或者同一账户短时间内多次进行相同操作。
大多数网站都是前一种情况，对于这种情况，使用IP代理就可以解决。可以专门写一个爬虫，爬取网上公开的代理ip，检测后全部保存起来。这样的代理ip爬虫经常会用到，最好自己准备一个。有了大量代理ip后可以每请求几次更换一个ip，这在requests或者urllib2中很容易做到，这样就能很容易的绕过第一种反爬虫。
对于第二种情况，可以在每次请求后随机间隔几秒再进行下一次请求。有些有逻辑漏洞的网站，可以通过请求几次，退出登录，重新登录，继续请求来绕过同一账号短时间内不能多次进行相同请求的限制。
0x04 动态页面的反爬虫
上述的几种情况大多都是出现在静态页面，还有一部分网站，我们需要爬取的数据是通过ajax请求得到，或者通过JavaScript生成的。首先用Firebug或者HttpFox对网络请求进行分析。如果能够找到ajax请求，也能分析出具体的参数和响应的具体含义，我们就能采用上面的方法，直接利用requests或者urllib2模拟ajax请求，对响应的json进行分析得到需要的数据。
能够直接模拟ajax请求获取数据固然是极好的，但是有些网站把ajax请求的所有参数全部加密了。我们根本没办法构造自己所需要的数据的请求。我这几天爬的那个网站就是这样，除了加密ajax参数，它还把一些基本的功能都封装了，全部都是在调用自己的接口，而接口参数都是加密的。遇到这样的网站，我们就不能用上面的方法了，我用的是selenium+phantomJS框架，调用浏览器内核，并利用phantomJS执行js来模拟人为操作以及触发页面中的js脚本。从填写表单到点击按钮再到滚动页面，全部都可以模拟，不考虑具体的请求和响应过程，只是完完整整的把人浏览页面获取数据的过程模拟一遍。
用这套框架几乎能绕过大多数的反爬虫，因为它不是在伪装成浏览器来获取数据（上述的通过添加 Headers一定程度上就是为了伪装成浏览器），它本身就是浏览器，phantomJS就是一个没有界面的浏览器，只是操控这个浏览器的不是人。利用 selenium+phantomJS能干很多事情，例如识别点触式（12306）或者滑动式的验证码，对页面表单进行暴力破解等等。它在自动化渗透中还 会大展身手，以后还会提到这个。
出处：http://www.admin10000.com/document/6992.html
常见的反爬虫和应对方法
0x01常见的反爬虫这几天在爬一个网站，网站做了很多反爬虫工作，爬起来有些艰难，花了一些时间才绕过反爬虫。在这里把我写爬虫以来遇到的各种反爬虫策略和应对的方法总结一下。从功能上来讲，爬虫一般分为数据采集，... 查看详情
网站常见的反爬虫和应对方法(转)
...找到了来自”BSDR“的一篇文章，文章里主要介绍了常见的反爬虫应对方法，下面是正文。常见的反爬虫 这几天在爬一个网站，网站做了很多反爬虫工作，爬起来有些艰难，花了一些时间才绕过 查看详情
爬虫进阶常见的反爬手段和解决方法（建议收藏）
爬虫进阶：常见的反爬手段和解决思路1服务器反爬的原因2服务器常反什么样的爬虫3反爬虫领域常见的一些概念4反爬的三个方向5常见基于身份识别进行反爬5.1通过headers字段来反爬5.2通过请求参数来反爬6常见基于爬虫行为进... 查看详情
常见的反爬机制及应对策略
1.Headers: 从用户的headers进行反爬是最常见的反爬策略,Headers是一种最常见的反爬机制Headers是一种区分浏览器行为和机器行为中最简单的方法，还有一些网站会对Referer（上级链接）进行检测从而实现爬虫。 相应的解决措施... 查看详情
pythonscrapy反爬虫常见解决方案（包含5种方法）(代码片段)
爬虫的本质就是“抓取”第二方网站中有价值的数据，因此，每个网站都会或多或少地采用一些反爬虫技术来防范爬虫。比如前面介绍的通过User-Agent请求头验证是否为浏览器、使用 JavaScript动态加载资源等，这些都是... 查看详情
爬虫抓取技术
...是一个见招拆招的过程，但总体来说，以下方法可以绕过常见的反爬虫。加上headers。这是最基础的手段。加上了请求头就可以伪装成浏览器，混过反爬的第一道关卡；反之 查看详情
如何使用python解决网站的反爬虫
1、从用户请求的Headers反爬虫是最常见的反爬虫策略。伪装header。很多网站都会对Headers的User-Agent进行检测，还有一部分网站会对Referer进行检测（一些资源网站的防盗链就是检测Referer）。如果遇到了这类反爬虫机制，可以直接在... 查看详情
常见的反爬措施：ua反爬和cookie反爬(代码片段)
本文分享自华为云社区《Python爬虫反爬，你应该从这篇博客开启，UA反爬，Cookie特定参数反爬》，作者：梦想橡皮擦。通过前面的爬虫程序，你或许已经注意到，对于目标站点来说，爬虫程序是机器... 查看详情
爬虫过程中如何有效的应对ip限制?
...买，然后通过代码转换，创建一个IP代理池。应对IP限制的反爬虫技术，一定要选择安全性和质量有保证的代理IP软件，比如兔子IP代理，所以IP都是高匿的，保障用户信息安全。兔子动态换IP软件可以实现一键IP自动切换，千万IP... 查看详情
爬虫过程中如何有效的应对ip限制?
...买，然后通过代码转换，创建一个IP代理池。应对IP限制的反爬虫技术，一定要选择安全性和质量有保证的代理IP软件，比如兔子IP代理，所以IP都是高匿的，保障用户信息安全。兔子动态换IP软件可以实现一键IP自动切换，千万IP... 查看详情
超全总结ctf常见的md5绕过漏洞和应对方法(代码片段)
目录MD5函数漏洞PHP特性MD5碰撞绕过md5()来构造攻击语句MD5函数漏洞$str1=$_GET['str1'];$str2=$_GET['str2'];if(md5($str1)==md5($str2))die('OK');php弱类型比较产生的漏洞想要满足这个判断只需要构造出MD5值为0e开头的字... 查看详情
爬虫——爬虫常见操作(代码片段)
目录爬虫中常见操作一、requests的用法1、常见方法2、session方法3、其他方法二、指定响应体编码三、分段获取数据四、SSLCertVerification五、使用代理六、超时设置七、捕获异常八、上传文件爬虫中常见操作一、requests的用法1、常... 查看详情
反反爬虫的技术手段都有哪些?
...虫不遵守robots协议。所有有了保护自己内容不让别人抓取的反爬虫需求--------------------------反爬虫方法1、手工识别和拒绝爬虫的访问2、通过识别爬虫的User-Agent信息来拒绝爬虫3、通过网站流量统计系统和日志分析来识别爬虫4、... 查看详情
爬虫的总结私人日志
基于验证码的反爬虫：简单的验证码可以通过图片解析出来，或通过人工打码（一般需付费）基于Headers的反爬虫：大部分网站会对headers中的User-Agent和Referer字段进行检测。可根据浏览器正常访问的请求头对爬虫的请求头进行修... 查看详情
如何应对网站反爬虫策略？如何高效地爬大量数据
...坑大批量爬取目标网站的内容后,难免碰到红线触发对方的反爬虫机制.所以适当的告警提示爬虫失效是很有必有的.一般被反爬虫后,请求返回的HttpCode为403的失败页面,有些网站还会返回输入验证码(如豆瓣),所以检测到403调 查看详情
python爬虫采集遇到403问题怎么办？
...术A1、通过Headers反爬虫：从用户请求的Headers反爬虫是最常见的反爬虫策略。可以直接在爬虫中添加Headers，将浏览器的User-Agent复制到爬虫的Headers中;或者将Referer值修改为目标网站域名。对于检测Headers的反爬虫，在爬虫中修改或... 查看详情
网页更新爬虫如果应付
...分钟，每一秒互联网的数据都在不停的发生着变化，如果爬虫想要获取实时数据，也要跟随网络节奏不断的进行更新，那么这里犀牛就为大家说说，关于网页更新的问题，爬虫是如何应对的？应对方法第一条，把以往的数据作为... 查看详情
python爬虫中怎么写反爬虫
...通过区分该帐户在短时间内爬行的频率来判断。这种方法的反爬虫也很困难，需要多账户爬行。3、通过访问频率判定爬虫类经常在短时间内多次访问目标网站，反爬虫类机制可以通过单个IP访问的频率来判断是否是爬虫类。这样... 查看详情