关键词：
一般有一下几种一些常用的方法
IP代理
对于IP代理,各个语言的Native Request API都提供的IP代理响应的API, 需要解决的主要就是IP源的问题了.
网络上有廉价的代理IP(1元4000个左右), 我做过简单的测试, 100个IP中, 平均可用的在40-60左右, 访问延迟均在200以上.
网络有高质量的代理IP出售, 前提是你有渠道.
因为使用IP代理后, 延迟加大, 失败率提高, 所以可以将爬虫框架中将请求设计为异步, 将请求任务加入请求队列(RabbitMQ,Kafka,Redis), 调用成功后再进行回调处理, 失败则重新加入队列. 每次请求都从IP池中取IP, 如果请求失败则从IP池中删除该失效的IP.
Cookies
有一些网站是基于cookies做反爬虫, 这个基本上就是如 @朱添一 所说的, 维护一套Cookies池
注意研究下目标网站的cookies过期事件, 可以模拟浏览器, 定时生成cookies
限速访问
像开多线程,循环无休眠的的暴力爬取数据, 那真是分分钟被封IP的事, 限速访问实现起来也挺简单(用任务队列实现), 效率问题也不用担心, 一般结合IP代理已经可以很快地实现爬去目标内容.
一些坑
大批量爬取目标网站的内容后, 难免碰到红线触发对方的反爬虫机制. 所以适当的告警提示爬虫失效是很有必有的.
一般被反爬虫后, 请求返回的HttpCode为403的失败页面, 有些网站还会返回输入验证码(如豆瓣), 所以检测到403调用失败, 就发送报警, 可以结合一些监控框架, 如Metrics等, 设置短时间内, 告警到达一定阀值后, 给你发邮件,短信等.
当然, 单纯的检测403错误并不能解决所有情况. 有一些网站比较奇葩, 反爬虫后返回的页面仍然是200的(如去哪儿), 这时候往往爬虫任务会进入解析阶段, 解析失败是必然的. 应对这些办法, 也只能在解析失败的时候, 发送报警, 当告警短时间到达一定阀值, 再触发通知事件.
当然这个解决部分并不完美, 因为有时候, 因为网站结构改变, 而导致解析失败, 同样回触发告警. 而你并不能很简单地区分, 告警是由于哪个原因引起的. 参考技术A 由于互联网大数据越来越火热，应用Python进行数据收集变成了很多公司分析数据信息的方式，在使用爬虫多次爬取相同平台网站时，通常都会出现被平台网站的反爬虫措施给封禁ip的情况，以便解决这一问题，爬虫工作者通常都是用一下这几种方法：
爬虫代理避免爬虫封禁
1、减慢爬取速度，降低针对目标平台网站造成的压力，但会降低单位时间类的抓取量。
2、伪造cookies，若从浏览器中能够正常访问一个页面，则能够将浏览器中的cookies复制过来应用
3、伪造User-Agent，在请求头中把User-Agent设成浏览器中的User-Agent，来伪造浏览器访问。
4、应用代理商http代理IP，应用代理IP之后能够让爬虫伪装自己的真实IP。
针对python爬虫来说，有时候业务量繁重，分布式爬虫是最好的提升效率方式，而分布式爬虫又迫切需要数目众多的IP资源，这一点免费IP是满足不了的，并且免费代理通常不提供高匿名的代理IP，因此不提议大家应用免费的代理IP。以便节约前期成本而应用免费ip代理，最终只会因为免费ip的劣质而导致苦不堪言，反倒因小失大。 参考技术B 常用办法是使用芝麻爬虫代理来解决ip限制问题，还有设置User-Agent伪装和轮换。 参考技术C 数据信息变得越发重要的时候，我们能够从很多场所去获得数据源，但是要控制好数据收集的方式，今天介绍一下数据收集如何能够避免出现IP封停问题。
先说一下爬虫的分类，爬虫通常可分为三类：
1、传统爬虫：从一个或多个初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放进队列，直到满足系统的一定条件停止操作。
2、聚焦爬虫：工作流程极其复杂，要按照一定的网页分析算法过滤与主题内容不相干的链接，保存有用的连接并将其放进等待抓取的URL队列。随后，它将按照一定的搜索策略从队列中挑选下一步要抓取的网页URL，并重复以上过程，直到达到系统的某一条件时停止。此外，全部被网络爬虫抓取的网页就会被系统存贮，进行一定的分析、过滤，并建立索引，有利于以后的3、查询和检索;相对于聚焦网络爬虫而言，这一过程所得到的分析结果还有可能对以后的抓取过程给出反馈和指导。
爬虫如何解决IP封锁问题，本地按照程序抓取其他人网站内容，如遇封停IP，则可采用以下的方式处理：
1、技术处理：在程序中使用伪装术，不明目张胆地爬，使用代理，使用高级网络爬虫爬取数据信息
2、网络处理；封停IP后，本地IP不能访问该网站，但是设置了代理服务器后，浏览器能够访问该网站，可以在命令行加路由，通常格式为：routeaddIP地址mask子网掩码默认网关前提：把掩码要改成跟上面掩码一样。这个路由重新开机就没有了。能够routeadd-pIP地址mask子网掩码默认网关。这样的话，重新开机都在的。
使用ADSL拨号最大的优点就是：IP不固定，重启下路由就可以换一个新的IP了。而且ISP拥有大量的IP，会分配到和之前相同的IP机率很低。一旦你发现目前的IP被封锁，便能够立刻呼叫相关的API将网络断线并重新拨号，获得新的IP继续执行。
3、简单处理，随时动态更换IP；如果在公司封停IP，则可考虑重启路由，重新获取公网IP，自动更改IP地址反爬虫封锁，支持多线程。 参考技术D 对于爬虫用户而言，网站的反爬机制可以说是他们的头号敌人。反爬机制是为了避免 爬虫爬取数据过于频繁，给服务器造成过重的负担导致服务器崩溃而设置的机制，它其实也有几种不同的方式，下面我们就来说说。
1、根据UA机制识别爬虫。
UA的全称是UserAgent，它是请求浏览器的身份标志，很多网站使用它来是识别爬虫的标志，如果访问请求的头部中没有带UA那么就会被判定为爬虫，但由于这种要针对这种反爬虫机制十分容易，即随机UA，所以这种反爬机制使用的很少。
2、根据访问频率识别爬虫。
爬虫为了保证效率，往往会在很短的时间内多次访问目标网站，所以可以根据单个IP访问的频率来判断是否为爬虫。并且，这种反爬方式比较难以被反反爬机制反制，只有通过更换代理IP来保证效率，IPIDEA提供高匿稳定的IP同时更注重用户隐私的保护，保障用户的信息安全。
3、通过Cookie和验证码识别爬虫。
Cookie就是指会员制的账号密码登陆验证，这就可以根据限制单账号抓取频率来限制爬虫抓取，而验证码完全是随机的，爬虫脚本无法正确识别，同样可以限制爬虫程序。
常见的反爬虫和应对方法
...反爬虫。在这里把我写爬虫以来遇到的各种反爬虫策略和应对的方法总结一下。 从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。这里我们只讨论数据采集部分。 一般网站从三个方面反爬虫：用户请求的Hea... 查看详情
常见的反爬虫和应对方法
...反爬虫。在这里把我写爬虫以来遇到的各种反爬虫策略和应对的方法总结一下。从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。这里我们只讨论数据采集部分。一般网站从三个方面反爬虫：用户请求的Headers，用... 查看详情
常见的反爬虫和应对方法
...反爬虫。在这里把我写爬虫以来遇到的各种反爬虫策略和应对的方法总结一下。从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。这里我们只讨论数据采集部分。一般网站从三个方面反爬虫：用户请求的Headers，用... 查看详情
如何使用python解决网站的反爬虫
1、从用户请求的Headers反爬虫是最常见的反爬虫策略。伪装header。很多网站都会对Headers的User-Agent进行检测，还有一部分网站会对Referer进行检测（一些资源网站的防盗链就是检测Referer）。如果遇到了这类反爬虫机制，可以直接在... 查看详情
反爬虫机制
爬虫用久了，总是会被封的。——鲁迅 有些网站，特别是一些陈年老站，没有做过反爬虫机制的，我们可以尽情地爬，愉快地爬，把它们的底裤。。数据全都爬下来。最多出于情怀考虑，我们爬慢一点，不给它的服务... 查看详情
网站常见的反爬虫和应对方法(转)
...quo;BSDR“的一篇文章，文章里主要介绍了常见的反爬虫应对方法，下面是正文。常见的反爬虫 这几天在爬一个网站，网站做了很多反爬虫工作，爬起来有些艰难，花了一些时间才绕过 查看详情
爬虫过程中如何有效的应对ip限制?
...这个IP给封了，爬虫程序自然也就做不了什么了。那么该如何解决呢?比较成熟的解决方法是：使用IP代理。简单的说，就是通过IP代理，从不同的IP进行访问，这样就不会被封掉IP了。可是IP代理的获取本身就是一个很麻烦的事情... 查看详情
爬虫过程中如何有效的应对ip限制?
...这个IP给封了，爬虫程序自然也就做不了什么了。那么该如何解决呢?比较成熟的解决方法是：使用IP代理。简单的说，就是通过IP代理，从不同的IP进行访问，这样就不会被封掉IP了。可是IP代理的获取本身就是一个很麻烦的事情... 查看详情
反爬虫的所有套路和策略
反爬虫是一种防止网络爬虫抓取网站内容的技术。为了保护网站的数据安全，网站管理员采用了各种策略来阻止或限制爬虫的访问。以下是一些常见的反爬虫策略和相应的例子：User-Agent检查：检查请求头的User-Agent字段来识别爬... 查看详情
如何防止网站被爬虫爬取的几种办法
...处，接下来介绍一下和网络爬虫一同诞生的反爬虫技术，如何才能防止别人爬取自己的网站？1、基于程序本身去防止爬取：作为爬虫程序，爬取行为是对页面的源文件爬取，如爬取静态页面的html代码，可以用jquery去模仿写html，... 查看详情
常见的反爬机制及应对策略
1.Headers: 从用户的headers进行反爬是最常见的反爬策略,Headers是一种最常见的反爬机制Headers是一种区分浏览器行为和机器行为中最简单的方法，还有一些网站会对Referer（上级链接）进行检测从而实现爬虫。 相应的解决措施... 查看详情
抓取新闻网站：异步爬虫实现的流程和细节(代码片段)
...站的数据就更加方便。但是，新闻网站多如牛毛，我们该如何去爬呢？从哪里开爬呢？是我们需要首先考虑的问题。你需要的是异步IO实现一个高效率的爬虫。下面我们就来看看Python3基于asyncio的新闻爬虫，我们如何去高效地实... 查看详情
网站遭受大量cc攻击后的应对策略
上周开始我网站遭受了一大波CC攻击，到目前为止仍在继续，作为一个建站小白，我感觉压力好大，又有新的问题要挑战了！服务器架设在腾讯云，CC攻击很凶猛，带宽瞬间占满，于是在腾讯云后台配置安全组关闭了80端口，流量... 查看详情
反击“猫眼电影”网站的反爬虫策略
...实际情况列举了包括猫眼电影、美团、去哪儿等大型电商网站的反爬虫机制。的确，如文章所说，对于一张网页，我们往往希望它是结构良好，内容清晰的，这样搜索引擎才能准确地认知它；而反过来，又有一些情景，我们不希... 查看详情
关于反爬虫策略
一、为什么要反爬虫1、爬虫占总PV比例较高，这样浪费钱（尤其是三月份爬虫）。三月份爬虫是个什么概念呢？每年的三月份我们会迎接一次爬虫高峰期。最初我们百思不得其解。直到有一次，四月份的时候，我们删除了一个url... 查看详情
如何高效快速地解析大量行格式json文件
】如何高效快速地解析大量行格式json文件【英文标题】：Howtoparselargeamountsoflineformatjsonfilesefficientlyandquickly【发布时间】：2020-10-1001:10:07【问题描述】：情况：我有来自社交媒体网站的大量数据，包含5个月，以数分钟的行格式jso... 查看详情
爬虫与反爬虫技术简介(代码片段)
...提高业务效率。本文一方面从爬虫与反反爬的角度来说明如何高效的对网络上的公开数 查看详情
爬虫难点分析
难点分析1.网站采取反爬策略2.网站模板定期变动3.网站url抓取失败4.网站频繁抓取ip被封 1.网站采取反爬策略》网站默认对方正常访问的方式是浏览器访问而不是代码访问，为了防止对方使用大规模服务器进行爬虫从而导致自... 查看详情