httperror403:forbidden

author author     2022-09-13     394

关键词:

在写网页爬虫的时候,有的网站会有反爬取措施,所以有可能出现上面所示bug

出现bug的地方可能有两处:

1. requests请求时

  requests.get(url),返回结果是403。

  解决方法:

  headers= {

      ‘User-Ageent‘:‘一些字符‘,

      ‘Cookie‘:‘一些字符‘

   }

  requests.get(url, headers=headers),

  此时返回结果应该就是200,正常。加入headers的目的是,模拟人的行为,让服务器认为是人在操作,

  User-Agent, Cookie可以查看网页requests,即可查明,不同网页,Cookie不同

2. urlretrieve下载东西时

  解决方法:

 import urllib.request

opener=urllib.request.build_opener()
opener.addheaders=[(‘User-Agent‘,‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1941.0 Safari/537.36‘)]
urllib.request.install_opener(opener)

url=‘‘
local=‘‘
urllib.request.urlretrieve(url,local)

  原理还不是很清楚,在stackoverflow上找到的,结果正确。

urllib2.httperror:httperror403:forbidden解决方法

参考:https://stackoverflow.com/questions/13303449/urllib2-httperror-http-error-403-forbiddenhttps://segmentfault.com/q/1010000000470724通过测试应该是request中header的问题。1classS0819MtimeTiantangPipeline(object):2 查看详情

httperror403:forbidden

在写网页爬虫的时候,有的网站会有反爬取措施,所以有可能出现上面所示bug出现bug的地方可能有两处:1.requests请求时  requests.get(url),返回结果是403。  解决方法:  headers={      ‘User-Ageent‘:‘一些字符‘, ... 查看详情

OpenURI::HTTPError 403 Forbidden - 打开 S3 上存储的资产的回形针 URL(雾 gem)

】OpenURI::HTTPError403Forbidden-打开S3上存储的资产的回形针URL(雾gem)【英文标题】:OpenURI::HTTPError403Forbidden-openpaperclipurlforassetstoredonS3(foggem)【发布时间】:2013-06-2319:10:15【问题描述】:我调用了我的文档控制器的下载操作,以便... 查看详情

HTTPError:HTTP 错误 403:禁止

】HTTPError:HTTP错误403:禁止【英文标题】:HTTPError:HTTPError403:Forbidden【发布时间】:2012-10-1420:19:29【问题描述】:我制作了一个供个人使用的python脚本,但它不适用于***...这项工作:importurllib2,sysfrombs4importBeautifulSoupsite="http://yout... 查看详情

urllib2.httperror:httperror403:forbidden请高手指点,python菜鸟一枚

源代码如下:importurllib2url=‘xxx’req=urllib2.Request(url)response=urllib2.urlopen(req)the_page=response.read()printthe_page链接指向某网站的ASPX,没有提供给他参数。难道是被当成机器人给屏蔽了?import urllib2,cookielibsite= "http://www.nseindia.com/live_mark... 查看详情

SEC EDGAR 13F 源 HTTPError:HTTP 错误 403:禁止

】SECEDGAR13F源HTTPError:HTTP错误403:禁止【英文标题】:SECEDGAR13FsourceHTTPError:HTTPError403:Forbidden【发布时间】:2022-01-1822:39:33【问题描述】:请帮助,SECEDGAR一直到现在都可以完美运行。它给出了HTTPError:HTTPError403:Forbiddenimportpandasaspd... 查看详情

Google Roads API - HTTP 错误 403:禁止

...GoogleRoadsAPI-HTTP错误403:禁止【英文标题】:GoogleRoadsAPI-HTTPError403:Forbidden【发布时间】:2021-06-2214:31:28【问题描述】:背景和问题:我正在尝试使用GoogleRoadsAPI提取某些道路的速度限制。当我尝试执行网站上描述的basicexample时,... 查看详情

urllib2.HTTPError:HTTP 错误 403:禁止

】urllib2.HTTPError:HTTP错误403:禁止【英文标题】:urllib2.HTTPError:HTTPError403:Forbidden【发布时间】:2012-10-2911:59:58【问题描述】:我正在尝试使用python自动下载历史股票数据。我尝试打开的URL以CSV文件响应,但我无法使用urllib2打开... 查看详情

IIS 10.0 HTTP 错误 403.0 - 禁止

】IIS10.0HTTP错误403.0-禁止【英文标题】:IIS10.0HTTPError403.0-Forbidden【发布时间】:2017-01-1717:12:36【问题描述】:Windows10、IIS10.0、localhost,正在请求我的.aspx文件。我不断收到以下错误:HTTPError403.0-Forbidden.Youdonothavepermissiontoviewthisdir... 查看详情

来自 Python AppEngine 的 Google Url Shortener API:HTTPError:HTTP 错误 403:禁止

】来自PythonAppEngine的GoogleUrlShortenerAPI:HTTPError:HTTP错误403:禁止【英文标题】:GoogleUrlShortenerAPIfromPythonAppEngine:HTTPError:HTTPError403:Forbidden【发布时间】:2014-09-1018:34:16【问题描述】:我在AppEngine生产环境中使用GoogleURLShortenerAPI时... 查看详情

HTTP 错误 403.14 - 禁止。 ASP.NET MVC

】HTTP错误403.14-禁止。ASP.NETMVC【英文标题】:HTTPError403.14-Forbidden.Asp.NETMVC【发布时间】:2017-01-2214:18:19【问题描述】:我正在尝试在IIS10(Windows10机器)上本地托管一个ASP.NETMVC项目。但是当我尝试访问该站点时,我收到“HTTPError... 查看详情

403 - 禁止:访问被拒绝。 ASP.Net MVC [重复]

...011-02-1719:38:14【问题描述】:可能重复:ASPMVCinIIS7resultsin:HTTPError403.14-Forbidden我在服务器上发布了我的应用程序。当我输入我的域时,我收到了这个错误:403-禁止:访问被拒绝。您无权使 查看详情

HTTP 错误 403 - 禁止

】HTTP错误403-禁止【英文标题】:HTTPError403-Forbidden【发布时间】:2011-07-1212:32:05【问题描述】:当我在asp.net3.5上开始调试时。浏览器显示以下消息*“/attn-web”应用程序中的服务器错误。。版本信息:ASP.NETDevelopmentServer9.0.0.0*【... 查看详情

从服务器而不是浏览器访问 API 时出现 403 错误

...on和urllib2访问BuxferRESTAPI。问题是我得到以下响应:urllib2.HTTPError:HTTPError403:Forbidden但是当我通过浏览器尝试相同的调用时, 查看详情

66 边缘错误:HTTP403 FORBIDDEN

】66边缘错误:HTTP403FORBIDDEN【英文标题】:66Edgeerrors:HTTP403FORBIDDEN【发布时间】:2016-03-2616:42:53【问题描述】:HTTP403:FORBIDDEN-Theserverunderstoodtherequest,butisrefusingtofulfillit.(XHR):GET-https://netdna.bootstrapcdn.com/bootstrap/3.3 查看详情

.htaccess RewriteRule 导致 403 Forbidden

】.htaccessRewriteRule导致403Forbidden【英文标题】:.htaccessRewriteRulecausing403Forbidden【发布时间】:2012-04-2113:06:24【问题描述】:我正在尝试在我的网络主机(Dreamhost)上安装RecessPHPframework。它包括以下.htaccess:OptionsFollowSymLinksRewriteEngineO... 查看详情

Windows Azure 队列返回 403 Forbidden

】WindowsAzure队列返回403Forbidden【英文标题】:WindowsAzureQueuereturns403Forbidden【发布时间】:2014-06-1515:30:26【问题描述】:使用以下代码(我已经混淆了实际凭据):CloudStorageAccountcloudStorageAccount=newCloudStorageAccount(newStorageCredentials(use... 查看详情

Apache 动态虚拟主机 - 403 Forbidden

】Apache动态虚拟主机-403Forbidden【英文标题】:ApacheDynamicVirtualHosts-403Forbidden【发布时间】:2011-10-1608:48:22【问题描述】:我正在尝试在我的MacBook(运行LionOS)上配置Apache服务器来处理动态虚拟主机。我已经设法让它“工作”,... 查看详情