关键词：
ps：由于公司网站配置的测试环境被百度爬虫抓取，干扰了线上正常环境的使用，刚好看到每次搜索淘宝时，都会有一句由于robots.txt文件存在限制指令无法提供内容描述，于是便去学习了一波
1.原来一般来说搜索引擎爬取网站时都会，先读取下robots.txt文件，并依照里面所设定的规则去爬取网站（当然是指没用登录限制的页面）
2.下面我们就来说一说如何设置robots.txt文件
1）.robots.txt文件必须是放在文件根目录上：
例如：
├─admin
│ └─templates
│ header.tpl.php
│ task_add.tpl.php
│ └─robots.txt
2 ) .首先常用的命令为
User-agent : 可以具体制定User-agent适用，即搜索引擎的名字，如果为 * 的话则为通配
Disallow : 可以设定档案或文件夹，不允许被爬虫爬取，且为 / 时禁止爬取整站 ，也可以指定文件路径，不可爬取
Crawl-delay: 延时爬取，防止爬虫短时间内爬取网站过快导致网站崩溃，则可以设置该延时
Allow : 允许爬取指定页面， 为 / 时爬取整站
3） 搜索引擎别称
Googlebot 谷歌
Baiduspider 百度
等等
类似我们测试环境就设置了
User-agent : / 所有搜索引擎
Disallow : / 禁止整站
08_robots协议(代码片段)
...络爬虫排除标准（RobotsExclusionProtocol），用来告诉爬虫和搜索引擎哪些页面可以抓取，哪些不可以抓取。它通常是一个叫作robots.txt的文本文件，一般放在网站的根目录下。当搜索爬虫访问一个站点时，它首先会检查这个站点根目... 查看详情
robots.txt协议(代码片段)
...取的内容Disallow:/home/news/data/#不允许爬取的内容Disallow:/#禁止爬取除了Allow规定页面之外的其他任何界面。以Allow开头URL链接的是可以进行爬取的内容，以Disallow开头的链接是不允许访问爬取的。如果没有robots.txt文件，那么就可以... 查看详情
认识爬虫
爬虫分为两种：1.通用爬虫。2.聚焦爬虫。通用爬虫：搜索引擎用的爬虫系统。一.目标：爬取所有网站的网页下载下来，存放到本地服务器里形成备份。二.抓取流程：a.首选选取一部分已有的url,把这些url放到待爬取队列。b.从队... 查看详情
网站的robots.txt文件
什么是robots.txt？robots.txt是一个纯文本文件，是爬虫抓取网站的时候要查看的第一个文件，一般位于网站的根目录下。robots.txt文件定义了爬虫在爬取该网站时存在的限制，哪些部分爬虫可以爬取，哪些不可以爬取（防君子不防小... 查看详情
爬虫之网页下载(代码片段)
...网站所用技术：利用python第三方模块builtwith能够返回网站使用相关技术。（安装：pipinstallbuiltwith） 下图查看知乎使用的技术：builtwith.parse(‘https://www.zhihu.com‘) 查看网站所有者：... 查看详情
使用爬虫爬取数据违法吗
...虫协议，对网站造成负担，对正常用户造成影响。其次，搜索引擎也是爬虫，爬虫协议就是告诉爬虫怎么爬取可以。最后，没有官方接口或者已经下架的接口，爬取这些信息肯定是违法的，轻重而已；当然这是法律意义的，实际... 查看详情
1.认识网络爬虫(代码片段)
...谨记三点：1、遵守Robots协议(君子协议)：robots是搜索引擎爬虫协议，也就是你网站和爬虫的协议。简单的理解：robots是告诉搜索引擎，你可以爬取收录我的什么页面，你不可以爬取和收录我的那些页面。rob... 查看详情
4.python爬虫之新建scrapy爬虫项目(抓取和保存)
...一个文件，它保存在网站的服务器中，它的作用是，告诉搜索引擎爬虫，本网站哪些目录下的网页不希望你进行爬取收录。在Scrapy启动后，会在第一时间访问网站的robots.txt文件，然后决定该网站的爬取范围。查看robots.txt可以直... 查看详情
爬虫协议robots
...除标准”(RobotsExclusionProtocol)，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。本文将详细介绍爬虫协议robots 概述 robots.txt文件是一个文本文件，是搜索引擎中访问网站的时候要查看的第一个文... 查看详情
robots协议
...（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。Robots协议的本质是网站和搜索引擎爬虫的沟通方式，用来指导搜索引擎更好地抓取网站内容，而不是作为搜索引擎之间互... 查看详情
如何防止网站被爬虫爬取的几种办法
...处，接下来介绍一下和网络爬虫一同诞生的反爬虫技术，如何才能防止别人爬取自己的网站？1、基于程序本身去防止爬取：作为爬虫程序，爬取行为是对页面的源文件爬取，如爬取静态页面的html代码，可以用jquery去模仿写html，... 查看详情
爬虫的基本知识
...据解析来实现的 #通用爬虫:爬虫程序.爬取数据为搜索引擎提供检索服务#通用爬虫架构:如下图#使搜索引擎获取到你的网站:1).主动提交:https://ziyuan.baidu.com/linksubmit/url2).设置友情链接3).搜索引擎与DNS服务商合作#SEO排名1).花... 查看详情
爬虫要违法了吗？小编告诉大家：守住规则，大胆去爬
...辑它。robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。如何查看采集的内容是的有rebots协议？其实方法很简单。... 查看详情
iis设置文件robots.txt禁止爬虫
robots.txt用于禁止网络爬虫访问网站指定目录。robots.txt的格式采用面向行的语法：空行、注释行（以#打头）、规则行。规则行的格式为：Field:value。常见的规则行：User-Agent、Disallow、Allow行。User-Agent行User-Agent:robot-nameUser-Agent:*Disa... 查看详情
python面试题——爬虫相关
...内容可以爬取哪些不可以爬取。 requests模块中并没有使用硬性的语法对该协议进行生效操作。 在Scrapy框架中在settings.py文件中使用了硬性语法对该协议进行了生效。3、 查看详情
爬虫入门
...是需要注意的是，该协议只是相当于口头的协议，并没有使用相关技术进行强制管制，所以该协议是防君子不防小人。 三、爬虫的流程 四、HTTP协议(1)请求协议 (2)响应协议 查看详情
简析爬虫反爬虫反反爬虫之间的抗衡
...类型分为：通用型爬虫、聚焦型爬虫。通用型爬虫指的是搜索引擎，聚焦型爬虫指的是针对哪家网站做针对性的爬取。接下来分析一下其各自的手段和方法。 反爬手段：IP频率限制，在一定时间内对服务器发起较高频率的网... 查看详情
十urllib库（分析robots协议）
...机器人协议，全名为网络爬虫排除标准，用来告诉爬虫可搜索引擎哪些页面可以抓取，哪些不行，通常是一个叫做robots.txt的文本文件，一般放在网站的根目录当搜索爬虫访问一个站点，它首先会检查站点根目录下是否有robots.txt... 查看详情