关键词：
【中文标题】拒绝直接访问 sitemap.xml（仅允许搜索机器人）【英文标题】：Deny direct access to sitemap.xml (Allow only search bots) 【发布时间】：2021-06-30 21:37:29 【问题描述】：我在 Apache 2.4 上，需要限制用户对 sitemap_index.xml 的直接访问，只允许已知的机器人访问站点地图，你能帮我用一些 .htaccess 规则吗？
【问题讨论】：
【参考方案1】：您可以添加一个规则，根据正在使用的用户代理阻止对站点地图的访问，这当然不是很安全，因为用户总是可以将用户代理设置为其他内容，但这可能适用于您的特定情况：
RewriteEngine On
# Check so we have a user-agent equal to 'googlebot'
RewriteCond %HTTP_USER_AGENT !googlebot$ [NC]
# If the user-agent is not correct we return a 403: Forbidden
RewriteRule ^sitemap\.xml - [F,L]
您可以简单地更改上述条件以包含您想要包含的任何用户代理，例如：
RewriteCond %HTTP_USER_AGENT !^(googlebot|spider|foo)$ [NC]
以上将允许用户代理设置为 googlebot、spider 或 foo 的请求访问 sitemap.xml 文件。
【讨论】：
拒绝直接访问文件，但允许 htaccess 中的查询字符串
】拒绝直接访问文件，但允许htaccess中的查询字符串【英文标题】：Denydirectaccesstofilesbutallowquerystringsinhtaccess【发布时间】：2013-05-1411:21:29【问题描述】：所以我浏览了所有的htaccess解决方案，但没有一个适合我的场景......基本上... 查看详情
什么是sitemap？
sitemap是什么？sitemaps是网站地图的意思。网站地图是为便于搜索引擎抓取和用户更方便地找到自己需要的内容而设计的，它分两种，分别用于用户导航和搜索引擎收录：1、sitemap.xml格式网站地图sitemap.xml格式网站地图为：方便搜... 查看详情
百度添加sitemap.xml提示“索引型不予处理”的解决办法
百度添加Sitemap.xml提示“索引型不予处理”的解决办法 2020年7月8日，搜索学院发布关于sitemap提交方式优化公告尊敬的搜索合作伙伴：为了提升sitemap文件的处理效率，即日起搜索资源平台的普通收录和死链提交工具均不再支... 查看详情
.htaccess 拒绝访问图像文件夹，但允许访问查看单个图像
】.htaccess拒绝访问图像文件夹，但允许访问查看单个图像【英文标题】：.htaccessDenyaccestotheimagefolder,butallowaccestoviewsingleimages【发布时间】：2016-10-3120:16:46【问题描述】：我可以配置一个拒绝直接访问“/images”但必须允许“/images/... 查看详情
拒绝使用 htaccess 直接访问文件
】拒绝使用htaccess直接访问文件【英文标题】：Denydirectaccesstofilesusinghtaccess【发布时间】：2014-05-1120:19:02【问题描述】：我的网站中有以下目录结构，/public_html/public_html/admin//public_html/admin/js//public_html/admin/css/....基本上我想禁止... 查看详情
php生成sitemap.xml地图文件(代码片段)
文章目录前言什么是Sitemap？sitemap文件遵循指南xml格式详解实战代码sitemap组件代码调用sitemap组件仓库地址实战截图相关问题Sitemap提交后，多久能被百度处理？提交的Sitemap都会被百度抓取并收录吗？XML格式的Sitemap... 查看详情
php生成sitemap.xml地图文件(代码片段)
文章目录前言什么是Sitemap？sitemap文件遵循指南xml格式详解实战代码sitemap组件代码调用sitemap组件仓库地址实战截图相关问题Sitemap提交后，多久能被百度处理？提交的Sitemap都会被百度抓取并收录吗？XML格式的Sitemap... 查看详情
php生成sitemap.xml地图文件(代码片段)
文章目录前言什么是Sitemap？sitemap文件遵循指南xml格式详解实战代码sitemap组件代码调用sitemap组件仓库地址实战截图相关问题Sitemap提交后，多久能被百度处理？提交的Sitemap都会被百度抓取并收录吗？XML格式的Sitemap... 查看详情
仅允许某些用户访问某些文件夹/文件
】仅允许某些用户访问某些文件夹/文件【英文标题】：allowaccesstocertainfolder/filesonlyforsomeusers【发布时间】：2012-05-2600:37:02【问题描述】：我有一个Weblication，它只向某些用户提供对某些页面的访问权限。现在这些页面上链接了一... 查看详情
网站地图sitemap.xml自动更新lastmod文件（php代码）-更新
上一遍《网站地图sitemap.xml自动更新lastmod文件（PHP代码）》代码在实际应用中并不理想，在浏览器中访问后，过一会就出现500的错误，不能实现夜间或者凌晨变更日期的目的。对代码进行了更新，把更新后的php页面在index.php中被... 查看详情
帝国cms怎么制作sitemap.xml和baidumap.xml网站地图
参考技术A直接使用帝国cms提供的sitemap插件，官网上有的，你搜下 查看详情
php生成sitemap.xml地图文件(代码片段)
文章目录前言什么是Sitemap？sitemap文件遵循指南xml格式详解实战代码sitemap组件代码调用sitemap组件仓库地址实战截图相关问题Sitemap提交后，多久能被百度处理？提交的Sitemap都会被百度抓取并收录吗？XML格式的Sitemap... 查看详情
win10系统安装虚拟机提示无法打开配置文件，拒绝访问
解决法:1、找到虚拟机相对应的“***.VMX文件”（我的是“Ubuntu10.04.VMX文件”）；2、用记事本打开它，找到这一行:vmci0.present="TRUE"将TRUE改为FALSE或者直接将这行删除。3、保存此虚拟机的.vmx文件。4、重新运行虚拟机。问题... 查看详情
设置目录安全性以允许用户并拒绝所有用户
】设置目录安全性以允许用户并拒绝所有用户【英文标题】：Settingdirectorysecuritytoallowuseranddenyall【发布时间】：2010-06-0714:57:08【问题描述】：我有winforms应用程序，我需要在其中访问安全目录。我正在使用模拟并创建WindowsIdentity... 查看详情
拒绝对 WAMP 文件夹中所有文件的直接访问（下载）
】拒绝对WAMP文件夹中所有文件的直接访问（下载）【英文标题】：DenyingDirectAccess(Download)toallfileswithinafolderinWAMP【发布时间】：2013-06-2822:07:03【问题描述】：我正在创建一个视频共享网站，其中视频由注册用户上传，并通过检查... 查看详情
如何限制用户仅通过https方式访问oss？
...全漏洞。大型企业客户都要求使用HTTPS方式访问OSS，并且拒绝HTTP访问请求。目前OSS可以通过RAMpolicy方式实现：限制某个用户、角色拒绝通过HTTP协议访问指定的Bucket和对象。但是RAMPolicy是一种基于用户的授权方式，无法针对资源... 查看详情
如何设置nginx，使得其可以拒绝某些ip连接
nginx拒绝或允许指定IP,是使用模块HTTP访问控制模块（HTTPAccess）.控制规则按照声明的顺序进行检查，首条匹配IP的访问规则将被启用。location/deny192.168.1.11;allow192.168.1.22/224;allow10.1.1.12/126;denyall;deny表示拒绝，allow表示允许。上面的... 查看详情
生成多sitemap文件
Thinkphp生成多sitemap文件 我们知道sitemap对于seo的重要性，很多介绍只生成一个文件sitemap.xml，但是如果网站内容比较多，就要生成多个sitemap文件，因为搜索引擎对sitemap文件大小和条数有限制，比如google对每个sitemap文件的... 查看详情