正文

阻止社交网络抓取会员链接

 2023-02-24  73

关键词：

【中文标题】阻止社交网络抓取会员链接【英文标题】：Stop social networks from crawling affiliate links 【发布时间】：2014-05-30 17:35:44 【问题描述】：

我已经在整个网络上搜索了解决方案，但没有找到我需要的。这是我的问题

我有一个独特的链接，由用户在 fb、twitter 等社交网络上共享。当在该链接上触发唯一的 ip 点击时，我将奖励用户一些积分，但一旦用户共享链接，我就会看到 7-8 个数据库条目，这些条目来自社交网络爬虫。所以当用户分享fb爬取并生成虚假数据库条目时。不仅是第一次爬行，而且每次都会在固定延迟后爬行并产生问题。我的链接如下所示

kodeinfo.com/user/token/network

请告诉我如何阻止该网络抓取网址

【问题讨论】：

每次我读到“我已经搜索了这么多......”，但我想都没想就知道答案，我应该得到一分钱，我会变得富有。答案：robots.txt 例如如果我搜索“防止爬行”，第一页解释了 robots.txt 的概念。顺便说一句，“防止爬行”是我想到的第一个词组。 【参考方案1】：

Mabye 检查 Facebook 或 twitter 爬虫是否使用特定的 User-Agent 并忽略这些代理。

【讨论】：

【参考方案2】：

您可以尝试在链接上使用rel="nofollow" 属性。理论上，机器人应该尊重这一点，而不是点击链接。

更多信息来自Google。

祝你好运！

【讨论】：

noindex 标签是不是会阻止机器人抓取页面上的链接？

】noindex标签是不是会阻止机器人抓取页面上的链接？【英文标题】：Doesthenoindextagpreventbotsfromcrawlingthelinksonthepage?noindex标签是否会阻止机器人抓取页面上的链接？【发布时间】：2016-06-1402:31:03【问题描述】：如果我有一个带有noi... 查看详情

php在社交网络上分享的链接(代码片段)

查看详情

php从yoast插件获取社交网络链接(代码片段)

查看详情

如何在 React Native 中分享社交网络上的深层链接

】如何在ReactNative中分享社交网络上的深层链接【英文标题】：Howtoshareadeeplinkonsocialnetworksinreactnative【发布时间】：2017-11-0513:44:23【问题描述】：正如标题所说，我想知道是否有办法在社交网络中分享URL深层链接（例如：twitter、... 查看详情

如何在社交网络上实现一个可以让不同人获得 5 次奖励的链接？

】如何在社交网络上实现一个可以让不同人获得5次奖励的链接？【英文标题】：Howtoimplementalinkthatcangetbonusfor5timesbydifferentpeopleonaSocialNetwork?【发布时间】：2010-04-2516:02:18【问题描述】：Facebook上的一些社交游戏允许用户发布指向... 查看详情

如何将 UTF-8 中的网络抓取图像链接编码为 ASCII 但仍有功能链接？

】如何将UTF-8中的网络抓取图像链接编码为ASCII但仍有功能链接？【英文标题】：HowtoencodeawebscrapedimagelinkinUTF-8toASCIIbutstillhaveafunctionallink?【发布时间】：2021-03-1310:34:25【问题描述】：我正在尝试对图像的链接进行网络抓取，以便... 查看详情

htmlhtml：指示网络抓取工具不对网页编制索引，也不抓取网页上的任何链接(代码片段)

查看详情

在社交网络设计中使用外键 - 好/坏？

】在社交网络设计中使用外键-好/坏？【英文标题】：Usingforeignkeysinasocialnetworkdesign-good/bad?【发布时间】：2011-01-1522:33:37【问题描述】：在我的架构中，我已经规范化了我的数据库，并且到处都有FK，因为社交网络中有如此多的... 查看详情

text阻止常见的社交媒体(代码片段)

查看详情

[cqoi2018]社交网络(代码片段)

Description题库链接求\(n\)个点以\(1\)为根的有向生成树个数。\(1\leqn\leq250\)Solution我终于会\(\textttMatrix-Tree\)辣！！写详解是不可能的，直接丢链接。注意的是有向图度数矩阵是入度。Code#include<bits/stdc++.h>usingnamespacestd;constintN=250... 查看详情

从脚本抓取抓取总是在抓取后阻止脚本执行

】从脚本抓取抓取总是在抓取后阻止脚本执行【英文标题】：Scrapycrawlfromscriptalwaysblocksscriptexecutionafterscraping【发布时间】：2013-01-2412:49:09【问题描述】：我正在按照本指南http://doc.scrapy.org/en/0.16/topics/practices.html#run-scrapy-from-a-scri... 查看详情

使用python进行网页抓取

...客户创建：这将帮助您了解您的业务中感兴趣的人。社交媒体抓取：部署它可以帮助发现社交媒体趋势研究：通过网络抓取在线研究任何内容非常容易，例如价格、任何相关主题等。如何使用Python执行网页抓取1.... 查看详情

一页上有许多社交网络的分享按钮

】一页上有许多社交网络的分享按钮【英文标题】：Manysharebuttonsforsocialnetworksononepage【发布时间】：2012-04-1410:44:09【问题描述】：我目前正在研究数据库上做一些工作，他们决定希望能够在社交网络（Facebook、Twitter、LinkedIn和Goog... 查看详情

访问社交媒体管理网站上的原始 URL

】访问社交媒体管理网站上的原始URL【英文标题】：GothroughtooriginalURLonsocialmediamanagementwebsites【发布时间】：2017-11-2307:49:45【问题描述】：我正在将网页抓取作为学术项目的一部分，在该项目中，所有链接都必须指向实际内容，... 查看详情

如何在社交媒体应用中阻止 Firebase 上的用户？对于 iOS

】如何在社交媒体应用中阻止Firebase上的用户？对于iOS【英文标题】：HowtoblockusersonFirebaseinasocialmediaapp?foriOS【发布时间】：2018-10-1220:50:34【问题描述】：enterimagedescriptionhere我的应用已经完成了大约90%，并准备发布它，以便发布... 查看详情

婚恋交友网站开发社交聊天平台代码分享

婚恋交友网站是基于网络平台的广泛性、互通性、娱乐性、经济性、安全性等优点，作为一种新兴的网络交流方式出现在网络上。网络交友较之其它交友方式更加经济、安全、健康。网站是用当今比较流行的网站开发技术PHP语言... 查看详情

婚恋交友网站开发社交聊天平台代码分享

婚恋交友网站是基于网络平台的广泛性、互通性、娱乐性、经济性、安全性等优点，作为一种新兴的网络交流方式出现在网络上。网络交友较之其它交友方式更加经济、安全、健康。我们的网站是用当今比较流行的网站开发技术... 查看详情

正文

阻止社交网络抓取会员链接

noindex 标签是不是会阻止机器人抓取页面上的链接？

php在社交网络上分享的链接(代码片段)

php从yoast插件获取社交网络链接(代码片段)

如何在 React Native 中分享社交网络上的深层链接

如何在社交网络上实现一个可以让不同人获得 5 次奖励的链接？

如何将 UTF-8 中的网络抓取图像链接编码为 ASCII 但仍有功能链接？

htmlhtml：指示网络抓取工具不对网页编制索引，也不抓取网页上的任何链接(代码片段)

在社交网络设计中使用外键 - 好/坏？

text阻止常见的社交媒体(代码片段)

[cqoi2018]社交网络(代码片段)

从脚本抓取抓取总是在抓取后阻止脚本执行

使用python进行网页抓取

一页上有许多社交网络的分享按钮

访问社交媒体管理网站上的原始 URL

如何在社交媒体应用中阻止 Firebase 上的用户？对于 iOS

婚恋交友网站开发社交聊天平台代码分享

婚恋交友网站开发社交聊天平台代码分享

创建一个连接到数据库的会员应用程序，我应该学习啥？