P2P 分发 - 用于监督对等点的抽象算法

     2023-02-23     248

关键词:

【中文标题】P2P 分发 - 用于监督对等点的抽象算法【英文标题】:P2P distrubution - abstract algorithm for supervising peers 【发布时间】:2017-02-08 20:32:39 【问题描述】:

我计划使用 BitTorrent 协议制作一个系统,用于在多个站点之间分发 VM 映像。当前系统如下:

                                            |-[room with 20PCs]-
[srv_with_images]-->--[1Gbps-bottlneck]-->--|
                                            |-[2nd room with 20PCs]-

所有的电脑每晚都在通过 1Gbps 的瓶颈下载图像,这需要很多时间。我们计划使用 BitTorrent 通过所有 PC 之间的点对点交换来加速图像的分发。但是有一个问题 - 当图像出现在原始服务器上时,它开始充当所有对等方同时下载文件的单个种子。于是我们又掉进了瓶颈的陷阱。为了加快分发速度,我们需要实现(至少我们认为我们需要)一个抽象的高级算法:

确保当新图像到达时,只有一小部分站点会从源站下载图像, 当一小部分 PC 开始播种时,其余部分或另一大部分 PC 将开始对等,或者它们将仅从班级中的 PC 进行对等,而不是从来源, 它不应该依赖初始对等点的“静态”列表,因为某些计算机可能在白天离线。我们不能假设任何计算机将始终处于启动和运行状态。对等点也可以随时关闭。

是否有任何特定的算法可以帮助我们设计这个?最天真的方法是将活动服务器列表保留在某个地方,并制作一些守护程序,为每个种子选择初始对等点。但也许有一些更优雅的方式来做这类事情?

另一种选择是确保只有一些对等点可以从源下载,而其余对等点确实从彼此下载(但不是从源点下载) - 在 BitTorrent 协议中是否可能?

【问题讨论】:

也许你可以使用Murder,(基于BitTornado),Twitter 开发并使用它来做类似的事情。 Video.Blog.Fork.TF Article. 【参考方案1】:

如果您使用的是 bittorrent,则无需特殊协调。

瓶颈背后的节点可以直接相互通信并共享带宽。使用rarest-first 片段挑选算法将主要确保他们从服务器下载不同的片段,然后相互共享。

LSD 可能有助于加快 lan-local 发现,但如果没有 NAT 恶作剧,它也应该与普通跟踪器一起使用。

【讨论】:

p2p(对等网络)

对等网络,即对等计算机网络,是一种在对等者(Peer)之间分配任务和工作负载的分布式应用架构[1]  ,是对等计算模型在应用层形成的一种组网或网络形式。“Peer”在英语里有“对等者、伙伴、对端”的意义。因此,... 查看详情

是否适合 p2p 应用程序的 TCP 打孔流程:

...口和NAT类型。在我的中间服务器(公共ip)上,我将注册对等点的外部ip/端口(现在服务器知道对等点1和2的外部ip/端口)。交换ip/port(对等体1将了解对等体2的ip/po 查看详情

p2p技术概要

    P2P(PeertoPeer)也就是对等网络,即对等计算机网络,是一种在对等者(Peer)之间分配任务和工作负载的分布式应用架构[1]  ,是对等计算模型在应用层形成的一种组网或网络形式。“Peer”在英语里有“... 查看详情

如何使用包括 CRL 分发点的 openssl 创建证书?

】如何使用包括CRL分发点的openssl创建证书?【英文标题】:HowtocreateacertificateusingopensslincludingaCRLdistributionpoint?【发布时间】:2012-08-1113:27:15【问题描述】:我在使用openssl创建包含用于测试的crl分发点的x509证书时遇到问题。我检... 查看详情

获取 JXTA 对等组中的成员列表

】获取JXTA对等组中的成员列表【英文标题】:GetthelistofmembersinaJXTApeergroup【发布时间】:2011-08-0112:43:20【问题描述】:我只是想知道有没有办法获取已加入JXTA中特定对等组的活动或在线(成员)对等点列表?提前致谢。【问题... 查看详情

android wifi p2p:对等发现过滤

】androidwifip2p:对等发现过滤【英文标题】:androidwifip2p:peersdiscoveryfiltering【发布时间】:2015-05-1713:35:03【问题描述】:我正在我的android应用程序中实现wifip2P(直接wifi),以便在客户端之间共享小文件。我正在关注这些非常好... 查看详情

11.分类与监督学习,朴素贝叶斯分类算法

1.理解分类与监督学习、聚类与无监督学习。简述分类与聚类的联系与区别。简述什么是监督学习与无监督学习。 分类是为了确定点的类别,具体有哪些类别是已知的,是监督学习。聚类是把点成若干类,事先是没有类别的... 查看详情

无线 P2P。通知所有可用的对等点某些事件

】无线P2P。通知所有可用的对等点某些事件【英文标题】:Wi-fiP2P.Informallpeersavailableofsomeevent【发布时间】:2015-04-1919:17:30【问题描述】:问题:我正在制作一款离线多人安卓游戏,人们可以在其中创建或加入房间并通过Wi-fi一起... 查看详情

11.分类与监督学习,朴素贝叶斯分类算法

1.理解分类与监督学习、聚类与无监督学习。简述分类与聚类的联系与区别。简述什么是监督学习与无监督学习。 答:(1)联系:分类与聚类都是对对象的一种划分,两者都用到了NN算法。     区别:分类是为了确... 查看详情

11.分类与监督学习,朴素贝叶斯分类算法(代码片段)

1.理解分类与监督学习、聚类与无监督学习。简述分类与聚类的联系与区别。答:①联系:分类和聚类都包含一个过程:对于想要分析的目标点,都会在数据集中寻找离它最近的点,即二者都用到了NN(NearsNeighbor)算法。  ②... 查看详情

如何使用与我找到对等点的名称不同的名称邀请对等点加入会话?

】如何使用与我找到对等点的名称不同的名称邀请对等点加入会话?【英文标题】:HowcanIinviteapeertoasessionusingadifferentnamefromtheonethatIfoundthepeerwith?【发布时间】:2019-07-2309:25:23【问题描述】:我在macOS上使用MultipeerConnectivityFramework... 查看详情

当外部端口不断变化时,natted 网络中对等点之间的 P2P

】当外部端口不断变化时,natted网络中对等点之间的P2P【英文标题】:P2Pbetweenpeersinnattednetworkswhentheexternalportchangesconstantly【发布时间】:2021-01-1516:25:18【问题描述】:我正在阅读WebRTC,这导致我开始研究STUN(NAT会话遍历实用程... 查看详情

10.分类与监督学习,朴素贝叶斯分类算法(代码片段)

1.理解分类与监督学习、聚类与无监督学习。简述分类与聚类的联系与区别。简述什么是监督学习与无监督学习。  联系:分类与聚类都是在数据集中寻找离自己最近的点  区别:分类是一种有监督学习,目的是为了确定点... 查看详情

NLP 的远程监督算法

...2017-07-1523:13:43【问题描述】:我正在寻找远程监督算法(用于自然语言处理应用程序)。你能指出一种适用的算法或方法吗?【问题讨论】:见本文:web.stanford.edu/~jurafsky/mintz.pdf谢谢@kiner_shah,我已经看过那个作为基本参考。我... 查看详情

用于无监督异常检测的 Python AUC 计算(隔离森林、椭圆包络,...)

】用于无监督异常检测的PythonAUC计算(隔离森林、椭圆包络,...)【英文标题】:PythonAUCCalculationforUnsupervisedAnomalyDetection(IsolationForest,EllipticEnvelope,...)【发布时间】:2018-05-2502:50:16【问题描述】:我目前正在研究异常检测算法。... 查看详情

在wifi-direct p2p连接中获取对等设备的IP地址[重复]

】在wifi-directp2p连接中获取对等设备的IP地址[重复]【英文标题】:Getpeerdevice\'sIPaddressinwifi-directp2pconnection[duplicate]【发布时间】:2012-06-2019:43:32【问题描述】:当我的设备是wifi-directP2P连接中的组所有者(GO)时,我的应用程序需要... 查看详情

11.分类与监督学习,朴素贝叶斯分类算法(代码片段)

1.理解分类与监督学习、聚类与无监督学习。简述分类与聚类的联系与区别。简述什么是监督学习与无监督学习。 分类的目的是为了确定一个点的类别,具体有哪些类别是已知的,而聚类的目的是将一系列的点分成若干类,... 查看详情

11.分类与监督学习,朴素贝叶斯分类算法(代码片段)

1.理解分类与监督学习、聚类与无监督学习。简述分类与聚类的联系与区别。简述什么是监督学习与无监督学习。答:(1)分类和聚类:  联系:    分类和聚类都是把每一条记录归应到相应的类别里,都包含这一过程,... 查看详情