p2p技术详解:p2p中的nat穿越(打洞)方案详解(进阶分析篇)(代码片段)

“好记性不如”烂博客 “好记性不如”烂博客     2022-12-06     207

关键词:

目录

1、NAT和NAPT

网络地址转换(NAT,全称Network Address Translation),早期的NAT指的是Basic NAT(静态NAT),它在技术上比较简单一点,仅支持地址转换,不支持端口映射。这就需要对每一个当前连接都要对应一个IP地址,因此要维护一个公网的地址池。

我们可以看出,Basic NAT一个比较明显的缺陷就是:同一时刻只能少量位于NAT后面的机器能够和外部交互(要看NAT有几个外网IP)。

后期的NAT基本都指的是NAPT(网络地址端口转换)了,这种方式支持端口的映射并允许多台主机共享一个公用IP地址,这样就可以支持同时多个位于NAT后面的机器和外部进行交互了。

支持端口转换的NAT又可以分为两类:

1)源地址转换(SNAT);
2)目的地址转换NAT(DNAT)。

下面说的NAT都是指NAPT。

2、NAT带来的问题

NAT在缓解IPv4地址资源的紧张的同时,也带来了不少问题:

1)NAT使IP会话的保持时效变短;
2)NAT在实现上将多个内部主机发出的连接复用到一个IP上,这就使依赖IP进行主机跟踪的机制都失效了;
3)NAT工作机制依赖于修改IP包头的信息,这会妨碍一些安全协议的工作;
4)NAT限制了使用一些高层协议(FTP、Quake、SIP)的Peer两端的P2P通信。

对于问题1:
其主要原因是,NAT设备建立的内网IP、端口到外网IP、端口的映射的表项是有一个保活期的。如果在一个超时时间内,该映射上没有实际数据的传输,那么NAT会过期并回收这个映射表项给其他通信链路用(IP和端口资源有限,通信的链路是无限)。为了避免这种通信链路提前被NAT中断的情况,很多应用层协议在设计的时候就考虑了一个连接保活的机制,即在一段时间没有数据需要发送时,主动发送一个NAT能感知到而又没有实际数据的保活消息,这么做的主要目的就是重置NAT的会话定时器。

对于问题2:
其主要原因是,对于NAT后面的N多主机,在外部看来都是同一个主机(NAT设备),于是来之同一个IP的数据包一定是来之同一个主机的前提判断就会不准确了,这样一下基于这个前提的机制(例如:TCP的TIME_WAIT的回收和重用)都会有问题。

对于问题3:
其主要原因是,NAT篡改了IP地址、传输层端口号和校验和。

对于问题4:
其主要原因是,一般情况下,NAT是不允许外部的Peer节点主动连接或发送数据包给NAT后面的主机的(这里的主动指的是,在一段时间内,首先发送数据包的一方为主动方)。

NAT表现出这样的行为,主要基于下面的几点考虑:

1)出于安全考虑,避免来自网络外部的攻击,隐藏并保护网络内部的计算机;
2)位于NAT后面的很多主机,对于主动进来的数据包,NAT一般不知道该路由给内部的哪个主机(NAT设备上没有相关转发表项)。

由于NAT这种特性,那么在NAT环境下,实现P2P通信的完整解决方案包括几个部分呢?相关的原理、方法、技术有哪些?

对于一个完整的P2P通信解决方案,其实现包括下面两个步骤:

1)首先在Server的协助下,通信两端Peer尝试相互连接,如果两端Peer在尝试互联不成功后,那么就将失败结果反馈给Server转入步骤2);
2)这个步骤比较简单粗暴了,就是relay(服务器中转),简单的来讲就是Peer1将要发给Peer2的数据发给Server,然后由Server帮忙转发给Peer2,同样对于Peer2来说也一样。

对于实现P2P通信,步骤1是大家下功夫最多的,其原因比较简单,就是步骤2需要消耗较多的服务器资源,成本比较高。步骤1实现P2P两个节点间的直接通信,在资源消耗和效率上都是比较好的。

3、P2P通信穿越NAT的技术、方法

目前常见的P2P通信穿越NAT的技术、方法主要有:

1)应用层网关;
2)中间件技术;
3)打洞技术(Hole Punching);
4)Relay(服务器中转)技术。

4、NAT穿越技术1:应用层网关

应用层网关(ALG)是解决NAT对应用层协议无感知的一个最常用方法,已经被NAT设备厂商广泛采用,成为NAT设备的一个必需功能。

4.1、原理

利用带有ALG功能的NAT对特定应用层协议的支持和理解,在一个NAT网关检测到新的连接请求时,需要判断是否为已知的应用类型,这通常是基于连接的传输层端口信息来识别的。在识别为已知应用时,再调用相应功能对报文的深层内容进行检查,当发现任何形式表达的IP地址和端口时,将会把这些信息同步转换,并且为这个新连接创建一个附加的转换表项。

这样,当报文到达公网侧的目的主机时,应用层协议中携带的信息就是NAT网关提供的地址和端口。

例如:下图,对于使用主动模式的FTP协议(PORT方式),就需要AGL的支持了。

由于FTP协议通信需要两个TCP连接,一个是命令链路,用来在FTP客户端与服务器之间传递命令;另一个是数据链路,用来上传或下载数据。如上图,位于NAT后面的FTP client(192.168.1.2)首先发起一个TCP连接(命令链路)连上外网FTP Server(8.8.8.1),然后发送PORT报文(192.168.1.2,1084)说自己在1084端口接收数据,然后进过ALG处理PORT报文变成(8.8.8.1,12487),同NAT建立其一条(192.168.1.2,1084 <—>8.8.8.1,12487)映射。这样FTP Server发往(8.8.8.1,12487)的数据就会被转到(192.168.1.2,1084),从而实现数据传输(如果没经过ALG处理,那么FTP Server直接连接192.168.1.2,1084是无法连接上的)。

4.2、限制

ALG技术是利用NAT本身的支持来进行NAT的穿越,这个方案有很大限制,主要的原因是ALG都是为特定协议的特定规范版本而开发的,然而不管是协议本身,还是协议的数量都在变化,这就使得ALG适应性不强。

5、NAT穿越技术2:中间件技术

这是一种通过开发通用方法解决NAT穿越问题的努力。与前者不同之处是,AGL技术中NAT网关是这一解决方案的唯一参与者,而中间件技术中客户端会参与网关公网映射信息的维护。UPnP就是这样一种方法,UPnP中文全称为通用即插即用,是一个通用的网络终端与网关的通信协议,具备信息发布和管理控制的能力。

5.1、原理

NAT只要理解客户端的请求并按照要求去分配响应的映射转换表,不需要自己去分析客户端的应用层数据。网关映射请求可以为客户动态添加映射表项。

此时,NAT不再需要理解应用层携带的信息,只转换IP地址和端口信息。而客户端通过控制消息或信令发到公网侧的信息中,直接携带公网映射的IP地址和端口,接收端可以按照此信息建立数据连接。NAT网关在收到数据或连接请求时,按照UPnP建立的表项只转换地址和端口信息,不关心内容,再将数据转发到内网。

5.2、限制

这种方案需要网关、内部主机和应用程序都支持UPnP技术,且组网允许内部主机和NAT网关之间可以直接交换UPnP信令才能实施。

6、NAT穿越技术3:打洞技术(Hole Punching)

Hole Punching技术是工作在运输层的技术,可以屏蔽上层应用层的差异,并且不需要NAT网关特定的支持,因此其通用性比较强,应用性也比较广。

6.1、原理

打洞技术的原理比较简单,就是NAT内网的节点需要在NAT上建立自己的一条转发映射关系(这就是所谓的在NAT上打下一个洞),然后外网的节点就通过这个”洞”来进行通信。为描述方便,我们将一对IP地址和端口信息的组合称之为一个Endpoint。

打洞原理可以简化为下面三个过程:

1)首先位于NAT后的Peer1节点需要向外发送数据包,以便让NAT建立起内网Endpoint1(IP1、PORT1)和外网Endpoint2(IP2、PORT2)的映射关系;
2)然后通过某种方式将映射后的外网Endpoint2通知给对端节点Peer2;
3)最后Peer2往收到的外网Endpoint2发送数据包,然后该数据包就会被NAT转发给内网的Peer1。

上面三个过程比较简单,然而细心的同学会有些疑问:

1)步骤[1]中的映射关系的建立有什么规律的么?怎样才能获取到映射关系呢?
2)通知对端节点Peer2的方式一般是怎么样的?
3)步骤[3]一定可以实现么?也就是Peer2往收到的外网Endpoint2发送数据包,就一定能够被NAT转发给内网的Peer1吗?

对于疑问(3),如果全部会被转发给内网Peer1,那会不会太不安全了,只要知道内网Peer1的映射后的外网Endpoint2,就可以给穿透NAT给内网Peer1发送数据,这样内网Peer1不就很容易遭到攻击了?如果全部都不转发给内网Peer1,这样Peer1只能向外发数据,而无法收到外面的数据,严重影响Peer1的正常通信。

那么,这就比较明了了,我们需要的是一部分可以转发,另外一部分不转发。这就涉及到NAT对外来数据包的一个过滤规则了,而疑问(1)提到的映射关系建立的规则,这涉及到NAT的Endpoint的映射规则。

那么问题来了,有什么方法可以知道NAT的Endpoint映射规则和对外来数据包的过滤规则呢?

6.2、方法

由上面原理的讨论我们知道,要实现打洞穿越NAT,首先需要知道NAT的行为规则(NAT的Endpoint映射规则和对外来数据包的过滤规则),这样才能更好地实现打洞穿越。

那NAT有哪些行为类型?有什么办法来侦测NAT的行为呢?

6.2.1NAT行为类型与侦测方法

NAT的行为类型和侦测方法是由STUN(首先在RFC3489中定义,英文全称是Simple Traversal of UDP Through NATs)协议来描述的,STUN协议包括了RFC3489、RFC5389、RFC5780、RFC5769几个系列文档。

早期的STUN协议是由RFC3489(经典的STUN)来描述,其定义的NAT行为类型如下:

1)Full Cone NAT - 完全锥形NAT:
所有从同一个内网IP和端口号Endpoint1发送过来的请求都会被映射成同一个外网IP和端口号Endpoint2,并且任何一个外网主机都可以通过这个映射的Endpoint2向这台内网主机发送包。也就是外网所有发往Endpoint2的数据包都会被NAT转发给Endpoint1。由于对外部请求的来源无任何限制,因此这种方式虽然足够简单,但却不安全。

2)Restricted Cone NAT - 限制锥形NAT:
它是Full Cone的受限版本:所有来自同一个内网Endpoint1的请求均被NAT映射成同一个外网Endpoint2,这与Full Cone相同。但不同的是,只有当内网Endpoint1曾经发送过报文给外部主机(假设其IP地址为IP3)后,外部主机IP3发往Endpoint2的数据包才会被NAT转发给Endpoint1。这意味着,NAT设备只向内转发那些来自于当前已知的外部主机的数据包,从而保障了外部请求来源的安全性

3)Port Restricted Cone NAT - 端口限制锥形NAT:
它是Restricted Cone NAT的进一步受限版,与限制锥形NAT很相似,只不过它包括端口号PORT。只有当内网Endpoint1曾经发送过报文给外部Endpoint3(包括IP和端口了),Endpoint3发往Endpoint2的数据包才会被NAT转发给Endpoint1。端口号PORT这一要求进一步强化了对外部报文请求来源的限制,从而较Restrictd Cone更具安全性。

4)Symmetric NAT - 对称NAT:
上面的1)2)3)所有的Cone NAT中,映射关系只和内网的源Endpoint1相关,只要源Endpoint1不变其都会被映射成同一个Endpoint2。而对称NAT的映射关系不只与源Endpoint1相关,还与目的Endpoint3相关。也就是源Endpoint1发往目的Endpoint30的请求被映射为Endpoint20,而源Endpoint1发往目的Endpoint31的请求,则被映射为Endpoint21了。此外,只有收到过内网主机发送的数据的外网主机才可以反过来向内网主机发送数据包。

经典 STUN 定义的 NAT 行为类型是将NAT的Mapping Behavior (映射规则)和Filtering Behavior(过滤规则)统一来归类的,这样对Symmetric NAT类型的归类过于笼统,使得许多 NAT 不完全符合由它定义的类型。

于是后来,RFC3489被废弃并由RFC5389来替代,在RFC5389中,将Mapping Behavior (映射规则)和Filtering Behavior(过滤规则)分开来,定义了3种Mapping Behavior (映射规则)和3种Filtering Behavior(过滤规则),一共有9种组合。

为什么是3种呢?其实理由很简单,对于一个特定的内网源Endpoint1,影响其映射关系的因素不外乎就4种情况:

1)目的IP和目的端口PORT都无关;
2)目的IP和目的端口PORT都相关;
3)仅仅目的IP相关;
4)仅仅目的PORT相关。

对于4仅仅考虑一下PORT信息有点鸡肋,基本和1差不多,于是把4去掉了。同样,对于过滤规则也一样。

3种Mapping Behavior (映射规则)和 Filtering Behavior(过滤规则)如下。

Mapping Behavior:
1)Endpoint-Independent Mapping:
对于一个内网的EndpointP,其映射的外网EndpointG是基本固定的,不会随着通信外部主机的不同而变化。

2)Address and Port-Dependent Mapping:
对于一个内网的EndpointP,如果与之通信的外部为EndpointGB1,那么EndpointP就会被NAT映射成EndpointG1;如果与之通信的外部为EndpointGB2,那么EndpointP就会被NAT映射成EndpointG2。也就是只要之通信的外部为EndpointGB发生变化,那么映射的外网EndpointG就会变化。

3)Address-Dependent Mapping:
对于一个内网的EndpointP,如果与之通信的外部为EndpointGB1,那么EndpointP就会被NAT映射成EndpointG1;如果与之通信的外部为EndpointGB2(如果EndpointGB2的IP和EndpointGB1的相同),那么EndpointP同样会被NAT映射成EndpointG1,否则就会被NAT映射成EndpointG2。也就是只要之通信的外部为EndpointGB的IP发生变化,那么映射的外网EndpointG就会变化。

Filtering Behavior:
1)Endpoint-Independent Filtering:
对于这种过滤类型,NAT在在自己的一个外网EndpointG1收到数据包,只要找到与之对应的内网EndpointP1,NAT就会转发这个数据包给相应的内网EndpointP1,不管这个数据包的来源是那里。(一般来说,这样过滤规则的NAT是比较少的,因为这样的安全系数比较低)

2)Address and Port-Dependent Filtering:
对于这种过滤类型,NAT在自己的一个外网EndpointG1收到来源是EndpointGA1数据包,这个时候NAT要判断自己是否曾经通过自己的EndpointG1给EndpointGA1发送过数据包,如果曾经发过,那么NAT就允许该数据包通过NAT并路由给内网与之对于的内网EndpointP1;如果没发过,那么NAT会不允许该数据包通过NAT。

3)Address-Dependent Filtering:
对于这种过滤类型,NAT在自己的一个外网EndpointG1收到来源是EndpointGA1数据包,这个时候NAT要判断自己是否曾经通过自己的EndpointG1给和EndpointGA1的IP相同的机器发送过数据包(这里会忽略端口),如果曾经发过,那么NAT就允许该数据包通过NAT并路由给内网与之对于的内网EndpointP1;如果没发过,那么NAT会不允许该数据包通过NAT。

RFC5389只是定义了协议的相关属性、机制、报文结构以及一些相关的安全注意点等等,并有没对怎么进行完整的NAT类型侦测做介绍。而对完整NAT类型侦测过程主要由RFC5780这个文档来描述。完整的NAT类型侦测的过程主要在RFC5780文档的4.3和4.4节,主要分为NAT映射规则(Determining NAT Mapping Behavior)和NAT过滤规则(Determining NAT Filtering Behavior)。

下面对具体的侦测过程做介绍:

要进行NAT类型的侦测,需要一个具有双公网IP的服务器来协助侦测,我们称该服务器为STUN Server。假设STUN Server的双IP分别为IP_SA(125.227.152.3)和IP_SB(125.227.152.4) 监听的两个端口分别为PORT_SA(4777)和PORT_SB(4888),客户端A的内网和端口分别为IP_CA(10.70.142.12)和PORT_CA(1234)。

1)客户端A以IP_CA: PORT_CA给STUN Server的IP_SA: PORT_SA发送一个bind请求,STUN server以IP_SA: PORT_SA给客户端A的IP_CA: PORT_CA回复响应,响应内容大体为:(NAT映射后的IP地址和端口为:IP_MCA1: PORT_MCA1,STUN Server的另外一个IP地址和端口为:IP_SB: PORT_SB)。这个时候客户端判断,如果IP_CA: PORT_CA == IP_MCA1: PORT_MCA1,那么该客户端是拥有公网IP的,NAT类型侦测结束。

2)客户端A以IP_CA: PORT_CA给STUN server的IP_SB: PORT_SA(相对步骤1 ip改变了)发送一个bind请求,STUN server以IP_SB: PORT_SA给客户端A的IP_CA: PORT_CA回复响应,响应内容大体为:(NAT映射后的IP地址和端口为:IP_MCA2: PORT_MCA2)。这个时候客户端判断,如果IP_MCA1: PORT_MCA1 == IP_MCA2: PORT_MCA2,那么NAT是Endpoint Independent Mapping的映射规则,也就是同样的内网地址IP_CA: PORT_CA经过这种NAT映射后的IP_M: PORT_M是固定不变的;如果IP_MCA1: PORT_MCA1 != IP_MCA2: PORT_MCA2,那么就要进行下面的第3步测试。

3)客户端A以IP_CA: PORT_CA给STUN server的IP_SB: PORT_SB(相对步骤1 ip和port改变了)发送一个bind请求,STUN server以IP_SB: PORT_SB给客户端A的IP_CA: PORT_CA回复响应,响应内容大体为:(NAT映射后的IP地址和端口为:IP_MCA3: PORT_MCA3)。这个时候客户端判断,如果IP_MCA2: PORT_MCA2== IP_MCA3: PORT_MCA3,那么NAT是Address Dependent Mapping的映射规则,也就是只要是目的IP是相同的,那么同样的内网地址IP_CA: PORT_CA经过这种NAT映射后的IP_M: PORT_M是固定不变的;如果IP_MCA2: PORT_MCA2!= IP_MCA3: PORT_MCA3,那么NAT是Address and Port Dependent Mapping,只要目的IP和PORT中有一个不一样,那么同样的内网地址IP_CA: PORT_CA经过这种NAT映射后的IP_M: PORT_M是不一样的。

以上三个步骤是进行Mapping Behavior的侦测,下面两个步骤是进行Filtering Behavior侦测:

4)客户端A以IP_CA: PORT_CA给STUN server的IP_SA: PORT_SA发送一个bind请求(请求中带CHANGE-REQUEST attribute来要求stun server改变IP和PORT来响应),STUN server以IP_SB: PORT_SB给客户端A的IP_CA: PORT_CA回复响应。如果客户端A能收到STUN server的响应,那么NAT是Endpoint-Independent Filtering的过滤规则,也就是只要给客户端A的IP_CA: PORT_CA映射后的IP_MCA: PORT_MCA地址发送数据都能通过NAT到达客户端A的IP_CA: PORT_CA(这种过滤规则的NAT估计很少)。如果不能收到STUN server的响应,那么需要进行下面的第五步测试。

5)客户端A以IP_CA: PORT_CA给STUN server的IP_SA: PORT_SA发送一个bind请求(请求中带CHANGE-REQUEST attribute来要求stun server改变PORT来响应),STUN server以IP_SA: PORT_SB给客户端A的IP_CA: PORT_CA回复响应。如果客户端A能收到STUN server的响应,NAT是Address-Dependent Filtering的过滤规则,也就是只要之前客户端A以IP_CA: PORT_CA给IP为IP_D的主机发送过数据,那么在NAT映射的有效期内,IP为IP_D的主机以任何端口给客户端A的IP_CA: PORT_CA映射后的IP_MCA: PORT_MCA地址发送数据都能通过NAT到达客户端A的IP_CA: PORT_CA;如果不能收到响应,NAT是Address and Port-Dependent Filtering的过滤规则,也即是只有之前客户端A以IP_CA: PORT_CA给目的主机的IP_D: PORT_D发送过数据,那么在NAT映射的有效期内,只有以IP_D: PORT_D给客户端A的IP_CA: PORT_CA映射后的IP_MCA: PORT_MCA地址发送数据才能通过NAT到达客户端A的IP_CA: PORT_CA。

通过以上5个步骤就能完成完整的NAT类型侦测。

将NAT映射规则和过滤规则组合起来就形成9中不同的NAT行为类型:

1)Endpoint Independent Mapping和Endpoint-Independent Filtering组合对应于RFC3489中的Full Cone NAT;
2)Endpoint Independent Mapping和Address-Dependent Filtering组合对应于RFC3489中的Restricted Cone NAT;
3)Endpoint Independent Mapping和Address and Port-Dependent Filtering组合对应于RFC3489中的Port Restricted Cone NAT;
4)Address and Port-Dependent Mapping和Address and Port-Dependent Filtering组合是RFC3489中所说的Symmetric NAT。

可见RFC3489只描述了9种NAT组合行为类型中的4种。最后一个文档rfc5769,定义了一些STUN协议的测试数据用于测试STUN server的正确性。

6.2.2NAT打洞过程

“打洞”方式穿越NAT有两种形式:TCP”打洞”和UDP”打洞”。原理上,TCP”打洞”与UDP”打洞”是没有本质的区别的。

然而在实现上,TCP”打洞”的成功率远没UDP”打洞”的成功率高,其主要原因有三:

1)有些NAT防火墙策略对TCP协议不是很友好:
有些NAT的防火墙策略不允许来路不明的外部向内网机器发起TCP连接。由于TCP是有连接的,NAT比较容易分清哪些是NAT 内网机器主动进行通信的外部节点,这样防火墙策略比较明确。而UDP是无连接的,没有连接来标明一个数据流,协议比较简单,这样NAT支持的比较多。

2)TCP协议本身:
由于TCP的TIME_WAIT状态引起,同一个NAT后面的其他主机发起的连接被误判。具体可以看下面的文章:km.oa.com/group/25569/articles/show/246068 。

3)TCP协议的实现API:
因为标准的Berkeley sockets API是围绕C/S编程而设计的。这个API通过connect()允许一个TCP流套接字初始化一个向外的连接,通过listen()和 accept()监听一个外入的连接,一个套接字不能既用来监听又用来初始化向外的连接。更进一步讲, TCP套接字通常与本地主机上的TCP端口一一对应:一个套接字绑定到本地主机机上的某个端口后,另一个套接字就不能再绑定到该端口。然而TCP打洞要成功,需要一个本地的TCP端口既可以监听外入的连接,同时又可以发起多个向外的连接。幸运的是,所有主流的操作系统都支持一个特殊的socket选项SO_REUSEADDR,它运行应用程序绑定多个设置了该选项的套接字到同一端口。BSD系统引入了SO_REUSEPORT选项来控制端口重用,从而把端口重用和地址重用相分离。在这样的系统中,两个选项都需要被设置。尽管如此,要进行TCP打洞需要进行TCP三次握手的同时打开,但是有些TCP/IP的实现,可能不支持这种同时打开的情况,这样也就无法建立TCP连接了。

下面就几种网络拓扑情况下,NAT打洞步骤进行逐一介绍。为了方便描述,假设通信的两个节点分别为Client A和Client B,而辅助NAT穿越的STUN Server为Server S。下面的所有方法都要求Client A、Client B都与Server S保持一条长连接,或者周期性连上Server S,以便能够接收Server S的相关指令,我们称这两个连接分别为ConnectA1,ConnectB1.

6.2.2.1)网络拓扑类型一:

如下图所示,Client A 位于NAT内网,而Client B是具有公网IP的机器。如果是Client A需要连接Client B那么Client A直接连Client B就可以了。如果Client B需要连接Client A,那么Client B直接Connect Client A一般是连接不上的。但是我们可以反过来让Client A主动去连Client B不就可以了。下面所说的Client A或Client B的NAT类型指的是对于Server S能看到的Client的最外层的NAT的类型。

反过来让Client A主动去连Client B的技术就是所谓的:反向连接技术。

具体的穿越过程如下:

1)Client B通过ConnectB1向Server S发送请求,请求连接Client A;
2)Server S按需回复看是否需要启动Client B的NAT类型侦测。(这要看Server S是否已经缓存了Client B的相关NAT信息);
3)Server S通过[2]可以知道Client B具有公网IP,于是,Server S通过ConnectA1发送指令给Client A让Client A主动连Client B并告诉Client A目标Client B的IPB和监听端口PortB;
4)Client A收到Client B的IPB和监听端口PortB,然后发送连接请求连上Cient A并附带一下身份信息,于是两者就可以进行通信。

下面为了描述简便,具体的NAT侦测步骤就省略了。

6.2.2.2)网络拓扑类型二:

如下图,Client A和Client B位于同一个NAT后面,这个时候Client A和 Client B位于同一个局域网。

具体的穿越过程如下:

1)Client A通过ConnectA1向Server S发送请求,请求连接Client B;
2)Server S发现Client A、B位于同一个NAT后面,于是返回Client A、Client B的公网EndpointGA、EndpointGB和内网EndpointPA、EndpointPB给Client A;
3)Client A收到后,知道Client B和自己位于同一个NAT里面,于是直接连上Client B的内网EndpointPB进行通信。

6.2.2.3)网络拓扑类型三:

如下图,Client A和Client B分别位于不同的NAT后面,这个时候Client A和 Client B位于独立的局域网。

具体的穿越过程如下:

1)Client A通过ConnectA1向Server S发送请求,请求连接Client B;
2)Server S发现Client A、B位于独立的NAT后面,也是通过ConnectA1返回给Client A、Client B的公网EndpointGA、EndpointGB和内网EndpointPA、EndpointPA给Client A。并且通过ConnectB1返回给Client A、Client B的公网EndpointGA、EndpointGB和内网EndpointPA、EndpointPB给Client B。

接下来的步骤和Client A、Client B的NAT类型密切相关,下面会分别就相应的组合进行介绍具体的过程步骤。

(1)Client A是任意类型NAT,Client B 是Full Cone NAT(Endpoint Independent Mapping和Endpoint-Independent Filtering)

Full Cone NAT一般是比较少的,因为这样的NAT安全性很差。

[3] Server S通过ConnectA1发送指令让Client A直接Connect Client B的外网EndpointGB,由于Client B的NAT是Full Cone,于是NAT不管三七二十一就把收到的包转发给Client B,于是它们就可以顺利通信了。

(2)Client A是任意类型NAT,Client B 是Restricted Cone NAT(Endpoint Independent Mapping和Address-Dependent Filtering)

[3] Server S通过ConnectB1发送指令让Client B 先bind内网EndpointPB然后往Client A的外网EndpointGA发送Connect请求(由于Client B是Endpoint Independent Mapping,那么EndpointPB依旧是映射为EndpointGB),如果连接建立成功,那么它们就可以进行通信了,反之失败的话,Client B将失败结果反馈给Server S,然后转入[4];

[4] Server S收到失败反馈,通过ConnectA1发送指令让Client A往Client B的外网EndpointGB发送Connect请求,由于在步骤[3],Client B已经往Client A发送过数据包,根据过滤规则(Address-Dependent Filtering),Client B的NAT会允许Client A的数据包通过NAT并转发给Client B。于是,它们就建立其连接进行通信。

(3)Client A的NAT类型:映射规则是(Endpoint Independent Mapping)的,过滤规则任意;Client B 是Port Restricted Cone NAT(Endpoint Independent Mapping和Address and Port-Dependent Filtering)

[3] 该步骤和情况(2)中的步骤[3]完全一样。

[4] Server S收到失败反馈,通过ConnectA1发送指令让Client A 先bind内网EndpointPA然后往Client B的外网EndpointGB发送Connect请求(由于Client A是Endpoint Independent Mapping,那么EndpointPA依旧是映射为EndpointGA),由于在步骤[3],Client B已经往Client A的EndpointGA发送过数据包,根据过滤规则(Address and Port-Dependent Filtering),Client B的NAT会允许Client A的EndpointGA的数据包通过NAT并转发给Client B。于是,它们就建立其连接进行通信。

(4)Client A的NAT类型:映射规则是(非Endpoint Independent Mapping)的,过滤规则任意;Client B 是Port Restricted Cone NAT(Endpoint Independent Mapping和Address and Port-Dependent Filtering)

在这种情况下,在上面的步骤[4]的时候,由于Client A是非Endpoint Independent Mapping,那么EndpointPA就会映射为是EndpointGA_B而不是EndpointGA了。这样根据过滤 规则(Address and Port-Dependent Filtering),Client B的NAT将不会允许Client A的EndpointGA_B的数据包通过NAT。要想数据包能通过Client B的NAT,需要Client B曾经给EndpointGA_B发送过数据。但是,我们无法通过直接的方法让Client B提前知道Client A的外网EndpointGA_B,难道就无能为力了吗?不,还是有些方法的,虽然无法直接知道Client A的外网EndpointGA_B,但是我们可以进行预测。

具体过程如下:
[3] 该步骤和情况(2)中的步骤[3]完全一样。

[4] Server S收到失败反馈,通过ConnectA1发送指令让Client A 启动端口映射预测过程。端口映射预测可以简单、可以复杂,大体就是让Client A往Server的不同端口、不同ip发送数据包,以便Server收集到Client A的端口映射样本,以便能够根据样本的端口映射变化规律预测Client A的NAT的Mapping规则。

[5] Server S根据[4]的预测情况,通过ConnectB1发送给Client B接下来Client A可能的映射端口列表也就是可能的外网EndpointGA1、EndpointGA2 … EndpointGAn,然后让Client B都往这些外网EndpointGA1、EndpointGA2 … EndpointGAn发送数据包。

[6] 然后Server S通过ConnectA1发送指令让Client A 先bind内网EndpointPA然后往Client B的外网EndpointGB发送Connect请求(这个时候,假设预测算法有效的话,那么Client A的内网EndpointPA将会映射为EndpointGAi),由于在步骤[5],Client B已经往Client A的EndpointGAi发送过数据包,根据过滤规则(Address and Port-Dependent Filtering),Client B的NAT会允许Client A的EndpointGAi的数据包通过NAT并转发给Client B。于是,它们就建立其连接进行通信。

[7] 如果在步骤[4]的预测失败,那么在步骤[6]将建立连接失败,然后Client B将失败结果反馈给Server S。这个时候Server S可以启动重试步骤[4][5][6]或直接判断Client A和Client B无法建立直接的P2P通信了,于是进入Relay(服务器中转)环节。Realy部分在后面会单独介绍。

6.2.2.4)网络拓扑类型四:

如下图,Client A和 Client B位于多层NAT后面。

具体过程如下:

1)Client A通过ConnectA1向Server S发送请求,请求连接Client B;
2)Server S发现Client A、B位于同一个NAT后面,于是返回Client A、Client B的公网EndpointGA、EndpointGB和内网EndpointPA、EndpointPB给Client A;
3)Client A收到后,认为Client B和自己位于同一个NAT里面,于是往Client B的内网EndpointPB发送连接请求,当然是连接不上的;
4)在连接失败后,接着Client A尝试向Client B的外网EndpointGB发送连接请求,这个时候NAT C收到数据包后是否转发该数据包要看NAT C是否支持回环转换(hairpin translation),如果不支持那么就无法进行直连P2P通信,需要就需要反馈给Server S开启Relay。

5)在步骤4)失败了,Client A是无法知道是因为NAT C不支持回环转换造成的失败,还是内层NAT的行为造成的失败。于是Client A就假设NAT C是支持回环转换的,这个时候网络拓扑情况就变成网络拓扑类型三了,那么接下来的穿越步骤就和网络拓扑类型三的多种情况一样的了,这里就不重复了。

上图,只是给出了Client A、Client B位于两层NAT后面的一种情况,对于多层NAT的各种组合本文就不介绍了。对于多层NAT的组合,在穿透失败的时候,是比较难判断出到底是哪层NAT的行为造成的。我们只能用上面说过的所有方法进行逐一重试,如果还是失败,那只能启动Relay进行服务器中转了。

7、NAT穿越技术4:Relay服务器中转技术

由于进行P2P穿透是否成功与NAT的行为和防火墙策略有很大的关系,因此就算是一个P2P友好NAT也很难保证100%穿透成功。举个例子:8.2.2.4 网络拓扑类型四,假设NAT A、NAT B 、NAT C都是Full Cone NAT(完全锥型),但是如果NAT C不支持回环转换(hairpin translation)那么也是无法穿透成功的。那么一个完整的P2P穿透的解决方案必不可少的一个部分就是relay了,relay部分主要TURN协议描述。作为STUN协议的一个补充,TURN协议主要由RFC5766、RFC6062、RFC6156来描述,其中RFC5766主要描述的是UDP协议的relay,RFC6062描述的是TCP协议(IPV4)的relay,而RFC6156描述的是IPV6的relay。下面主要介绍一下RFC5766和RFC6062两个文档中描述的较为重要的交互过程,具体的协议相关属性、报文结构等等,有兴趣的可以细读一下协议文档。

TURN协议简单的来讲,如下图所示:client向turn server发送一个Allocation request请求一个分配(allocation),如果turn server接收请求就会给client分配一个relay地址(IP_RELAYA: PORT_RELAYA),每个allocation都有一个有效期,过了有效期就不能使用了。在有效期内client可以发送refresh request来刷新延长有效期。Client A想给peer A发送数据需要创建权限,这个通过createPermission request请求来创建权限,权限创建成功后,client A就可以发送数据给turn server由turn server中转给peer A,同时peer A发送给turn server数据也会被turn server中转给client A。如图中所示,由于client 没有注册peer B的权限,那么client 发给peer B的数据会被turn server丢弃,同时peer B发给client 的数据也会被turn server丢弃。

7.1、UDP协议的Relay

首先介绍RFC5766,UDP协议的relay,主要有两种方式:第一种是Send and Data methods,第二种是channels。下面分别介绍这两个方式。

7.1.1方式一、Send and Data methods,具体交互过程如下:



(1)首先client发送Allocate request 给TURN server 请求一个分配。其中携带的主要属性:

Transaction-Id=0xA56250D3F17ABE679422DE85 :事务ID用于标识一个交互过程
SOFTWARE="Example client, version 1.03" :可有可无的属性
LIFETIME=3600 (1 hour) :请求分配的有效期,期望有效期
REQUESTED-TRANSPORT=17 (UDP) :未来数据传输采用的协议
DONT-FRAGMENT :请求不要将数据进行分割分包转发给PEER。

(2)TURN server回复一个Allocate error response响应,表示请求未通过授权,需要进行用户验证:

Transaction-Id=0xA56250D3F17ABE679422DE85 :事务ID要和(1)的一样
SOFTWARE="Example server, version 1.17" :可有可无
ERROR-CODE=401 (Unauthorized) :错误码
REALM="example.com" :为了让客户端下次请求的时候要带上这个属性
NONCE="adl7W7PeDU4hKE72jdaQvbAMcr6h39sm" :为了让客户端下次请求的时候要带上这个属性

(3)Client收到响应后,发现是401错误响应,那么需要给TURN server提供用户名和密码进行验证。于是client重新发送Allocate request请求:
Transaction-Id=0xC271E932AD7446A32C234492 :另起一个事务,标识另外一个请求过程

SOFTWARE="Example client 1.03" :同(1)
LIFETIME=3600 (1 hour) :同(1)
REQUESTED-TRANSPORT=17 (UDP) :同(1)
DONT-FRAGMENT :同(1)
USERNAME="George" :client的用户名
REALM="example.com" :2)中TURN server响应给client的
NONCE="adl7W7PeDU4hKE72jdaQvbAMcr6h39sm" :2)中TURN server响应给client的
MESSAGE-INTEGRITY=... :一些加密信息,用于验证client的

(4)TURN server 验证client通过后给client响应Allocate success response:

Transaction-Id=0xC271E932AD7446A32C234492 :事务ID要和(3)相同
SOFTWARE="Example server, version 1.17" :同(3)
LIFETIME=1200 (20 minutes) :该分配的有效期,实际有效期
XOR-RELAYED-ADDRESS=192.0.2.15:50000 :给client分配的relay地址
XOR-MAPPED-ADDRESS=192.0.2.1:7000 :client的经NAT后的映射地址
MESSAGE-INTEGRITY=... :一些加密信息

(5)收到TURN server的success响应后,client发送CreatePermission request来创建peer的权限:

Transaction-Id=0xE5913A8F460956CA277D3319 :另起一个事务,标识另外一个请求过程
XOR-PEER-ADDRESS=192.0.2.150:0 :需要创建权限的peer的IP地址,权限只与IP地址相关,与端口无关
USERNAME="George"
REALM="example.com" :2)中TURN server响应给client的
NONCE="adl7W7PeDU4hKE72jdaQvbAMcr6h39sm" :2)中TURN server响应给client的
MESSAGE-INTEGRITY=... :一些加密的信息

(6)TURN server接受创建权限请求,发送CreatePermission success resp 响应给client:

Transaction-Id=0xE5913A8F460956CA277D3319 :事务ID要和(5)相同
MESSAGE-INTEGRITY=... :一些加密信息

(7)创建权限成功后,client就可以用Send indication来发送数据给TURN server然后由TURN server将数据relay给peer:

Transaction-Id=0x1278E9ACA2711637EF7D3328 :另起一个事务,标识另外一个请求过程
XOR-PEER-ADDRESS=192.0.2.150:32102 :需要发送数据的peer监听的IP: PORT(注意IP一定要和注册权限的时候的IP一样,否则会被拒绝relay并响应错误)
DONT-FRAGMENT :请求TURN server不要将data数据分片发送
DATA=... :client需要发给peer的数据内容

(8)TURN server收到Send indication请求后,进行一些权限检查后,提取出协议包中的data属性中的数据内容,然后将数据内容用UDP协议从client的relay地址(源:192.0.2.15:50000)发送给peer(目的:192.0.2.150:32102):

-- UDP dgm ->
data=... : 发给peer的UDP 数据包

(9)peer收到UPD数据包后,如果有响应数据,那么就将响应数据用UDP发给TURN server的192.0.2.15:50000地址:

<- UDP dgm –
data=... :响应给TURN server的UDP数据包

(10)TURN server在client的relay地址(192.0.2.15:50000)那收到peer(192.0.2.150:32102)的UDP数据包,这时TURN server需要检测client是否注册了IP192.0.2.150的权限,如果没有就会丢弃该数据包。如果有那么就取出UDP数据包中的data部分,然后将data封装成TURN协议数据包,给client发送Data indication:

Transaction-Id=0x8231AE8F9242DA9FF287FEFF :协议并不要求这个事务ID要和(7)中的一样
XOR-PEER-ADDRESS=192.0.2.150:32102 :标识数据来自哪个peer
DATA=... : peer 发给client的数据内容

以上是Send and Data methods方式的核心交互过程,较为完整交互过程可以查看一下协议文档。这里有个问题需要说明一下,就是每个allocation都有一个有效期,client需要把握好有效期,及时在有效期内发送refresh request来刷新延长有效期。

7.1.2方式二、channels,具体交互过程如下:




(1)–(6)交互过程和Send and Data methods方式是一样的,这里就不在重复了。

(7)权限创建成功后,client发送ChannelBind request给TURN server请求进行channel bind。

Transaction-Id=0x6490D3BC175AFF3D84513212 :事务ID
CHANNEL-NUMBER=0x4000 :client定义的bind channel ID
XOR-PEER-ADDRESS=192.0.2.210:49191 :peer B的IP和PORT
USERNAME="George" :同方式一
REALM="example.com" :同方式一
NONCE="adl7W7PeDU4hKE72jdaQvbAMcr6h39sm" :同方式一
MESSAGE-INTEGRITY=... :同方式一

(8)TURN server接受channelBind请求后,给client发送ChannelBind success response响应

Transaction-Id=0x6490D3BC175AFF3D84513212 :事务ID,和(7)相同
MESSAGE-INTEGRITY=... |

(9)client收到ChannelBind success response后就可以通过ChannelData来发送数据了。

Channel-number=0x4000 :(7)中定义bind channel ID
Data=... :client需要发给peer B的数据内容

(10)TURN server收到ChannelData后首先从TURN协议数据包中提取出Channel-number,接着查找Channel-number是否已经绑定peer,如果没有就返回错误并丢弃数据包;如果查找到有绑定peer,那么就提前出Data属性中的数据内容用UDP协议通过client的relay地址(源:192.0.2.15:50000)发送给peer B(目的:192.0.2.210:49191)。

--- UDP datagram --------->
Data=... 发给peer B的UDP 数据包

(11)peer收到UPD数据包后,如果有响应数据,那么就将响应数据用UDP发给TURN server的192.0.2.15:50000地址

<-- UDP datagram ----------
Data=... :peer 发给client的数据内容

(12)TURN server在client的relay地址(192.0.2.15:50000)那收到peer(192.0.2.210:49191)的UDP数据包,这时TURN server需要检测client是否注册了IP192.0.2.150的权限,如果没有就会丢弃该数据包。如果有注册权限,那就检查client是有channel绑定该peer,如果有那么就通过Channel Data 方式relay数据给client,否则就通过方式一中的Data indication 方式relay数据给client

Channel-number=0x4000 :(7)中定义bind channel ID
Data=... :peer B发给client的数据内容

以上是channels的核心交互过程,较为详细的过程可以查看协议文档。方式二比方式一多了一个channel Bind的步骤,这个步骤是为了告诉TURN server接下来以Channel-number标识的协议数据包是要发给谁的,这样才使得ChannelData中只要携带一个Channel-number头部信息就可以,而不用携带方式一中的Transaction-Id、XOR-PEER-ADDRESS等额外的头部信息,减少数据量。

7.2、TCP协议的Relay

TCP协议的relay是在RFC6062中描述,其中主要有两种情况下的relay:1. Client to peer 2. Client to client。下面分别介绍两种情况下relay。

7.2.1情况一、Client to peer,网络拓扑如下:


在上面的网络拓扑下,有两种方式的relay:1. TURN Client 主动发起的relay 2. TURN Peer主动发起的relay。下面分别介绍这两种方式的交互过程。这里Turn Client表示能够理解TURN协议的主机,而Turn Peer表示普通的一般主机。

7.2.1.1)TURN Client 主动发起的relay:

在这种方式下,TURN server要能够直接连接上TURN Peer监听的端口才行。具体交互过程如下:



1)–(6)交互过程和RFC5766的是基本一样的,这里就不在重复了。

p2p技术详解:p2p中的nat穿越(打洞)方案详解(进阶分析篇)(代码片段)

目录1、NAT和NAPT2、NAT带来的问题3、P2P通信穿越NAT的技术、方法4、NAT穿越技术1:应用层网关4.1、原理4.2、限制5、NAT穿越技术2:中间件技术5.1、原理5.2、限制6、NAT穿越技术3:打洞技术(HolePunching)6.1、原理6.2、方法6.2.1N... 查看详情

p2p技术详解:p2p中的nat穿越(打洞)方案详解

目录1、内容概述2、反向链接技术:一种特殊的P2P场景(通信双方中只有一方位于NAT设备之后)3、基于UDP协议的P2P打洞技术详解3.1、原理概述3.2、典型P2P情景1:两客户端位于同一NAT设备后面(即相同内网中... 查看详情

p2p技术详解:p2p中的nat穿越(打洞)方案详解

目录1、内容概述2、反向链接技术:一种特殊的P2P场景(通信双方中只有一方位于NAT设备之后)3、基于UDP协议的P2P打洞技术详解3.1、原理概述3.2、典型P2P情景1:两客户端位于同一NAT设备后面(即相同内网中... 查看详情

p2p中的nat穿越(打洞)方案详解

...xff09;。P2P可以是一种通信模式、一种逻辑网络模型、一种技术、甚至一种理念。在P2P网络中(如右图所示),所有通信节点的地位都是对等的,每个节点都扮演着客户机和服务器双重角色,节点之间通过直接... 查看详情

p2p中的nat穿越(打洞)方案详解

...xff09;。P2P可以是一种通信模式、一种逻辑网络模型、一种技术、甚至一种理念。在P2P网络中(如右图所示),所有通信节点的地位都是对等的,每个节点都扮演着客户机和服务器双重角色,节点之间通过直接... 查看详情

p2p技术详解:nat详解——详细原理p2p简介(代码片段)

...解决方案3.1、IP端到端服务模型3.2、NAT的弊端3.3、NAT穿越技术3.3.1应用层网关3.3.2探针技术STUN和TURN3.3.3中间件技术3.3.4中继代理技术3.3.5特定协议的自穿越技术4.NAT的应用和实现4.1、NAT的应用4.1.1NAT多实例应用4.1.2NAT的高可靠性组网4... 查看详情

p2p技术详解:nat详解——详细原理p2p简介(代码片段)

...解决方案3.1、IP端到端服务模型3.2、NAT的弊端3.3、NAT穿越技术3.3.1应用层网关3.3.2探针技术STUN和TURN3.3.3中间件技术3.3.4中继代理技术3.3.5特定协议的自穿越技术4.NAT的应用和实现4.1、NAT的应用4.1.1NAT多实例应用4.1.2NAT的高可靠性组网4... 查看详情

p2p技术详解:nat详解——详细原理p2p简介(代码片段)

...解决方案3.1、IP端到端服务模型3.2、NAT的弊端3.3、NAT穿越技术3.3.1应用层网关3.3.2探针技术STUN和TURN3.3.3中间件技术3.3.4中继代理技术3.3.5特定协议的自穿越技术4.NAT的应用和实现4.1、NAT的应用4.1.1NAT多实例应用4.1.2NAT的高可靠性组网4... 查看详情

p2p技术简介

 P2P技术简介NAT(NetworkAddressTranslation)穿越(俗称打洞)技术前言:p2p已经存在于我们生活的方方面面;我们通过下载在工具(比如迅雷,bitorent,各种网盘)下载,观看live视频(ppstream,pplive)都在使用p2p,有些im也是通过p... 查看详情

p2p技术详解:p2p技术之stunturnice详解(代码片段)

...检测以确认它们之间能否进行P2P通信以及如何通信。这种技术通常称为NAT穿透(NATTraversal)。最常见的NAT穿透是基于UDP的技术,如RFC3 查看详情

p2p技术详解:p2p技术之stunturnice详解(代码片段)

...检测以确认它们之间能否进行P2P通信以及如何通信。这种技术通常称为NAT穿透(NATTraversal)。最常见的NAT穿透是基于UDP的技术,如RFC3 查看详情

详解p2p技术中的nat穿透原理(转载)

参考技术A课程地址:零声学院WebRTC入门与提高https://ke.qq.com/course/435382?tuin=137bb271技术支持QQ群:782508536最近介入测试P2P的相关逻辑,因此对NAT穿透原理做了一定程度的了解(当然也没有很深入)。本篇文章也是综合和参考了些网... 查看详情

p2p内网穿透技术

 打赏(0)     点赞(0)sailyang  2018-12-516:41  848  在公司如何访问家里的电脑?实现方法有很多,其它p2p传输文件最快,能否实现?udp打洞原理假设有两台分别处于各自的私有网络中的主机:A和B;N1和N... 查看详情

通俗易懂:快速理解p2p技术中的nat穿透原理

目录1、基础知识1.1、什么是NAT?1.2、为什么会有NAT?1.3、NAT有什么优缺点?2、NAT的实现方式2.1、静态NAT2.2、NAPT3、NAT的主要类型3.1、完全锥型NAT(FullConeNAT,后面简称FC)3.2、受限锥型NAT(RestrictedConeNAT... 查看详情

内网ip打洞-----p2p实现原理

...清楚透彻的不多。本人找几篇讲得好的来整理一下。一片技术文章,最基本的讲清楚原理。假设再有完整的能执行的源码也可,关键是要把核心部分代码分析清楚。(1)问题的由来:大部分的电脑上网都是用动态ip地址。内网的... 查看详情

p2p技术详解:p2p技术之stunturnice详解(代码片段)

目录1、内容概述2、STUN详解2.1RFC3489/STUN2.1.1报文结构2.1.2实现原理2.1.3STUN功能举例2.2RFC5389/STUN2.2.1STUN用途2.2.2报文结构2.3RFC5389与RFC3489的区别2.4新特性介绍2.4.1指纹机制2.4.2通过DNS发现服务器机制2.4.3认证和消息完整性机制2.4.4备份... 查看详情

通俗易懂:快速理解p2p技术中的nat穿透原理

...#xff0c;也叫做网络掩蔽或者IP掩蔽。NAT是一种网络地址翻译技术,主要是将内部的私有IP地址(privateIP)转换成可以在公网使用的公网IP(publicIP)。1.2、为什么会有NAT?时光回到上个世纪80年代,当时 查看详情

通俗易懂:快速理解p2p技术中的nat穿透原理

...#xff0c;也叫做网络掩蔽或者IP掩蔽。NAT是一种网络地址翻译技术,主要是将内部的私有IP地址(privateIP)转换成可以在公网使用的公网IP(publicIP)。1.2、为什么会有NAT?时光回到上个世纪80年代,当时 查看详情