关键词：
在平时客户端socket开发中，如果客户端连续不断的向服务端发送数据包时，服务端接收的数据会出现两个数据包粘在一起的情况，这就是TCP协议中经常会遇到的粘包以及拆包的问题。
我们都知道TCP属于传输层的协议，传输层除了有TCP协议外还有UDP协议。那么UDP是否会发生粘包或拆包的现象呢？答案是不会。UDP是基于报文发送的，从UDP的帧结构可以看出，在UDP首部采用了16bit来指示UDP数据报文的长度，因此在应用层能很好的将不同的数据报文区分开，从而避免粘包和拆包的问题。而TCP是基于字节流的，虽然应用层和TCP传输层之间的数据交互是大小不等的数据块，但是TCP把这些数据块仅仅看成一连串无结构的字节流，没有边界；另外从TCP的帧结构也可以看出，在TCP的首部没有表示数据长度的字段，基于上面两点，在使用TCP传输数据时，才有粘包或者拆包现象发生的可能。
TCP为提高性能，发送端会将需要发送的数据发送到缓冲区，等待缓冲区满了之后，再将缓冲中的数据发送到接收方。同理，接收方也有缓冲区这样的机制，来接收数据。
粘包/拆包表现形式
现在假设客户端向服务端连续发送了两个数据包，用packet1和packet2来表示，那么服务端收到的数据可以分为三种，现列举如下：
第一种情况，接收端正常收到两个数据包，即没有发生拆包和粘包的现象，此种情况不在本文的讨论范围内。
第二种情况，接收端只收到一个数据包，由于TCP是不会出现丢包的，所以这一个数据包中包含了发送端发送的两个数据包的信息，这种现象即为粘包。这种情况由于接收端不知道这两个数据包的界限，所以对于接收端来说很难处理。
第三种情况，这种情况有两种表现形式，如下图。接收端收到了两个数据包，但是这两个数据包要么是不完整的，要么就是多出来一块，这种情况即发生了拆包和粘包。这两种情况如果不加特殊处理，对于接收端同样是不好处理的。
粘包/拆包发生原因
发生TCP粘包或拆包有很多原因，现列出常见的几点，可能不全面，欢迎补充
- 要发送的数据大于TCP发送缓冲区剩余空间大小，将会发生拆包。
- 待发送数据大于MSS（最大报文长度），TCP在传输前将进行拆包。
- 要发送的数据小于TCP发送缓冲区的大小，TCP将多次写入缓冲区的数据一次发送出去，将会发生粘包。
- 接收数据端的应用层没有及时读取接收缓冲区中的数据，将发生粘包。
发送端需要等缓冲区满才发送出去，造成粘包（发送数据时间间隔很短，数据了很小，会当做一个包发出去，产生粘包）
########################
#服务端
from socket import *
phone = socket(AF_INET,SOCK_STREAM)
phone.setsockopt(SOL_SOCKET,SOCK_STREAM,1)
phone.bind(('127.0.0.1',8080))
phone.listen(5)
print('start running...')
coon,addr = phone.accept() #等待连接
data1 = coon.recv(10)
data2 = coon.recv(10)
print('------------>',data1.decode('utf-8'))
print('------------>',data2.decode('utf-8'))
coon.close()
phone.close()
###############################
#客户端
from socket import *
import time
phone = socket(AF_INET,SOCK_STREAM)
phone.connect(('127.0.0.1',8080))
phone.send('hello'.encode('utf-8'))
phone.send('helloworld'.encode('utf-8'))
phone.close()接收方不及时接收缓冲区的包，造成多个包接收（客户端发送了一段数据，服务端只收了一小部分，服务端下次再收的时候还是从缓冲区拿上次遗留的数据，产生粘包）
########################
#服务端
from socket import *
phone = socket(AF_INET,SOCK_STREAM)
phone.setsockopt(SOL_SOCKET,SOCK_STREAM,1)
phone.bind(('127.0.0.1',8080))
phone.listen(5)
print('start running...')
coon,addr = phone.accept() #等待连接
data1 = coon.recv(2) #一次没有接收完整
data2 = coon.recv(10) #下一次接收的时候会先取旧的数据,然后取新的
# data3 = coon.recv(1024) #接收等5秒后的信息
print('------------>',data1.decode('utf-8'))
print('------------>',data2.decode('utf-8'))
# print('------------>',data3.decode('utf-8'))
coon.close()
phone.close()
###############################
#客户端
from socket import *
import time
phone = socket(AF_INET,SOCK_STREAM)
phone.connect(('127.0.0.1',8080))
phone.send('hello'.encode('utf-8'))
time.sleep(5)
phone.send('haiyan'.encode('utf-8'))
phone.close()
粘包/拆包解决办法
通过以上分析，我们清楚了粘包或拆包发生的原因，那么如何解决这个问题呢？解决问题的关键在于如何给每个数据包添加边界信息，常用的方法有如下几个：
- 发送端给每个数据包添加包首部，首部中应该至少包含数据包的长度，这样接收端在接收到数据后，通过读取包首部的长度字段，便知道每一个数据包的实际长度了。
- 发送端将每个数据包封装为固定长度（不够的可以通过补0填充），这样接收端每次从接收缓冲区中读取固定长度的数据就自然而然的把每个数据包拆分开来。
- 可以在数据包之间设置边界，如添加特殊符号，这样，接收端通过这个边界就可以将不同的数据包拆分开。
问题的根源在于，接收端不知道发送端将要传送的字节流的长度，所以解决粘包的方法就是围绕，如何让发送端在发送数据前，把自己将要发送的字节流总大小让接收端知晓，然后接收端来一个死循环接收完所有数据
########################
#服务端
import socket
import subprocess
import struct
phone = socket.socket(socket.AF_INET,socket.SOCK_STREAM) #买手机
phone.bind(('127.0.0.1',8080)) #绑定手机卡
phone.listen(5) #阻塞的最大数
print('start runing.....')
while True: #链接循环
coon,addr = phone.accept()# 等待接电话
print(coon,addr)
while True: #通信循环
# 收发消息
cmd = coon.recv(1024) #接收的最大数
print('接收的是：%s'%cmd.decode('utf-8'))
#处理过程
res = subprocess.Popen(cmd.decode('utf-8'),shell = True,
stdout=subprocess.PIPE, #标准输出
stderr=subprocess.PIPE #标准错误
)
stdout = res.stdout.read()
stderr = res.stderr.read()
#先发报头(转成固定长度的bytes类型，那么怎么转呢？就用到了struct模块)
#len(stdout) + len(stderr)#统计数据的长度
header = struct.pack('i',len(stdout)+len(stderr))#制作报头
coon.send(header)
#再发命令的结果
coon.send(stdout)
coon.send(stderr)
coon.close()
phone.close()
###############################
#客户端
import socket
import struct
phone = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
phone.connect(('127.0.0.1',8080)) #连接服
while True:
# 发收消息
cmd = input('请你输入命令>>：').strip()
if not cmd:continue
phone.send(cmd.encode('utf-8')) #发送
#先收报头
header_struct = phone.recv(4) #收四个
unpack_res = struct.unpack('i',header_struct)
total_size = unpack_res[0] #总长度
#后收数据
recv_size = 0
total_data=b''
while recv_size<total_size: #循环的收
recv_data = phone.recv(1024) #1024只是一个最大的限制
recv_size+=len(recv_data) #
total_data+=recv_data #
print('返回的消息：%s'%total_data.decode('gbk'))
phone.close()解决粘包问题升级版
########################
#服务端
import socket
import subprocess
import struct
import json
phone = socket.socket(socket.AF_INET,socket.SOCK_STREAM) #买手机
phone.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1)
phone.bind(('127.0.0.1',8080)) #绑定手机卡
phone.listen(5) #阻塞的最大数
print('start runing.....')
while True: #链接循环
coon,addr = phone.accept()# 等待接电话
print(coon,addr)
while True: #通信循环
# 收发消息
cmd = coon.recv(1024) #接收的最大数
print('接收的是：%s'%cmd.decode('utf-8'))
#处理过程
res = subprocess.Popen(cmd.decode('utf-8'),shell = True,
stdout=subprocess.PIPE, #标准输出
stderr=subprocess.PIPE #标准错误
)
stdout = res.stdout.read()
stderr = res.stderr.read()
# 制作报头
header_dic =
'total_size': len(stdout)+len(stderr), # 总共的大小
'filename': None,
'md5': None
header_json = json.dumps(header_dic) #字符串类型
header_bytes = header_json.encode('utf-8') #转成bytes类型(但是长度是可变的)
#先发报头的长度
coon.send(struct.pack('i',len(header_bytes))) #发送固定长度的报头
#再发报头
coon.send(header_bytes)
#最后发命令的结果
coon.send(stdout)
coon.send(stderr)
coon.close()
phone.close()
###############################
#客户端
import socket
import struct
import json
phone = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
phone.connect(('127.0.0.1',8080)) #连接服务器
while True:
# 发收消息
cmd = input('请你输入命令>>：').strip()
if not cmd:continue
phone.send(cmd.encode('utf-8')) #发送
#先收报头的长度
header_len = struct.unpack('i',phone.recv(4))[0] #吧bytes类型的反解
#在收报头
header_bytes = phone.recv(header_len) #收过来的也是bytes类型
header_json = header_bytes.decode('utf-8') #拿到json格式的字典
header_dic = json.loads(header_json) #反序列化拿到字典了
total_size = header_dic['total_size'] #就拿到数据的总长度了
#最后收数据
recv_size = 0
total_data=b''
while recv_size<total_size: #循环的收
recv_data = phone.recv(1024) #1024只是一个最大的限制
recv_size+=len(recv_data) #有可能接收的不是1024个字节，或许比1024多呢，
# 那么接收的时候就接收不全，所以还要加上接收的那个长度
total_data+=recv_data #最终的结果
print('返回的消息：%s'%total_data.decode('gbk'))
phone.close()struct模块
#该模块可以把一个类型，如数字，转成固定长度的bytes类型
import struct
res = struct.pack('i',12345)
print(res,len(res),type(res)) #长度是4
res2 = struct.pack('i',12345111)
print(res,len(res),type(res2)) #长度也是4
unpack_res =struct.unpack('i',res2)
print(unpack_res) #(12345111,)
print(unpack_res[0]) #12345111
tcp的粘包和拆包示例以及使用lengthfieldframedecoder来解决的方法(代码片段)
粘包和拆包是什么?TCP协议是一种字节流协议,没有记录边界,我们在接收消息的时候,不能人为接收到的数据包就是一个整包消息当客户端向服务器端发送多个消息数据的时候,TCP协议可能将多个消息数据合并成一个数据包进行发送,... 查看详情
tcp的粘包拆包问题+解决方案
为什么TCP有而UDP没有粘包❓1️⃣因为udp的数据包有保护边界。2️⃣tcp是以字节流的形式，也就是没有边界，所以应用层的数据在传输层的时候就可能会出现粘包和拆包问题。出现这种问题的原因图解 查看详情
tcp粘包/拆包问题
...考虑TCP底层的粘包/拆包机制。TCP粘包/拆包TCP是个“流”协议，所谓流，就是没有界限的一串数据。大家可以想想河里的流水，是连成一片的，其间并没有分界线。TCP底层并不了解上层业务数据的具体含义，它会根据TCP缓冲区的... 查看详情
java粘包/半包原理与拆包实战（史上最全）
...天程序，在前面的文章中，尼恩已经再一次的进行了通讯协议的重新选择。这就是：放弃了大家非常熟悉的json格式，选择了性能更佳的Protobuf协议。在上一 查看详情
tcp粘包与半包的核心
...务端与客户端进行三次握手。三次握手是操作系统层面的协议栈完成的，我们在应用层编程感知不到，直到三次握手完成，客户端与服务端建立了一个TCP连接，我们步骤1中阻塞在accept方法的线程被唤醒。 3.连接建立后，操作... 查看详情
tcp粘包拆包基本解决方案
上个小节我们浅析了在Netty的使用的时候TCP的粘包和拆包的现象，Netty对此问题提供了相对比较丰富的解决方案 Netty提供了几个常用的解码器，帮助我们解决这些问题，其实上述的粘包和拆包的问题，归根结底的解决方案就是... 查看详情
网络1-28(代码片段)
...网络编程6.网络编程过程,建立一个socket连接步骤过程7.tcp协议过程8.TCP有哪些状态?9.TCP的LISTEN状态是什么?10.TCP的CLOSE_WAIT状态是什么?11.TCP的TIME_WAIT状态存在的理由 查看详情
互联网协议—tcp—拥塞控制（网络质量保障）
目录文章目录目录拥塞控制慢启动算法拥塞避免算法拥塞发生算法发生超时重传的拥塞发生算法发生快速重传的拥塞发生算法快速恢复算法BBR算法粘包与拆包拥塞控制前面的流量控制是避免「发送方」的数据填满「接收方」的缓... 查看详情
tcp粘包和拆包
...接收的数据会出现两个数据包粘在一起的情况，这就是TCP协议中经常会遇到的粘包以及拆包的问题。传输层的UDP协议是否会发生粘包或者拆包问题？不会。UDP是基于报文发送的，在UDP首部采用了16bit来指示UDP数据报文的长度，因... 查看详情
粘包拆包(分包)半包
粘包、拆包、半包理解TCP是一种面向流的网络层传输协议，在使用TCP作为传输层协议时，可保证数据的顺序性和可靠性。应用层在使用TCP协议传输数据时，可采取两种方式：短链接：客户端同服务端完成一次通信（客户端只发送... 查看详情
golang中解决tcp传输中的粘包问题
golang中解决tcp传输中的粘包问题什么是粘包？最近在写https://github.com/UsherYue/ActivedRouter(一个http/https反向代理服务)的时候遇到了粘包问题,如果有做过网络编程的小伙伴应该都知道粘包问题,举个例子:比如客户端在和服务器进行通... 查看详情
解决粘包和拆包问题(代码片段)
...端和客户端，接下来我们来讨论如何使用解码器来解决TCP的粘包和拆包问题我们知道，TCP是以一种流的方式来进行网络转播的，当tcp三次握手简历通信后，客户端服务端之间就建立了一种通讯管道，我们可以想象成自来水管道，... 查看详情
tcp的粘包问题
...），一条消息有多少字节对应用程序是不可见的，因此TCP协议是面向流 查看详情
tcp粘包问题(代码片段)
...接收的数据会出现两个数据包粘在一起的情况，这就是TCP协议中经常会遇到的粘包以及拆包的问题。我们都知道TCP属于传输层的协议，传输层除了有TCP协议外还有UDP协议。那么UDP是否会发生粘包或拆包的现象呢？答案是不会。UDP... 查看详情
tcp粘包拆包
一、什么是粘包拆包？粘包拆包是TCP协议传输中一种现象概念。TCP是传输层协议，他传输的是“流”式数据，TCP并不知道传输是哪种业务数据，或者说，并不关心。它只是根据缓冲区状况将数据进行包划分，然后进行传输... 查看详情
ipsec传输模式下esp报文的装包与拆包过程-择日而终的博客(代码片段)
...TaskForce，Internet工程任务组）的IPSec小组建立的一组IP安全协议集。IPSec定义了在网络层使用的安全服务，其功能包括数据加密、对网络单元的访问控制、数据源地址验证、数据完整性检查和防止重放攻击。IPSec是安全联网的长期... 查看详情
网络i/o编程模型21netty的粘包和拆包问题的解决方案(代码片段)
...#xff0c;需要在接收端处理消息边界问题，也就是我们说的粘包，拆包问题。1.2粘包和拆包假设有两个数据包D1和D2，由于服务端一次读取到直接数是不确定的，所以可能存在以下4种情况：1.客户端分别发送两个独... 查看详情
tcp-缓冲区和粘包、拆包有啥关系？
...术A 你了解TCP缓冲区吗？它和TCP传输中的粘包和拆包有什么关系呢？粘包和拆包分别发生在TCP的那个阶段呢？ 先简单回顾下TCP概念：在网络传输中TCP是面向连接的、可靠的、双通道、字节... 查看详情