关键词:
nf_conntrack: table full, dropping packet 连接跟踪表已满,开始丢包 的解决办法
中午业务说机器不能登录,我通过USM管理界面登录单板的时候发现机器没有僵死,然后一看日志,g一下子就明白了
tail -2000 /var/log/messages
Apr 10 12:48:35 bj-push-pushserver83 kernel: [95129.138804] __ratelimit: 16523 callbacks suppressed (“连接跟踪表已满,开始丢包”!相信不少用iptables的同学都会见过这个错误信息吧)
Apr 10 12:48:35 bj-xx kernel: [95129.138806] nf_conntrack: table full, dropping packet.
Apr 10 12:48:35 bj-xx kernel: [95129.138974] nf_conntrack: table full, dropping packet.
Apr 10 12:48:35 bj-xx kernel: [95129.139142] nf_conntrack: table full, dropping packet.
Apr 10 12:48:35 bj-xx kernel: [95129.139566] nf_conntrack: table full, dropping packet.
Apr 10 12:48:35 bj-xx kernel: [95129.139747] nf_conntrack: table full, dropping packet.
Apr 10 12:48:35 bj-xx kernel: [95129.139823] nf_conntrack: table full, dropping packet.
Apr 10 12:48:35 bj-xx kernel: [95129.140188] nf_conntrack: table full, dropping packet.
Apr 10 12:48:35 bj-xx kernel: [95129.140435] nf_conntrack: table full, dropping packet.
Apr 10 12:48:35 bj-xx kernel: [95129.140508] nf_conntrack: table full, dropping packet.
Apr 10 12:48:35 bj-xx kernel: [95129.141133] nf_conntrack: table full, dropping packet.
Apr 10 12:48:38 bj-xx kernel: [95131.483097] possible SYN flooding on port 443. Sending cookies.
Apr 10 12:49:01 bj-xx /usr/sbin/cron[9492]: (root) CMD (/usr/bin/tsar --cron > /dev/null 2>&1)
Apr 10 12:49:38 bj-xx kernel: [95191.382486] possible SYN flooding on port 443. Sending cookies.
Apr 10 12:50:01 bj-xx /usr/sbin/cron[9761]: (root) CMD (/opt/huawei/logs/LoadRst/suseRst.sh 2>/dev/null)
Apr 10 12:50:01 bj-xx /usr/sbin/cron[9762]: (root) CMD (/usr/bin/tsar --cron > /dev/null 2>&1)
Apr 10 12:50:38 bj-xx kernel: [95251.283552] possible SYN flooding on port 443. Sending cookies.
Apr 10 12:51:01 bj-xx /usr/sbin/cron[9990]: (root) CMD (/usr/bin/tsar --cron > /dev/null 2>&1)
Apr 10 12:51:38 bj-xx kernel: [95311.185024] possible SYN flooding on port 443. Sending cookies.
Apr 10 12:52:01 bj-xx /usr/sbin/cron[10232]: (root) CMD (/usr/bin/tsar --cron > /dev/null 2>&1)
Apr 10 12:52:38 bj-xx kernel: [95371.082714] possible SYN flooding on port 443. Sending cookies.
Apr 10 12:52:59 bj-xx sshd[9994]: pam_unix2(sshd:auth): conversation failed
Apr 10 12:52:59 bj-xx sshd[9994]: error: ssh_msg_send: write
Apr 10 12:53:01 bj-xx /usr/sbin/cron[10891]: (root) CMD (/usr/bin/tsar --cron > /dev/null 2>&1)
Apr 10 12:53:38 bj-xx kernel: [95430.983871] possible SYN flooding on port 443. Sending cookies.
Apr 10 12:54:01 bj-xx /usr/sbin/cron[11097]: (root) CMD (/usr/bin/tsar --cron > /dev/null 2>&1)
Apr 10 12:54:04 bj-xx sshd[11094]: pam_tally(sshd:account): unknown option: reset
Apr 10 12:54:04 bj-xx sshd[11094]: Accepted publickey for root from 183.62.156.75 port 16959 ssh2
Apr 10 12:54:38 bj-xx kernel: [95490.883402] possible SYN flooding on port 443. Send
都是脚本和任务计划惹的祸
脚本内容
cat /opt/xx/logs/LoadRst/suseRst.sh
#!/bin/bash
cd `dirname $0`
loadnum=`uptime|awk -F‘:‘ ‘{print $4}‘|awk -F‘,‘ ‘{print $1*1000}‘ `
fileDate=`date +"%Y%m%d_%H:%M:%S"`
#echo $fileDate
#echo $loadnum
#loadnum_ora=`uptime|awk -F‘:‘ ‘{print $4}‘|awk -F‘,‘ ‘{print $2}‘ `
softirq=`top -bn 1|awk ‘/ksoftirqd/ {print $9}‘|head -1`
echo -e $fileDate >>log
echo $softirq >>log
if [ $loadnum -ge "900" ]
then
#echo "asdfasdf"
echo -e $fileDate >>log
/sbin/rcSuSEfirewall2 restart >> log 2>&1
#else
#echo -e "${fileDate}:success" >>log
fi
任务计划
crontab -l
# DO NOT EDIT THIS FILE - edit the master and reinstall.
# (/tmp/crontab.XXXXWNPsHE installed on Wed Apr 9 20:10:57 2014)
# (Cron version V5.0 -- $Id: crontab.c,v 1.12 2004/01/23 18:56:42 vixie Exp $)
*/5 * * * * /opt/xx/logs/LoadRst/suseRst.sh 2>/dev/null
0 0 * * * /opt/xx/logs/Firewall_log/tar-firewall.sh >/dev/null 2>&1
解决办法
一、关闭防火墙。 简单粗暴,直接有效
#/etc/init.d/SuSEfirewall2_init stop
#/etc/init.d/SuSEfirewall2_setup stop
切记:在防火墙关闭状态下,不要通过iptables指令(比如 iptables -nL)来查看当前状态!因为这样会导致防火墙被启动,而且规则为空。虽然不会有任何拦截效果,但所有连接状态都会被记录,浪费资源且影响性能并可能导致防火墙主动丢包!
二、加大防火墙跟踪表的大小,优化对应的系统参数
1、状态跟踪表的最大行数的设定,理论最大值
CONNTRACK_MAX = RAMSIZE (in bytes) / 16384 / (ARCH / 32)
以64G的64位操作系统为例
CONNTRACK_MAX = 64*1024*1024*1024/16384/2 = 2097152
即时生效请执行:
sysctl –w net.netfilter.nf_conntrack_max = 2100000
或者
vi /etc/sysctl.conf
net.netfilter.nf_conntrack_max = 2100000
sysctl -p
2、其哈希表大小通常为总表的1/8,最大为1/2。
CONNTRACK_BUCKETS = CONNTRACK_MAX / 8
同样64G的64位操作系统,哈希最佳范围是 262144 ~ 1048576 。
运行状态中查看
sysctl net.netfilter.nf_conntrack_buckets
通过文件 /sys/module/nf_conntrack/parameters/hashsize 进行设置。
或者新建 /etc/modprobe.d/iptables.conf,重新加载模块才生效:
options nf_conntrack hashsize=262144
3、还有些相关的系统参数`sysctl -a | grep nf_conntrack`可以调优(/etc/sysctl.conf ):
net.netfilter.nf_conntrack_max = 1048576
net.netfilter.ip_conntrack_tcp_timeout_established = 3600
net.netfilter.nf_conntrack_tcp_timeout_close_wait = 60
net.netfilter.nf_conntrack_tcp_timeout_fin_wait = 120
net.netfilter.nf_conntrack_tcp_timeout_time_wait = 120
三、使用祼表,添加“不跟踪”标识。如下示例更适合桌面系统或随意性强的服务器。因为它开启了连接的状态机制,方便和外部通信。修改 /etc/sysconfig/iptables 文件:
*raw
# 对TCP连接不启用追踪,解决ip_contrack满导致无法连接的问题
-A PREROUTING -p tcp -m tcp --dport 80 -j NOTRACK
-A PREROUTING -p tcp -m tcp --dport 22 -j NOTRACK
-A PREROUTING -p tcp -m tcp --dport 21 -j NOTRACK
-A PREROUTING -p tcp -m tcp --dport 11211 -j NOTRACK
-A PREROUTING -p tcp -m tcp --dport 60000:60100 -j NOTRACK
-A PREROUTING -p tcp -s 192.168.10.1 -j NOTRACK
-A OUTPUT -p tcp -m tcp --sport 80 -j NOTRACK
-A OUTPUT -p tcp -m tcp --sport 22 -j NOTRACK
-A OUTPUT -p tcp -m tcp --sport 21 -j NOTRACK
-A OUTPUT -p tcp -m tcp --sport 11211 -j NOTRACK
-A OUTPUT -p tcp -m tcp --sport 60000:60100 -j NOTRACK
-A OUTPUT -p tcp -s 192.168.10.1 -j NOTRACK
COMMIT
*filter
# 允许ping
-A INPUT -p icmp -j ACCEPT
# 对本地回路、第5张网卡放行
-A INPUT -i lo -j ACCEPT
-A INPUT -i eth4 -j ACCEPT
# 连接状态跟踪,已建立的连接允许传输数据
-A INPUT -m state --state ESTABLISHED,RELATED,INVALID,UNTRACKED -j ACCEPT
# filter表里存在但在raw里不存在的,默认会进行连接状态跟踪
-A INPUT -s 192.168.10.31 -p tcp --dport 2669 -j ACCEPT
-A INPUT -j REJECT --reject-with icmp-host-prohibited
-A FORWARD -j REJECT --reject-with icmp-host-prohibited
COMMIT
或者干脆对所有连接都关闭跟踪,不跟踪任何连接状态。不过规则就限制比较严谨,进出都需要显式申明。示例如下:
*raw
# 对TCP/UDP连接不启用追踪,解决nf_contrack满导致无法连接的问题
-A PREROUTING -p tcp -j NOTRACK
-A PREROUTING -p udp -j NOTRACK
-A OUTPUT -p tcp -j NOTRACK
-A OUTPUT -p udp -j NOTRACK
COMMIT
*filter
# 允许ping
-A INPUT -p icmp -j ACCEPT
# 对本地回路和eth1放行
-A INPUT -i lo -j ACCEPT
-A INPUT -i eth1 -j ACCEPT
# 只允许符合条件的连接进行传输数据
-A INPUT -p tcp --dport 22 -j ACCEPT
-A INPUT -p tcp --sport 80 -j ACCEPT
-A INPUT -p udp --sport 53 -j ACCEPT
-A INPUT -p udp --sport 123 -j ACCEPT
# 出去的包都不限制
-A OUTPUT -p tcp -j ACCEPT
-A OUTPUT -p udp -j ACCEPT
# 输入和转发的包不符合规则的全拦截
-A INPUT -j REJECT --reject-with icmp-host-prohibited
-A FORWARD -j REJECT --reject-with icmp-host-prohibited
COMMIT
效果如下图:
四、删除连接跟踪模块`lsmod | grep nf_conntrack`,不使用连接状态的跟踪功能。
1、删除nf_conntrack和相关的依赖模块,示例:
rmmod nf_conntrack_ipv4
rmmod nf_conntrack_ipv6
rmmod xt_state
rmmod xt_CT
rmmod xt_conntrack
rmmod iptable_nat
rmmod ipt_REDIRECT
rmmod nf_nat
rmmod nf_conntrack
2、禁用跟踪模块,把它加到黑名单(/etc/modprobe.d/blacklist.conf ):
# 禁用 nf_conntrack 模块
blacklist nf_conntrack
blacklist nf_conntrack_ipv6
blacklist xt_conntrack
blacklist nf_conntrack_ftp
blacklist xt_state
blacklist iptable_nat
blacklist ipt_REDIRECT
blacklist nf_nat
blacklist nf_conntrack_ipv4
3、去掉防火墙里所有和状态相关的配置(比如state状态,NAT功能),示例:
*filter
# 允许ping
-A INPUT -p icmp -j ACCEPT
# 对本地回路和第2张网卡放行
-A INPUT -i lo -j ACCEPT
-A INPUT -i eth1 -j ACCEPT
# 对端口放行
-A INPUT -p tcp --dport 1331 -j ACCEPT
# 对IP放行
-A INPUT -s 192.168.10.31 -j ACCEPT
#允许本机进行DNS查询
-A INPUT -p udp --sport 53 -j ACCEPT
-A OUTPUT -p udp -j ACCEPT
-A INPUT -j REJECT --reject-with icmp-host-prohibited
-A FORWARD -j REJECT --reject-with icmp-host-prohibited
COMMIT
另外,防火墙的配置文件最好也改下,不要加载任何额外模块(/etc/sysconfig/iptables-config):
IPTABLES_MODULES="" # 不需要任何附加模块
IPTABLES_MODULES_UNLOAD="no" # 避免iptables重启后sysctl中对应的参数被重置为系统默认值
IPTABLES_SAVE_ON_STOP="no"
IPTABLES_SAVE_ON_RESTART="no"
IPTABLES_SAVE_COUNTER="no"
IPTABLES_STATUS_NUMERIC="yes"
IPTABLES_STATUS_VERBOSE="no"
IPTABLES_STATUS_LINENUMBERS="no"
往往我们对连接的跟踪都是基于操作系统的(netstat / ss ),防火墙的连接状态完全是它自身实现产生的。
本文出自 “俊” 博客,请务必保留此出处http://2364821.blog.51cto.com/2354821/1393736
解决nf_conntrack:tablefull,droppingpacket问题
echo"6553500">/proc/sys/net/nf_conntrack_maxiptables-traw-APREROUTING-ptcp-mtcp--dport80-jNOTRACKiptables-traw-AOUTPUT-ptcp-mtcp--dport80-jNOTRACK原理:http://jerrypeng.me/2014/12/08/dreadful-nf-connt 查看详情
nf_conntrack:tablefull,droppingpacket解决方案
...经也困扰过我好长一段时间。此问题的解决办法有四种(nf_conntrack在CentOS5/kernel<=2.6.19中名为ip_conntrack):一、关闭防火墙。简单粗暴,直接有效chkconfig iptables off chkconfig ip 查看详情
解决linux系统nf_conntrack:tablefull,droppingpacket的几种思路
nf_conntrack工作在3层,支持IPv4和IPv6,而ip_conntrack只支持IPv4。目前,大多的ip_conntrack_*已被nf_conntrack_*取代,很多ip_conntrack_*仅仅是个alias,原先的ip_conntrack的/proc/sys/net/ipv4/netfilter/依然存在,但是新的nf_conntrack在/proc/sys/n 查看详情
nf_conntrack之解决方案
1.现象在/var/log/message中出现以下信息Dec811:22:29product08kernel:nf_conntrack:tablefull,droppingpacket.Dec811:22:29product08kernel:nf_conntrack:tablefull,droppingpacket.2.nf_conntrack是什么?nf_conntrack(在老版本的Linu 查看详情
linux云主机cpu一直很高降不下来,系统日志报nf_conntrack:tablefull,droppingpacket.
在启用了iptablesweb服务器上,流量高的时候经常会出现下面的错误:ip_conntrack:tablefull,droppingpacket这个问题的原因是由于web服务器收到了大量的连接,在启用了iptables的情况下,iptables会把所有的连接都做链接跟踪处理,这样iptables... 查看详情
[转]你真的了解nf_conntrack么?
...小分队),主要是基于在奥创版本升级过程中遇到的一个nf_conntrack问题展开的。该问题在日常开启了iptables的高并发运维场景中也会经常出现。该文章主要是结合实际场景分析了nf_conntrack模块存储在hashtable中的时间和空间复杂度... 查看详情
跳转指令及其跳转条件
ja跳转指令,条件:CF=0和ZF=0jab跳转指令,条件:CF=0jb跳转指令,条件:CF=1jbe跳转指令,条件:CF=1或者ZF=1jc跳转指令,条件:CF=1jcxz跳转指令,条件:CX=0je跳转指令,条件:ZF=1jecxz跳转指令,条件:ECX=0jg跳转指令,条件:ZF=0和SF... 查看详情
string转数组,数组转ist,list转数组,数组转string
privatestringOrderBonds(stringbonds){string[]lists=bonds.Split(‘,‘);List<string>newList=newList<string>(lists);newList.Sort();lists=newList.ToArray();returnstring.Join(",",lists);} 查看详情
经纬度之间互相转换(高德转百度,高德转wgs84,百度转高德,百度转wgs84,wgs84转百度,wgs84转高德)
/***wgs84地心坐标系GPS原始知坐标体系。在中国,任何一个地图产品都不允许使用GPS坐标,据说是为了保密。GoogleEarth及GPS芯片使用*bd09百度*gcj02火星坐标系高德、腾讯、Google中国地图使用*/letlocationUtils=;varPI=3.14159265358979324varx_pi=PI*... 查看详情
剑指offer知识点list转int[],list转string,string转int,char[]转string,string转char[],list转string[](代码片段)
[1]List转int[]List<Integer>list=newArrayList<Integer>();list.stream().mapToInt(Integer::intValue).toArray();//方法一list.stream().mapToInt(i->i).toArray();//方法二[2]List转StringList<Str 查看详情
剑指offer知识点list转int[],list转string,string转int,char[]转string,string转char[],list转string[](代码片段)
[1]List转int[]List<Integer>list=newArrayList<Integer>();list.stream().mapToInt(Integer::intValue).toArray();//方法一list.stream().mapToInt(i->i).toArray();//方法二[2]List转StringList<Str 查看详情
datatable转jsonjson转datatable
DataTable转JsonJson转DataTable/// <summary> /// DataTable转Json /// </summary>&nbs 查看详情
《每天5分钟玩转容器技术》(转)
《每天5分钟玩转容器技术》《每天5分钟玩转容器技术》 查看详情
php中数组---转--jsonjson----转----数组
php中数组-->jsonjson-->数组1.数组转json$json=json_encode(数组名)数组转json字符串2,json转数组$arr=json_decode(json字符串,[true])不加true第一次转直接转为对象加true才转为数组true是可选参数 查看详情
剑指offer知识点list转int[],list转string,string转int,char[]转string,string转char[],list转string[](代码片段)
[1]List转int[]List<Integer>list=newArrayList<Integer>();list.stream().mapToInt(Integer::intValue).toArray();//方法一list.stream().mapToInt(i->i).toArray();//方法二[2]List转StringList<String>l=newArrayList<>();l.stream().map(String::valueOf).collect(Collecto... 查看详情
剑指offer知识点list转int[],list转string,string转int,char[]转string,string转char[],list转string[](代码片段)
[1]List转int[]List<Integer>list=newArrayList<Integer>();list.stream().mapToInt(Integer::intValue).toArray();//方法一list.stream().mapToInt(i->i).toArray();//方法二[2]List转StringList<String>l=newArrayList<>();l.stream().map(String::valueOf).collect(Collecto... 查看详情
js数组转json,json转数组
//数组转json串vararr=[1,2,3,{a:1}];JSON.stringify(arr);//json字符串转数组varjsonStr=‘[1,2,3,{"a":1}]‘;JSON.parse(jsonStr); 查看详情
图片转ascii网站(图像转字符图片转字符字符画字符图图像转ascii)(代码片段)
参考文章:https://www.qtool.net/imgascii示例:................,..::......,;tLC800L,....................,;1fGCC80888CGC0f:..........,,,,,,,,:;1tLC0000CCGGGGGGGGG80G;............,..:itLC0000000000 查看详情