k8s中netty服务器容器tcp连接数量优化

netty的http1服务器在运行一段时间后会无法提供服务，返回客户端socket hang up 使用apipost测试抓包显示三次握手后被reset，经查是连接数过多

ps：客户端使用了大量短连接，如果能改成长连接就会消耗更少的连接，但是客户端逻辑无法掌控，只能修改服务器。 另外能保证客户端完成四次挥手也可以避免，但同样客户端逻辑无法掌控。

修改net/core/somaxconn

登录容器，cat /proc/sys/net/core/somaxconn显示128，对于一个服务器来说，这个限制太小了，可以放大。 但是k8s把容器的参数分类了，大部分的参数都属于unsafe，不能直接修改。

第一步：修改kubelet启动参数

kubelet启动增加参数：kubelet --allowed-unsafe-sysctls ‘net.core.somaxconn’ kubelet可能是通过配置文件启动的，比如/etc/systemd/system/kubelet.service.d/10-kubeadm.conf 修改后重启kubelet：systemctl restart kubelet 确认是否生效：

第二步：修改netty的yaml

在Deployment中spec-template-spec-containers下增加securityContext：

securityContext: sysctls: - name: net.core.somaxconn value: "1024"

启动pod后查看somaxconn：

根据连接状态优化

根据连接状态，如果是TIME_WAIT则修改TIME_WAIT等待时间（（主动关闭的一方是TIME_WAIT，被动关闭一方是CLOSE_WAIT），如果是ESTABLISHED且大部分是闲置不用的连接则增加闲置关闭逻辑。 cat /proc/net/tcp查看到tcp连接数非常多，连接状态01表示已连接，0A表示监听中，6表示TIME_WAIT

tcp状态值说明：

TCP_ESTABLISHED:1 TCP_SYN_SENT:2 TCP_SYN_RECV:3 TCP_FIN_WAIT1:4 TCP_FIN_WAIT2:5 TCP_TIME_WAIT:6 TCP_CLOSE:7 TCP_CLOSE_WAIT:8 TCP_LAST_ACL:9 TCP_LISTEN:10 TCP_CLOSING:11 修改 TIME_WAIT 连接数量

需要修改关闭连接的等待时间，这也是k8s的unsafe参数

步骤一 修改kubelet配置，增加： --allowed-unsafe-sysctls net.core.somaxconn,net.ipv4.* 步骤二 修改deployment： securityContext: sysctls: - name: net.core.somaxconn value: "1024" - name: net.ipv4.tcp_fin_timeout value: "30" 增加TCP空闲关闭逻辑

HTTP/1.1应该由客户端关闭连接，尤其是在keep-live情况下。 但是客户端可能没有没有执行四次挥手就关闭了（没有发送FIN），这时服务端就一直认为是ESTABLISHED，需要增加空闲关闭逻辑，即一个链接上一段时间内没有收到报文也没有发送报文就关闭。

public void initChannel(SocketChannel ch) { ChannelPipeline p = ch.pipeline(); //闲置10分钟关闭连接 p.addLast(new IdleStateHandler(0, 0, 600, TimeUnit.SECONDS)); p.addLast(new IdleEventHandler()); p.addLast...//正常报文处理 } public static class IdleEventHandler extends ChannelDuplexHandler { @Override public void userEventTriggered(ChannelHandlerContext ctx, Object paramObject) throws Exception { if (paramObject instanceof IdleStateEvent) { IdleState state = ((IdleStateEvent) paramObject).state(); if (state == IdleState.ALL_IDLE) { //关闭连接 logger.info(ctx.channel().remoteAddress() + "idel to close!"); ctx.channel().close(); } } else { super.userEventTriggered(ctx, paramObject); } } }