故障复盘-基础设施-服务器断电导致Linux重启iptables防火墙规则丢失docker容器间无法连接

今天有一个学生机房停电了，因为服务器的防火墙规则没搞持久化，所以导致docker的容器之间网络不通了。在这里复盘一下。

总结

问题描述：容器间网络不通

持续时间：预估超过12小时

故障类型：基础设施

故障影响：保密

影响

略

时间线

不准确时间估算

2024-01-06 晚 市电停电导致服务器断电，来电后重启

2024-01-07 13:25 重启docker0网卡，导致规则再次丢失

2024-01-07 14:25 重启docker防火墙路由恢复

2024-01-07 15:30 修改rabbitmq地址配置后服务均恢复

根因分析

1、服务器防火墙规则丢失的根本原因是没有做持久化，重启网卡后丢失。
2、没有做跨机房、跨地区灾备

临时解决方案

方案一、重启docker

因为已经停电了，服务器已经重启，是单点的docker服务，所以直接重启docker规则就会恢复

systemctl restart docker

方案二、发送信号让 dockerd 进程重载 iptables 规则

kill -SIGHUP $(pidof dockerd)

后续跟进

• 注意跨机房配置lvs，肯定是跨网段的，具体可以网上查查怎么配置。
• 对于无状态的服务而言，直接切肯定没问题；如果是有状态的服务，比如mysql，还要做相应的定时备份。
• 对于mysql一类服务，从库升级为主库的时候，如果是跨地区，如果没有网速慢的问题，原主库恢复后设置为从库，后续可以继续这么用。
• 如果有网速问题，还得再切换回来才行。

后续我会更新更详细的运维知识，欢迎收藏本站。