Blog 服务器 1 月 8 日 11:41,blog 服务器网络中断。通过 VMWare console 登上去,看到下列错误提示,应该是未知内核问题(Debian wheezy 官方 3.2 内核):
为尽快恢复服务,服务器于 11:45 重启。但重启后数据库没有成功启动,提示下列错误,这是由于 blog 的数据库数量较多,MySQL 达到了同时打开文件数量的上限。
在 /etc/security/limits.conf
中做如下修改,并重新启动服务器。
* soft nofile 1024000
* hard nofile 1024000
* soft nproc 10240
* hard nproc 10240
11:53 重启后数据库没有成功启动。手动启动 MySQL,在十秒左右的 crash recovery 后成功启动。blog、freeshell 控制面板恢复正常,但发现监控国外 VPS 隧道的脚本变成了 lug-vpn 服务器上的版本,导致国外隧道中断,这是由于之前 git pull 的时候不慎把 lug-vpn 服务器上的配置拉下来了。
为了恢复到干净的网络配置,12:05 再次重启服务器,以为所有服务恢复正常了。但端口映射事实上不能正常工作,当时没发现就去吃饭了。Qijiang Fan 和 崔天一 分别报了 bug,吃饭回来我执行了重置 freeshell 与 blog 服务器之间 GRE tunnel 的脚本,就好了。该脚本忘了放进 /etc/rc.local
里,因此重启时没有执行。
本次故障造成 blog 和 freeshell 控制面板 20 分钟左右的服务中断,端口映射服务中断约一个小时。