Blog 服务器 1 月 8 日 11:41,blog 服务器网络中断。通过 VMWare console 登上去,看到下列错误提示,应该是未知内核问题(Debian wheezy 官方 3.2 内核):

Untitled

为尽快恢复服务,服务器于 11:45 重启。但重启后数据库没有成功启动,提示下列错误,这是由于 blog 的数据库数量较多,MySQL 达到了同时打开文件数量的上限。

Untitled

/etc/security/limits.conf 中做如下修改,并重新启动服务器。

* soft nofile 1024000<br></br>* hard nofile 1024000<br></br>* soft nproc 10240<br></br>* hard nproc 10240<br></br>

11:53 重启后数据库没有成功启动。手动启动 MySQL,在十秒左右的 crash recovery 后成功启动。blog、freeshell 控制面板恢复正常,但发现监控国外 VPS 隧道的脚本变成了 lug-vpn 服务器上的版本,导致国外隧道中断,这是由于之前 git pull 的时候不慎把 lug-vpn 服务器上的配置拉下来了。

为了恢复到干净的网络配置,12:05 再次重启服务器,以为所有服务恢复正常了。但端口映射事实上不能正常工作,当时没发现就去吃饭了。Qijiang Fan 和 崔天一 分别报了 bug,吃饭回来我执行了重置 freeshell 与 blog 服务器之间 GRE tunnel 的脚本,就好了。该脚本忘了放进 /etc/rc.local 里,因此重启时没有执行。

本次故障造成 blog 和 freeshell 控制面板 20 分钟左右的服务中断,端口映射服务中断约一个小时。