Mirrors 关闭虚拟机导致主机网络中断

今天(2013年12月21日)18:40,我(boj)在 mirrors 的 LXC 虚拟机里 init 0 了一下,本来以为跟 lxc-stop 一样的效果,但主机连不上了。原因是虚拟机没有做网络隔离,虚拟机 init 0 过程中会关闭网卡,然后主机网络就 down 了。

事故发生时虽然网络中心值班老师已经下班,但 jameszhang 老师还在东区,于是帮忙打开了机房门。zguangyu 重启了主机,但重启后屏幕显示 GRUB 四个字母(还没到 GRUB 菜单)就卡住了。截至 20:00 发稿时,zguangyu 仍然在机房修理。

Update (21:00):20:45 mirrors 各项服务已恢复正常。宕机时间2小时5分钟。mirrors 不能自启动的原因另文说明。

由于 lug@ustc.edu.cn 在 DNSPod 的账号被锁定了,无法修改 DNS,从而无法迅速切换到备份站点。非常抱歉此次事故给大家带来的麻烦。

事故教训:

  1. 虚拟机要做网络隔离,避免虚拟机内的错误网络配置影响主机。
  2. 应该尽快把 DNS 收回学校。