科大电信出口遭到攻击

2016年8月26日 17:45 科大电信出口遭受DDOS攻击,目前出口丢包率较高。

公网访问以下服务的电信接入点,将变得不稳定:

  • 开源镜像站
  • 权威DNS
  • LUG主页
  • LUG FTP
  • 防污染DNS
  • GitLab
  • 科大博客
  • 反向代理
  • LUG BBS
  • FreeShell(端口映射)

请用户暂时切换至教育网接入点或移动接入点。

P.S. 校内用户不受影响

update 2016.08.26 18:29:26: jameszhang联系电信封掉了受攻击的IP,服务恢复正常。总故障时间44分钟。

Freeshell 复活 —- Technical Preview

Freeshell的恢复工作有了进展,为了更好地进行*测试*,近期会陆续开放第一批内测用户(大概20个左右)的申请

现在各项功能都不完善,使用体验会很糟糕(完全没有前端网页可用),这次主要是邀请有能力有热情的Freeshell资深用户帮助我们发现问题,完善服务,早日上线。希望参与者积极反馈当前版本的freeshell还有哪些不足。

申请方式: 使用科大邮箱发送申请到freeshell@ustclug.org,注明发行版(可选项见说明最后一条),需要映射的虚拟机端口(ssh的22端口会默认映射好的,可选公网映射端口范围: 35000-60000)

Freeshell的说明:

  • 使用分布式存储ceph作为存储后端,shell可快速切换到不同的物理节点启动(需要停机一段时间,相当于之前迁移物理节点的功能,但快得多,便于调节负载)
  • 内核,使用的是openvz 7(不稳定,测试版)的内核,在openvz发布稳定版本之前,Freeshell都不会保证稳定(上一代Freeshell用的是openvz 6的stable版本)
  • 网络,每个节点有固定的ipv4/6内网地址(10.70.0.0/16 ),此ip在校内可直接访问(无需端口映射), ipv6还没配置好,统一走学校移动的出口,*不再提供出国加速*
  • 发行版 debian-8.0-x86_64  centos-7-x86_64  ubuntu-14.04-x86_64

相关详细说明会陆续在lug wiki里补全,有冲突的地方以wiki为准
https://lug.ustc.edu.cn/wiki/lug/services/freeshell

FreeShell运算节点被入侵

经确认,FreeShell运算节点被入侵。

由于入侵者修改了系统内核,继续运行入侵后的服务器可能导致用户数据被破坏,为了降低数据丢失的风险,我们紧急关停了所有FreeShell的运算节点。

由于临近考试周,维护人员时间有限,服务可能无法在短期内恢复。我们计划在期末考试结束之后开展恢复工作。届时将对FreeSehll架构进行重构,以提升磁盘性能。

目前,大部分用户数据都是安全的。如果您有急需从FreeShell中取回的数据,请使用您的注册邮箱致信lug (AT) ustc.edu.cn,并提供您FreeSehll名称(或ID)以及 所需的文件目录。我们将会把数据打包后发送给您。

给您带来的不便,深表歉意。

freeshell紧急维护公告

FreeShell在升级内核期间出现了一些意外情况,我们临时重启了FreeShell物理服务器,目前一部分FreeShell仍然无法使用。

维护人员已经紧急进入机房维护,服务恢复还需要一段时间,感谢大家的耐心等待。

update 0:13:由于到了清楼的时间,维护人员只好离开了少年班学院机房,离开前服务器正在重新启动。

update 0:42 :服务器未能如期启动,可能是网络配置出现了一些问题。我们将在明天白天进入机房修复。非常抱歉,给各位用户带来了不便。

update01:01:已查明服务器无法连上的原因,服务器网络已恢复。虚拟机正在逐步恢复。

请不要把 Freeshell 上的 Debian 升级到 Jessie

2015 年 4 月 25 日,Debian 8 (Jessie) 发布,使用的是 Linux 3.16 内核和 systemd 2.15 服务管理系统(取代 sysvinit)。由于 Freeshell 使用了 OpenVZ,而 OpenVZ 没有跟着内核主线走,一直停留在 RHEL 6 所用的 Linux 2.6.32 上。该老旧内核不支持 systemd 2.12 及以上版本。

如果您 Freeshell 上的 Debian 通过 dist-upgrade 升级到了 Jessie,将无法启动(启动过程中会卡住)。尽管我们可以通过修改 systemd 源码的方式让 Jessie 跑起来,但可能引来其他问题,毕竟如此新的系统跑在如此老的内核上不放心。

如果您不慎升级了 Debian 到 Jessie,请使用 Freeshell 控制面板的 “Reinstall System” 功能重装回 Debian wheezy。很抱歉您暂时不能使用新版 Debian,希望您能理解。

今天 OpenVZ 官方发布了基于 RHEL 7 的 3.10 内核的 OpenVZ 内核(邮件列表源码仓库),让我们看到了一线曙光(之前一直以为 OpenVZ 快死了,原来是闷声发大财了大半年)。但 OpenVZ 尚未发布与 3.10 内核配套的用户态管理工具。等到管理工具发布了,Freeshell 就可以升级到 3.10 内核,包括 Debian Jessie 在内的大多数发行版应该都可以跑起来了。

Freeshell 3月31日晚宕机说明

2015 年 3 月 31 日下午开始,一个用户在 7 台 Freeshell 上同时运行科学计算程序,导致负载飙升,56 个核的集群负载超过 500,到傍晚时分甚至超过 1000,一度导致部分节点上的 freeshell 无法连接。

21 时 49 分,承载着外部存储的 1 号节点不堪重负而崩溃,所有运行在外部存储上的 freeshell 随之卡死。

21 时 59 分,我们通过 IPMI 重启了 1 号节点。

23 时 57 分,1 号节点上的 freeshell 全部启动完成。(是的,你没看错,一个节点上的 241 个 freeshell 需要两小时才能启动完毕。这个启动过程已经是并行的,磁盘 I/O 一直是满的。因为上次系统崩溃时各虚拟机的磁盘配额处于不一致状态,重启后需要扫描所有文件来重新初始化磁盘配额。如果上次物理节点是正常关机的,大概 30 分钟就启动完了,而且大多数 freeshell 会恢复到关机前的状态)

4 月 1 日 0 时 17 分,我们启动了 1 号节点上的 NFS 服务,其他节点上的虚拟机逐渐恢复。但由于存储中断时间过长,部分虚拟机已经被关闭,这些虚拟机需要用户在控制面板里手动启动。(由于 1 号节点上 freeshell 初始化过程中开启 NFS,可能引发未知原因的 kernel panic,我们不得不让 1 号节点的 freeshell 启动完再开启 NFS)

非常抱歉这次故障给您带来的不便。