月度归档： 2015年2月

Freeshell 上的 HTTP 服务器在使用 HTTP Proxy 时，请求的来源 IP 是代理服务器的内网 IP，而请求协议也都是 HTTP（HTTPS 证书和加解密已经在 HTTP Proxy 上处理了）。要知道客户端的真实 IP 和 HTTP/HTTPS 协议，可以使用 HTTP header 中的下列字段：

• X-Forwarded-For: 客户端 IP 地址，可能是 IPv4 或 IPv6 地址
• X-Real-IP: 同 X-Forwarded-For
• X-Forwarded-Proto: 客户端是通过 http 还是 https 访问的，值可能是 http 或 https
• X-Scheme: 同 X-Forwarded-Proto

其中 X-Forwarded-Proto 是今天（2015年2月26日）新加的 HTTP Header，因为 X-Forwarded-For 和 X-Forwarded-Proto 是 HTTP 代理服务器的事实标准。

要让 WordPress、Discuz 等 PHP 程序能够正确识别用户的真实 IP 和 HTTP 请求协议，可以把上述 HTTP Header 作为服务器的环境变量传递给 PHP 程序。

Nginx

Freeshell 上如果安装的是 Nginx + FastCGI，可以在 nginx 配置文件中的 server 块以外添加如下代码：

map $http_x_forwarded_proto $proxy_https {
        default off;
        https on;
}

然后在 location 块内的 include fastcgi_params; 一行下面添加

fastcgi_param remote_addr $http_x_forwarded_for;
fastcgi_param https $proxy_https;

在 PHP 程序中，$_SERVER['REMOTE_ADDR'] 就会变成客户端的真实 IP；而客户端是否通过 https 来访问，可以通过 $_SERVER['HTTPS'] 是否为 on 来判断。

Apache

Freeshell 上如果安装的是 Apache 2，建议安装 mod_rpaf 模块，该模块可以根据 X-Forwarded-For 和 X-Forwarded-Proto 正确设置 PHP 环境变量。

如果不想安装模块，可以如下解决：

• 客户端 IP：由于 Apache 不允许修改 REMOTE_ADDR，需要修改 PHP 代码，首先尝试 $_SERVER['X_FORWARDED_FOR'] 变量，如果存在就把它作为客户端 IP；如果不存在，再使用 $_SERVER['REMOTE_ADDR']。Discuz 已经这样做了，但 WordPress 没有这样做，需要自己改或安装相关插件。
• 客户端 HTTP/HTTPS：在 Apache 配置文件中添加如下代码：

  SetEnvIf X-Forwarded-Proto https HTTPS=On
  

  PHP 程序中可以通过 $_SERVER['HTTPS'] 是否为 on 来判断。

感谢 崔天一 和 郑子涵 提出问题。

由于未知原因，freeshell 2 号节点突然挂掉了，通过 IPMI 重启。

2015 年 2 月 3 日，freeshell 出现持续两个小时的 NFS 卡死问题。事实上，2014 年 8 月启用外部磁盘以来，就经常出现持续几十秒甚至几分钟的 NFS 卡死，卡死期间外部磁盘上的 freeshell 无法执行任何操作，有的 freeshell 还会因为磁盘操作超时而关机。之前一直以为是 NFS bug 导致了死锁，没有定位到故障原因，也没能重现。

2 月 3 日，通过 tcpdump 抓包和 strace nfsiod 进程的方法，查明 NFS server not responding 的问题是由于外部硬盘（一块希捷的 2T 绿盘）过于繁忙。

在 NFS 卡死的时段，外部磁盘读的平均延迟可达 600ms，写的平均延迟是 1400ms。当初设置 NFS 挂载参数的时候，我没有考虑到磁盘繁忙的问题，只是想到了网络延迟不应当超过 1 秒，于是就设置了超时 timeo=10，表示 1 秒超时。一个 NFS 请求可能需要分解为多个磁盘读请求，这些请求的时间之和很可能超过 1 秒，也就是大部分读写请求还没来得及发给磁盘就超时了，形成了 NFS 服务器失去响应的假象。

下面是 早先的挂载参数：
vers=3,rw,rsize=32768,wsize=32768,tcp,timeo=10,retrans=5,soft,intr,sec=sys,lookupcache=all,ac,nocto

现将超时修改成 30 秒（timeo=300）。
vers=3,rw,rsize=32768,wsize=32768,tcp,timeo=300,retrans=5,soft,intr,sec=sys,lookupcache=all,ac,nocto

2 月 3 日已经修改 fstab，但由于挂载着的 NFS 不能修改挂载参数（见 man nfs），需要关闭所有外部磁盘上的虚拟机才能重新挂载 NFS。2 月 4 日刚好 1 号节点挂了，于是把所有其他节点也重启了一遍，NFS 参数就更新了。

2 月 4 日凌晨 04:05，freeshell 1 号节点卡死，原因未知。这导致所有节点上的外部磁盘访问中断，也就是外部磁盘上的 freeshell 都卡死了。由于学校已经放假，少年班学院机房值班人员不在，无法进入机房修复。

中午 zhsj 告诉了我们 用 IPMI 远程重启机器 的方法。

下午 17:00 ~ 18:00，freeshell 所有节点通过 IPMI 接口远程重启，现在所有节点恢复正常。

非常抱歉此问题给您带来的不便。