2.4 全局Ceph节点宕机处理

在极端情况下，如数据中心断电，造成Ceph存储集群全局宕机，可以按照本节所示流程进行Ceph集群上电恢复操作。

2.4.1 手动上电执行步骤

1. 如为Ceph集群上电，monitor server应最先上电；集群上电前确认使用ceph 之前端作业服务已停止。

2. 使用IPMI 或于设备前手动进行上电。

3. 确认 NTP 服务及系统时间已同步，命令如下：

   # ps-ef | grep ntp

   # date

   # ntpq -p

4. 登入上电之ceph server确认ceph service已正常运行，命令如下：

   ps -ef | grep ceph

5. 登入集群monitor server查看状态，OSD全都up 集群仍为noout flag(s) set

   # ceph -s

   # ceph osd tree

6. 登入monitor server解除stopping w/out rebalancing，命令如下：

   # ceph osd unset noout

   # ceph -w

   使用 ceph-w可查看集群运作输出，同步完毕后集群health应为HEALTH_OK 状态。

2.4.2 恢复后检查步骤

1. 确认设备上电状态，以IPMI 或 于设备前确认电源为开启上电状态。
2. ping ceph monitor server，检查monitor server可以ping通。
3. 系统时间和校时服务器时间同步。
4. ceph -s 状态为HEALTH_OK
5. ceph osd tree OSD状态皆为UP

2.4.3 恢复使用指令及其说明

1. ceph -s : 确认 ceph cluster status
2. ceph -w : 查看集群运作输出
3. ceph osd tree : 查看ceph cluster上osd排列及状态
4. start ceph-all : 启动 所有 ceph service
5. start ceph-osd-all : 启动 所有 osd service
6. start ceph-mon-all : 启动 所有 mon service
7. start ceph-osd id={id} : 启动指定 osd id service
8. start ceph-mon id={hostname} :启动指定 ceph monitor host
9. ceph osd set noout : ceph stopping w/out rebalancing
10. ceph osd unset noout : 解除ceph stopping w/out rebalancing