市电中断 47 分钟:双电源服务器为什么还是全停了
2026 年 7 月 5 日下午 2 点 20 分,茂名一条供电线路检修,一家贸易公司的服务器在 3 分钟后停机。这台 Dell PowerEdge R730 配了双电源,配置单上写着冗余,实际却只撑了 3 分钟。
双电源接在了同一条线路
到现场先看配电:两个电源模块分别插在机柜后面的两个 PDU 上,看起来是双路。但两个 PDU 都从同一个墙插回路取电,墙插后面是同一台 3kVA UPS。
UPS 电池组已经用了 4 年多,实测满载支撑 6 分钟,当晚负载约 70%,实际只撑了 3 分钟就关机。冗余做在了设备层,没做到供电层,等于没有冗余。
47 分钟里做了什么
2 点 23 分停机,2 点 30 分到场确认 UPS 报警为电池耗尽。2 点 40 分联系物业确认市电恢复时间,答复是 3 点 10 分。等待期间把 UPS 负载降到只有存储与核心交换机,为恢复争取时间。
3 点 07 分市电恢复,3 点 10 分逐台开机。先起存储,再起宿主,最后起虚机与业务,3 点 10 分到 3 点 20 分完成。业务中断合计 47 分钟,没有数据损坏,因为数据库是正常关闭的。
改造方案
改法分三层。第一层把两个 PDU 分到两条不同的市电回路,其中一条接 UPS,一条接市电直供,至少保证一路有电。第二层换一组新电池,按实际负载算,标称 15 分钟。第三层加一台小型柴油发电机或移动储能,用于超过 30 分钟的长时停电。
这套改造做完花了 3 天,其中配电改造 1 天、电池更换 1 天、切换演练 1 天。演练时故意断开一路市电,服务器没有重启。
给机柜里那台机器的检查清单
看一眼两个电源模块是不是插在同一台 PDU 上;看一眼 PDU 是不是同一路市电;看一眼 UPS 电池装了多少年;看一眼断电时业务能不能自己有序关闭。这四条比配置单上的冗余字样有用。
服务器上架时做一次断电演练,比出事后再补便宜。虚拟化环境下建议配自动关机脚本,UPS 电量到 20% 时按顺序关虚机。
