大家好，我是老杨。
相关服务：韩国大带宽服务器租用
TikTok 出事了.
2026 年 1 月 25 日晚，美区 TikTok 陷入了长达 60 小时的瘫痪状态。即便后面勉强能打开应用，也是满屏的“0 播放”和点赞失效。这种体量的公司，出现业务异常长达两天半之久，在互联网历史上是极其罕见的。
老杨查了一天资料，大概了解了相关细节。这可不是几块电路板烧了，或者认为配置错了之类的问题.这是一场物理层扰动连带击穿软件抽象层，最后还无法迁移业务导致的
本次故障从弗吉尼亚州阿什本（Ashburn）的 ASH-1 集群开始。
冬季风暴 "Fern" 扫过时，电网频率出现了极其微小的偏移——准确说是微秒级别的断流。
就是那一刹那.
数据中心通常有三路冗余配电，但就是上面的那一毫秒断流，自动转换开关（ATS）在主路和柴油发电机之间发生了相位同步失败。
给大家解释一下这个相位同步失败是什么意思.
老杨先给各位来点初中物理知识.
咱们平时用的交流电，它在电线里面可不是拉直线走的，电流像过山车一样一上一下地起伏波动。
讲解完毕,说多了我也不会.
咱们再把(市电/电网)和(发电机/备用电)比做两条平行的传送带。
相位同步就是两条传送带起伏的节奏完全对齐.
有画面没？当第一条带子运行到“波峰”的时候，第二条带子也刚好在“波峰”。这时候两条传送带交接货物（电流）从一条换到另一条，频率一致，节奏合拍，货物能稳稳当当接得住。
当时oracle的数据中心的故障就出在这儿：两条带子的节奏乱了。
那边大雪把市电咔嚓一打断.这边立刻切备用电.
完犊子了.
货物在这边是“最高点”传过去的时候,对面的带子刚好运行到了“最低点”。
这种“波峰”对“波谷”的电位差，会在一瞬间产生巨大的冲击力，也就是我们常说的浪涌电流。那就一条合金做的大鞭子还带电的那种.
一抽一个不吱声.
在数据中心里，挨抽的就是 PDU（配电单元）。
PDU就类似咱们家里的插排.但是机房是大号的那种.
由于两个电源的节奏没踩在一个点上，强行对接产生的巨大瞬时电压直接就把电路给击穿了。
负责传电的“大插座”这边一冒烟。
服务器主板立刻明白咋回事了，为了保命，只能启动紧急保护，“咔哒”一声执行自杀式断电。电是没烧了，但你的业务也彻底黑屏了。
这里继续给大家科普.为什么PDU冒烟了,主板还有断电这一个动作.
服务器的电源（PSU）里装满了大个头的电容。 你可以把电容想象成一个蓄水桶。当外界市电（电网）因为相位冲突瞬间炸裂、断流时，电容里存储的电能还能维持服务器运行几毫秒到十几毫秒（这叫“保持时间”，Hold-up Time）。
就是这救命的十几毫秒，给了主板发指令的时间。
我得给你们掰扯清楚,省着你们评论区又喷我
这是第一波服务器先跪下.业务不好使了.
这个服务器集群是什么规模?几万台物理设备.一瞬间咔嚓了.
几万台,老杨都没见过.
这不算完.
第二波空调也跑不了,他俩一个情况.切换电源PDU都冒烟了.
这时候你可能会问：既然服务器都断电不发热了，空调坏不坏还有那么重要吗？ 太重要了。 因为机房里不只有服务器，还有网络交换机、存储阵列，以及还没来得及跳闸的设备。
空调（精密制冷机组）虽然没插在服务器的 PDU 上，但它插在数据中心的动力配电柜上。
连锁反应： 相位冲突产生的浪涌电流太强，不仅击穿了末端的 PDU，还一路上溯，导致机房区域的动力空气开关（ACB）保护性跳闸。
结果： 负责循环冷风的空调风机停了。
服务器虽然关了，但硬件的余热还在。机房是一个高度密封的保温空间，没有了空调的强制对流，那些几千度电刚烧过的 CPU 和主板，散发出的余热会迅速积聚。
只要空调停转，哪怕服务器全关了，机房里的温度也会在几分钟内从正常的 22°C 飙升到 40-50°C。如果还有部分网络设备在运行，那温度上升得更快。
这事老杨经历过,机房门把手都滚烫滚烫的.
服务器停了,空调停了.
接下来怎么办?
人工降温吧兄弟们.
还等啥呀!
不过这玩意自然降温,开窗通风少说三天才能搞定.因为设备太多了.
要么咋说人家是美国大厂呢.
危难之时,天时对上了.这不冬天么.雪和冰那是要多少有多少.
tiktok的运维兄弟们紧急整来几十吨工业冰块，用塑料桶装好，整齐地堆在机房的冷通道（Cold Aisle）路口。然后利用那种自带电池的应急工业风扇，对着冰块狂吹，硬生生造出一个“人造冷风系统”。
目的是能把机房温度从 50°C 强行压到 35°C 左右。只要压到这个临界点，那些没烧坏的网络交换机就能勉强缓过来。
平时数据中心是严禁开门的，为了维持精密的气流循环。但这时候顾不上了：
运维兄弟们把机房所有的前后门全部敞开，甚至拆掉部分机房的吊顶板。
租用那种巨大的排风炮（像隧道施工用的那种），一边往里抽冷空气，一边往外强排热气。
什么脚本,什么python,go,都一边玩去吧.
年薪200万也得去机房光膀子论大铁锹，人工搬冰块、搬风扇，满地都是冷凝水监控传感器在狂响，跪地上擦,这些玩意可不能沾水。
基础设备架构师盯着机房监控，算着剩下的散热余量,温度稍微降下来点,强电工程师进场.检查几万个PDU,还真得挨个检查.万一哪个没检查到位，一通电又是个“相位冲突”或者二次短路，那这机房就真废了。
硬件工程师跟在强电屁股后面,点亮一批设备,开始查看硬件告警.
系统网络等软件工程师立刻查看基础环境.开始分批检查系统告警.
各业务部门研发开始调试服务.
这个是推倒重来级别的.非常考验功底.这个设备一起一停可了不得.单单就系统层面来看,有很多比如临时上的规则可能一下就没了.还得找.定时任务重跑,但是还有依赖什么的.一切的一切都得弄.这个确实是个大活.
不行,岁数大了,写点东西就开始头昏眼花的.先这样吧.我把物理层面的讲完了.当时弗吉尼亚州阿什本机房现场就是这个情况.全员取消休假,上机房搬冰块去.
正所谓运维得写的了脚本,轮得起铁锹.开的了叉车.兜里还得配上两把螺丝刀.
上能担的起工程师的称号.下能光膀子把地沟掏.
要问运维工程师的边界在哪里?网线加集线器套一起能射大雕.
推荐阅读:
运维人,你们知道未来你们要运维的AI数据中心是个什么样的存在么?
老杨的另一个号欢迎关注