六八读书

手机浏览器扫描二维码访问

第10章 海量请求（第1页）

凌晨两点整。

林劫按下回车键的那一瞬间，变压器房里所有的屏幕同时闪了一下——不是物理意义上的闪，是数据流突然爆发导致渲染引擎掉了一帧。那个画面沈易后来回忆了好几次都说不太清楚，就像一个装满水的塑料袋被人从底部戳了个洞，水不是流出来的，是炸出来的。

两百万台设备在同一微秒收到了同一个指令。指令的内容用人类语言描述起来很简单——向龙吟系统公共DNS根服务器发起域名解析请求，每台设备每秒发送八到十二次，每次请求的域名从模板库里随机抽取，请求头伪装成正常的用户查询流量，TTL值随机分布在六十到三百秒之间。简单到任何一个学过网络编程的本科生都能写出类似的脚本，但两百万台设备同时做这件事，就把“简单”变成了“灾难”。

龙吟系统公共DNS的三组根节点分布在瀛海市三个数据中心——城西的龙穹科技总部地下机房、城东的滨海数据枢纽、以及城南的备用容灾中心。正常运行时，三组节点各承担大约三分之一的查询流量，彼此之间通过两条主用光纤链路和一条备用微波链路维持数据同步，健康检查间隔是五秒。任何一台节点在五秒内如果响应延迟超过五百毫秒，负载均衡器就会自动把流量切给另外两台。这个机制在平时是合理的——很少有外部攻击能同时打穿三个互为备用的节点，更何况每个节点的峰值处理能力是每秒钟五百万次查询——三组加在一起是一千五百万次，理论上需要同时发动至少两千万台肉鸡才能勉强触及这个阈值，而瀛海市的物联网设备总数也不过三千万台出头，其中还有将近一半因为固件版本太新、厂商及时打了补丁、或者干脆没联网而无法被利用。

但林劫从一开始就没打算靠数量取胜。

他瞄准的不是节点的处理能力上限，而是负载均衡器本身的逻辑缺陷。三组节点同时过载时，健康检查模块会陷入一个设计者从未预料到的状态——两台幸存节点会同时尝试接管宕机节点的流量，但由于彼此之间无法在毫秒级协商优先级，它们会各自独立地向外广播“我可以接替”的声明。两份声明在核心路由器上产生路由表冲突，冲突持续的时间窗口极短——大概只有一到两秒——但在这个窗口里，所有发往DNS根节点的流量都会被反复在两个节点之间来回乒乓，没有任何一台服务器能真正处理这些请求。

而林劫要做的，就是在这一到两秒的窗口里，把三组节点全部拖入过载状态。

屏幕上跳出了第一批实时数据。城西节点——也就是龙穹科技总部地下机房那台——的查询请求量从基线的一百二十万次每秒瞬间跳到四百三十万，只花了四秒。四秒之后是六百八十万，再过三秒直接撞上了九百九十万。这个数值已经远远超过了单台节点的理论峰值五百万，超额部分的流量溢出到了核心路由器的输入缓冲区，缓冲区在零点三秒内被塞满，然后开始丢包。第一批丢掉的包是外部用户的普通查询请求——普通市民的手机、平板、智能家居、车载导航开始发现上网不顺畅了。第二批丢掉的包是健康检查模块自己发出的握手信号——但因为健康检查信号的优先级标记和普通用户请求完全相同，在缓冲区溢出时被同等对待地丢弃了。

城西节点没能在五秒内响应健康检查。负载均衡器毫不犹豫地启动了接管程序，把原本路由到城西节点的流量一股脑儿地切给了城东的滨海数据枢纽，同时向城西发出了“你还好吗”的二次查询包，但这个查询包同样被卡在炸裂的输入缓冲区里，根本没送到服务器面前。城东节点接到额外流量之后的四秒内，它的查询请求量从一百三十万跳到了七百九十万，比城西节点倒得更快——因为这台服务器型号偏旧，是五六年前部署的，内核网络栈没优化过，中断处理的亲和性很差，CPU在负载超过六百万时软中断响应延迟急剧恶化。

第二台节点开始丢健康检查包。第一台还在挣扎着试图恢复，第二台已经在往下倒——负载均衡器开始慌了。它把两台“可能出问题”的节点的流量全部切向城南的备用容灾中心，而备用节点本身是一台半休眠的低功耗服务器，平时只做数据同步备份，从没被配置过处理全城级别的查询请求。它的最大处理能力不是五百万，是两百万出头。在流量涌入的一瞬间，系统日志里留下了一条极短的WARNING——“超出最大并发线程数，内核OOMKiller已触发。”

OOMKiller优先杀掉了DNS解析服务进程。备用节点不是过载，是直接死了。

三台根节点，一台还在挣扎，一台半死不活，一台死透了。备用微波链路还没反应过来——切换微波链路需要大概十五秒，比光纤的接管延迟多了整整一个数量级。在这十五秒里，整个瀛海市的公共DNS服务彻底停摆。