周六一早起来,微信消息就炸了,一看原来是美国航空又出事了,好多人来问我是咋回事。

事情搞清楚后其实也不复杂:

当地时间11月13日,由于FAA(美国联邦航空局)的空管网络系统发生大面积异常,导致FAA不得不紧急宣布全美范围内全面停飞。这场停飞持续了足足四个多小时,是美国9·11事件之后持续时间最长的一次全国停飞,也是9·11事件之后美国第二次发布全国范围停飞令,上一次是2023年1月的NOTAM系统故障。

停飞事件发生之后,包括网络攻击、恐怖袭击的猜测很快开始蔓延,导致美国交通部部长达菲与国土安全部部长马林、包括特朗普都赶紧出来澄清:“是技术性问题,没有人攻击我们。”

好事不成双,坏事凑一对。就在大家还没有从停飞的震动中缓过神来,当地时间14日晚,迈阿密国际机场又发生一起客机与货机滑行相撞事故。接连发生的事故让人不得不疑惑:美国航空业到底怎么了?

耗资百亿美元维护旧系统,美国空管终因多年修补难以为继而崩溃(图1)

当地时间11月13日,乘客在罗纳德·里根华盛顿国家机场等候。

一场维护引发的血案

让我们先回顾下这场席卷全美的停飞风暴。

美国当地时间11月13日下午三点,负责全美空管工作的FAA突然发现,全美范围内多个空管中心的通信和雷达数据不正常。而且随着时间的推移,通信异常从部分区域逐渐向全美范围扩散,变成了一场席卷全美的风暴。

美国境内共有22个航路交通管制中心,相当于中国民航体系中的区域管理中心,也就是我们所说的“区调”。这些交通管制中心负责全美大部分空域内的管制工作,只有在飞机起降阶段才交给进近进行管制。

但就是这22个承担了全美空域管制工作的中心,这次有17个出现了数据异常,还波及到了机场周边空域的进近管制单位。其中最要命的莫过于,接收到的数据是错的。对空管来说,这可能比断网更可怕,因为断网你会明确知道出现了异常,但是数据错误可能没有察觉并就此进行错误的指挥。

也因此,虽然这17个管制中心并没有彻底瘫痪,但是空地通信出问题以及数据错误,就足以让正常的空管工作无法进行。面对这种情况,FAA也只能采取最为保守的措施:全国停飞。

当天,FAA陆续向全美机场发布地面停飞指令,暂停绝大多数民航航班起飞,以避免更多飞机进入已经出现通信异常的空域。停飞令下达时,美国空域内仍有超过3500架飞机正在飞行,空管员依靠尚能正常工作的通信设备及应急程序,继续引导这些飞机安全降落。直到当晚8时15分,FAA才正式解除全国地面停飞指令。

但是航班不会随着停飞令的取消立即恢复,精密的航班系统是环环相扣的。紧急停飞让大量飞机和机组滞留在错误的机场,航空公司不得不重新安排飞机调配、机组值勤和旅客中转。光是13日美国就取消航班约9200架次,14日又取消超过6400架次,两天累计超过1.5万架次。哪怕到了15日仍在逐步恢复,尚未完全消化掉那4个多小时停飞的影响。

在得知美国又因为空管系统停飞了后,我第一反应是美国那套老旧的空管系统又出什么问题导致全盘崩溃。但很显然,我猜对了过程却没有猜到答案,因为真正的答案让人有些啼笑皆非。

在事发后的第二天,交通部长达菲就和FAA副局长一起公布初步调查结果。原来是L3harris给FAA空管通信专网FTI进行线路升级时,接入新线路的路由器开始向网络中的其他路由设备大量发送异常连接请求,平均每秒两三百次。

对于新的路由设备来说,每秒几百次连接请求可能只是个正常的连接数,但别忘了FAA的通信专网用的可不是新的路由设备,而是二十多年前思科的路由器。这些老设备面对突如其来的大量异常连接请求,处理资源迅速被消耗,造成正常通信业务受到干扰。

而且更要命的是,异常连接请求不断冲击旧设备,导致部分路由器和交换设备过载,造成正常通信业务受到干扰。但故障并没有被限制在最初的通信设施内,而是通过网络向其他节点扩散,波及全美绝大多数管制中心,成为一场流量风暴。

在隔离异常连接后,FAA还预防性关闭了全网约60台同类路由器的相关功能,以免故障再次发生。目前FAA仍在调查,究竟是施工人员配置错误、设备本身故障,还是其他原因造成异常。但有一点已经明确:一次普通通信线路升级触发了至少用了25年的路由器异常,进而引发全国性连锁故障。

缝缝补补又三年的空管系统

美国空管系统设备严重老化,已经不是什么新鲜事了。早在2023年,FAA组织的国家空域系统安全审查组就指出,美国空管系统大量关键设备已经超过设计寿命,部分设备甚至失去了生产厂商的技术支持,继续运行存在重大风险。而此次故障涉及的FTI,即FAA电信基础设施网络,就是最典型的例子。

这套空管专用网络由L3Harris的前身Harris公司在2002年获得合同后建设并长期运营美国空管缝缝补补又三年 终于补崩了,覆盖全美数千处空管设施,承担语音通信、雷达数据和各类空管业务信息的传输任务。问题在于,这套网络仍然大量依赖TDM,也就是时分复用通信技术。

TDM曾经广泛应用于传统电信网络,通过固定时隙分配通信资源,为不同用户提供稳定的传输服务。但随着现代通信技术发展,全球电信运营商早已逐步转向以光纤和IP网络为基础的通信体系,美国FAA却直到今天还在大量使用传统TDM通信设备。

更麻烦的是,FAA使用的许多通信线路并非完全由自己建设,而是向美国各大电信运营商租用。随着运营商逐渐淘汰传统铜缆线路和TDM服务美国空管缝缝补补又三年 终于补崩了,FAA的专用网络更是成了一个爹不疼娘不爱的孩子,运营商看都不想看一眼。

尤其是美国大量空管设施位于偏远地区,包括雷达站、导航台、通信站等。这些设施往往远离人口密集的城市,通信线路建设和维护成本高昂,商业运营商缺乏继续维护线路的动力。但对于FAA而言,这些设施却关系到成千上万架飞机的飞行安全,根本不可能随意停用。

于是就出现了如今这种局面:美国商业通信网络不断淘汰旧技术,而FAA却因为设备兼容性、经费和更新进度等原因,被迫继续依赖旧系统。等到老旧线路实在无法维持,只能一边保持业务运行,一边进行割接改造。这次的事故就是发生在不停用改造施工中,而这还只是美国空管基础设施老化问题的冰山一角。