2021年7月20日18點14分,位于鄭州大學南校區逸夫樓一層的CERNET鄭州核心節點機房因為停電一片漆黑,樓前水位已達100厘米,開始倒灌樓內……鄭州節點和賽爾網絡有限公司河南分公司的工作人員,看著依然沒有停歇跡象的暴雨心急如焚。
他們都明白,河南節點牽一發而動全身,一旦斷掉,不但會“阻塞”中國教育和科研計算網CERNET這條國家信息化基礎設施的主動脈,更有可能影響當下正在如火如荼進行的高考招生,繼而影響社會穩定。所以,河南節點不容有失!
這一晚,注定是一個不眠之夜!
一場罕見的特大暴雨
7月18日開始,河南省多地發生連續降雨。20日更是遭遇“千年一遇”特大暴雨,往常來看,日降雨量達到250毫米已屬于大暴雨級別,而這一天的小時降雨量就達到201毫米,打破歷史極值。
鄭州大學校園內有一條貫穿鄭州東西的金水河,但從20日下午開始,整個校園一片汪洋,那條河已經看不見了。16點39分,鄭州節點機房由于暴雨沖斷主電纜而突然停電,改由學校發電機緊急供電。17點02分,因暴雨鄭州大學全校停電,發電機機房也進水,節點機房又改為UPS供電,但僅能應急2個小時左右。此時,鄭州大學機房的發電機房水位達30厘米,省網節點門前水位已達70厘米。
電力供應迫在眉睫,網絡暢通萬分火急。在市政供電恢復之前,如何保證備用發電機的正常使用?如何保證網絡的正常運行?鄭州核心節點迅速把險情上報CERNET網絡中心。
17點剛過,北京。接到鄭州節點緊急通報后,剛剛分管CERNET通信運行工作的王繼龍教授迅速上報:鄭州目前暴雨,水位過高。學校市電由于天氣原因已停,緊急啟用油機供電,但發電機的機房已經進水,且水位上漲較快,發電機也要馬上斷電,節點將啟用UPS繼續供電,預計能支撐2小時,一旦徹底失電,南北互聯將僅剩合肥至天津路段,網絡將出現擁塞情況。
CERNET網絡中心主任吳建平迅速作出指示:迅速制定底線應急方案,確保網絡安全通暢!
緊急預案隨之迅速啟動:一方面部署網絡調度,力保教育網的整體通暢;另一方面要求打好CERNET鄭州保衛戰,在確保人員安全的前提下,全力解決供電問題。
一次艱難的保電行動
“暴雨沖斷了學校附近橋梁,金水河倒灌,核心節點機房附近被過膝的洪水圍困,交通基本中斷,既不能進也不能出;至晚間機房內已經全面斷電,現場一片漆黑。”
據賽爾河南分公司總經理李路路介紹,包括她在內的所有工作人員,都在堅守崗位,但只能摸黑排查。更讓她揪心的,是發電機的柴油緊缺問題。
在這一場事關網絡安全暢通的戰役中,電是根本問題。怎么保電成為鄭州保衛戰的關鍵。當務之急是找到柴油,保證當天及第二天的使用。但此時整個鄭州大水漫漫,交通中斷。
“我們不斷聯系附近的加油站,但全市很多地方停電無法購買柴油。”李路路說。此時發電機房水位距地面60厘米,節點中心門口水位距地面100厘米。水位很高,并開始往樓里灌水。
18點24分,節點向北京匯報搶險進展,根據CERNET網絡中心的意見,開始停用優先級靠后的設備,降低負載以使得UPS電源能支撐更久的運行。
在持續尋求購買柴油途徑的同時,分公司同事和節點老師們協助學校相關部處人員,利用舊書本、泥土、沙袋等對電源間等重要地點進行擋水,以保護機房重要設備。
19點,有消息證實,學校南校區跨金水河橋被沖斷,主電纜在水中漂浮,短時間無法恢復市政供電。此時,節點老師把僅剩的三桶柴油加入油箱,并不斷關注著市政供電情況。
“晚些時候,核心節點機房的4G/5G信號完全中斷,只能依靠WiFi支持的互聯網保持通訊,但由于手機沒法充電,也存在著失聯的危險。在不斷接聽各方面問候支持以及電量不斷見底的焦慮中,更憂心的則是鄭州節點的通斷問題。” 鄭州核心節點的焦志杰老師說。
對于網絡通斷狀況,CERNET鄭州核心節點NOC運行部主任陳剛一直揪著心,他發現有好幾段省網路線通信質量有所下降,“在這個關鍵時刻,我們必須守好CERNET主干大動脈”。
“當日20點,同事們再次前往斷橋地點查看,橋面已被水吞沒,市政供電短時間顯然無法恢復。我們一直在聯系是否能協調外部人員送油,但當時整個城市被大水圍困,城市交通已基本中斷,甚至求助于兄弟分公司幫助發送信息給民間救援組織,也都沒有實現。”李路路說。
夜晚,往常燈火通明的機房幾乎一片漆黑,黑暗中人們卻一點也沒放棄。“20日半夜時分,分公司終于聯系到有柴油的加油站,幾位節點老師和分公司員工非要冒著危險用小推車去取油”賽爾網絡公司副總經理金立科提到,“我們經過商量,為了大家的安全,勸阻了他們。但干部員工在危急時刻,所爆發出的不怕苦、不畏險、負責任的力量和對CERNET的熱愛都讓我很感動。”
21日凌晨3點30分,因燃油耗盡,鄭州大學發電機停止運作,鄭州核心節點的傳輸設備由UPS電源供電。4點,鄭州核心節點的老師和賽爾通信運行部同事制作接線排,用在CERNET主干網的核心路由器上進行單獨供電。
凌晨5點,傳輸設備由UPS電源供電,負載49A,此時電池電量還剩90%。
5點以后,大雨漸小,大家查看金水河情況,發現水已退回,橋面已剛剛露出,接著又聯系電工班。
6點半,傳輸設備電池供電,負載49A,還剩80%的電量。
7點15分,鄭州節點終于聯系到一家可以提供柴油的加油站。但此時,所有人員的車子都被水浸泡無法使用。
“關鍵時刻,鄭州節點的李正磊老師讓他父親從家開車過來,幫忙運送柴油。分兩次運了6桶后,柴油基本充足了。”陳剛介紹說。
一場保電保衛戰落下帷幕。
一場網上高招的應急護航
7月,也是高考招生錄取的關鍵時期。
7月20日前后,高招錄取進入到最繁忙、緊張的階段,大部分省市提前批錄取已經結束,本科批正在進行中。
這也是一年一度最受國人關注,事關百萬家庭以及諸多學子命運的重要時段。
當考生拿到錄取通知書舉家歡慶時,很少有人知道,高招錄取的平穩有序與一張大網密切相關。
從1999年起,中國教育和科研計算機網CERNET開始支持網上高招錄取的試點工作。從2002年起,全國招生錄取工作全部由網上完成,而支撐這項工作的網絡,就是CERNET。
每年上千萬考生的資料信息通過CERNET與各地考試院交換到各高校。迄今為止,這也是世界上規模最大的教育應用之一。
CERNET網絡的通暢、安全,直接影響著全國高考網上錄取工作的安全與順利!
在落實保障措施的同時,賽爾各部門也迅速行動起來,主動聯系各高校,詢問網絡保障需求與情況。
這其中,河南省招辦是一個重要的節點。
因為當地移動網絡癱瘓,無法聯系上具體的負責人,王繼龍教授希望盡快聯系河南省招辦,做好針對性保障工作。21號上午,賽爾公司相關負責人緊急聯系河南省招辦信息處的領導詢問網絡狀況,對方向CERNET和賽爾公司在高招保障方面的重視和保障力度表示了感謝。
不僅僅是鄭州,河南全境普降大雨,各種基礎設施遭受巨大的破壞。針對河南境內部分高校出現的網絡故障情況,CERNET與賽爾公司及時提供高招相關系統域名解析切換服務,確保了網上招生工作的順利進行。
21日中午塵埃落定,河南省招辦與教育部相關部門相繼反饋:網上招生未受影響。
一張大網的最后勝利
鄭州核心節點對于CERNET而言意味著什么?
據CERNET鄭州核心節點主任李占波介紹,鄭州節點是CERNET北環與西環匯聚轉發的大動脈,也是CERNET流量最繁忙的京漢廣線路的關鍵節點之一。
鄭州節點的通斷不但影響自身通信,還影響到北環、西環甚至南環相關節點的暢通和運行質量。一旦鄭州節點中斷,西環、北環、南環的流量都會壓到北京-合肥段,不但整個網絡將出現擁塞情況,還會對當前正在進行的高招保障造成影響。
因此,鄭州核心節點的安全穩定運行非常重要。吳建平院士提出,在重大災害面前,要以底線思維確保網絡暢通,全力確保CERNET這張大網的穩定運行。
CERNET掀起了全網保衛戰,在北京到武漢和北京到上海臨時開通了兩條100G的備份線路,即便河南節點暫時斷網也能保障整個教育網的網絡通暢。同時使用未來互聯網試驗設施FITI通信通道作為機動信道,根據實際流量情況對擁堵段落進行臨時增加帶寬和疏導,確保高招正常進行。
截至21日上午10點,鄭州市區供電終于恢復,CERNET鄭州核心節點的險情逐漸解除,CERNET全網運行未受影響。
在這次特大暴雨災害中,CERNET網絡中心統一部署,賽爾公司以及核心節點高校的協同作戰,打贏了一場驚心動魄的網絡保衛戰,保證了CERNET鄭州核心節點的正常運行,確保了CERNET主干網的安全通暢和高招網絡保障的順利進行。
一位高校的領導說,“沒有想到,你們的網沒有斷!”海南教育廳副廳長、來自河南的陶洪建說:“河南的父老鄉親感謝 CERNET!”