在京東的投資版圖上，宿遷絕對是備受關(guān)注的一個點，原因也無需贅述。雷鋒網(wǎng)了解到，京東在宿遷的投資項目一共有12個，計劃投資近200億元，已建成京東信息科技園、京東智慧物流全國調(diào)度運營中心等5個項目，完成投資65.5億元；近期已開工和即將開工項目7個，計劃總投資130億元。

京東云華東（宿遷）數(shù)據(jù)中心就是京東在宿遷的重要布局，在計算力代表生產(chǎn)力的互聯(lián)網(wǎng)行業(yè)，云計算之下的數(shù)據(jù)中心在某種意義上象征著基礎(chǔ)硬實力，京東云華東數(shù)據(jù)中心建設(shè)于2015年，總投資35億，一期投資15億，二期計劃投資8至10億，現(xiàn)已投入6億，整個園區(qū)占地200畝左右，相當于19個足球場大小，是京東云骨干網(wǎng)絡(luò)節(jié)點核心數(shù)據(jù)中心之一。

一期：平滑自然冷卻控制

數(shù)據(jù)中心是京東龐大的業(yè)務(wù)體系的技術(shù)支撐，華東數(shù)據(jù)中心又是京東自建的第一個數(shù)據(jù)中心，承載業(yè)務(wù)規(guī)模和種類相當齊全，毫不夸張的說，京東有一部分是建立在宿遷之上。

京東云華東（宿遷）數(shù)據(jù)中心一號園區(qū)占地200畝，總投資超30億元，其中設(shè)備投資約24億元，總建筑面積5.5萬平方米，包括4棟數(shù)據(jù)中心樓（模塊）和一棟綜合樓。

一期數(shù)據(jù)中心的投產(chǎn)也經(jīng)歷了三個階段，先是2015年投產(chǎn)的模組1，華東數(shù)據(jù)中心2014年底拿地并開始設(shè)計，2015年4月份土建開工，2016年4月實際運營，建設(shè)速度還是比較快的，這也和當時京東業(yè)務(wù)發(fā)展速度暴增，需要數(shù)據(jù)中心來支撐有關(guān)，彼時快速運營才是第一要求。

因為建設(shè)速度快且宿遷并不是最初選址地，模組1沒有采用大膽技術(shù)嘗鮮，而是采用更為成熟的方案，不過模組1也給了其他模組以參考，京東云在后續(xù)的模組建設(shè)中就充分吸收了模組1的建設(shè)經(jīng)驗，模組1設(shè)計PUE是1.4，實際運營過程中京東云將PUE控制在年均PUE≤1.3（實測）。

1模組內(nèi)部的數(shù)據(jù)機房和配電室由相同的小模塊組合而成，可根據(jù)使用需求靈活布置、調(diào)整模塊內(nèi)容。單個數(shù)據(jù)中心模塊的建立面積為6萬多平米，總機柜數(shù)1138個，分別布置在10個模塊機房內(nèi)，4個標準模（4KW）、3個高密模塊（8KW）2個網(wǎng)絡(luò)傳輸間，和1個微模塊（12W）機房，總能存放約4萬5千多臺標準服務(wù)器。

模組4在相同地板面積的情況下增加了35%的機柜數(shù)量，4模組可容納1556個機架，單機柜功率在4kw到12kw，設(shè)計PUE小于1.35。模組4在供電方面采用高壓直流加UPS加市電直供方式，針對不同業(yè)務(wù)采用不同供電模式，另外在冷卻系統(tǒng)方面用上了平滑自然冷卻技術(shù)。

京東云數(shù)據(jù)中心水冷機房

數(shù)據(jù)中心空調(diào)系統(tǒng)的能耗一般占總能耗的20%-40%左右，其中制冷壓縮機的能耗又占到空調(diào)系統(tǒng)總能耗的70%-90%。因此，利用自然冷源來解決數(shù)據(jù)中心的散熱問題成為數(shù)據(jù)中心創(chuàng)新技術(shù)的核心考量之一。

傳統(tǒng)自然冷卻板換的開啟只有0和1兩種狀態(tài)，不能和冷機并行運行，京東云的創(chuàng)新是在數(shù)據(jù)中心外樓放置數(shù)十個溫度、濕度、風(fēng)速和液位等傳感器，機房內(nèi)不采用傳統(tǒng)的點裝式探頭，而是光纖測溫，規(guī)模應(yīng)用不僅提高了精度還降低了成本。

中央控制系統(tǒng)對室外、室內(nèi)、溫度、水及設(shè)備各方面數(shù)據(jù)進行采集，進而控制系統(tǒng)閥門、變存器，帶動風(fēng)機、水泵，包括控制冷水機系統(tǒng)實現(xiàn)平滑聯(lián)動。冬天板換完全打開，冷機停止工作，在過渡季板換可開啟一定的角度，冷機部分運行，甚至可以開半臺冷機，基本實現(xiàn)無人工干擾下的自動運行。

江蘇宿遷地區(qū)，一年中大部分時間的溫度在-5~35℃之間，年均氣溫14.2℃。京東數(shù)據(jù)中心相關(guān)負責(zé)人表示，在宿遷的天氣狀況下，一年大概有1/3的時間可利用板換冷卻，通過平滑自然冷卻技術(shù)，一年有將近5個月的時間可以完全利用室外的自然冷源，大幅降低運營成本。

實際運行中，冷凍水系統(tǒng)在室外日平均溫度持續(xù)5天以上低于10度時，切換到自然冷卻系統(tǒng)使用，日平均溫度持續(xù)5天以上高于10度時，開始退出。全年基本可以分為免費制冷季和常規(guī)制冷季。

“我們在傳統(tǒng)的Freecooling技術(shù)基礎(chǔ)上，增加了一套自主設(shè)計的氣候環(huán)境采集控制系統(tǒng)，完全實現(xiàn)了制冷系統(tǒng)根據(jù)室內(nèi)外環(huán)境溫度、濕度、系統(tǒng)負荷大小、平滑連續(xù)的調(diào)節(jié)各組件運行狀態(tài)，始終保持系統(tǒng)在最佳的效率區(qū)間。而且全年可以“免費”使用自然冷源的時間高達180天以上，直接節(jié)約電費數(shù)百萬元以上“，京東方面表示。

雷鋒網(wǎng)了解到，京東云宿遷數(shù)據(jù)中心一號園區(qū)4個模組建成可容納5800個機柜，實際服務(wù)器數(shù)量可超15萬臺，此外園區(qū)還采用了大規(guī)模雨水回收再利用系統(tǒng)、物理阻垢水處理系統(tǒng)，降低污染，整體基礎(chǔ)設(shè)施可靠性不低于99.985%。

京東云宿遷數(shù)據(jù)中心搭載定制化第二代英特爾至強可擴展處理器，搭配傲騰數(shù)據(jù)中心級持久內(nèi)存，多核高主頻設(shè)計滿足了京東云高性能計算、大內(nèi)存配置和高網(wǎng)絡(luò)吞吐需求。京東云公有云目前已完成4個區(qū)域 、10個可用區(qū)（華北北京、華東上海、華東宿遷、華南廣州）的整體布局，另有數(shù)十個遍布全國的IDC設(shè)施。

二期：風(fēng)側(cè)間接蒸發(fā)冷卻

如果說宿遷1號園區(qū)還只是小試牛刀，那么2號園區(qū)的建設(shè)思路更加體現(xiàn)了新互聯(lián)網(wǎng)巨頭的進擊心。九月初傳來消息，京東云華東數(shù)據(jù)中心二期土地已完成摘牌，目前正在進行方案深化設(shè)計。

宿遷2號園區(qū)緊鄰1號園區(qū)，占地約260畝，總投資大于60億元，同樣是4棟數(shù)據(jù)中心樓，不過設(shè)計機柜數(shù)量是一萬個，預(yù)計能裝下20萬臺服務(wù)器。

京東云數(shù)據(jù)中心內(nèi)部機柜

根據(jù)京東規(guī)劃，2號園區(qū)在2018年底完成數(shù)據(jù)中心規(guī)劃和土建施工前期準備工作；2019年中期完成核心數(shù)據(jù)中心建筑物交付；2019年12月計劃交付5000臺機柜，2021年交付剩余全部機柜。

相較于1號園區(qū)，2號園區(qū)將采用風(fēng)側(cè)間蒸發(fā)冷卻技術(shù)，預(yù)計年平均PUE低于1.2。據(jù)說宿遷數(shù)據(jù)中心的建設(shè)曾考慮引入周邊駱馬湖水做自然水源的冷卻方式，但是對生態(tài)環(huán)境的隱形影響無法評估，京東當即拍板摒棄這種方式。

間接蒸發(fā)冷卻技術(shù)在國內(nèi)外數(shù)據(jù)中心均已有應(yīng)用，京東針對宿遷數(shù)據(jù)中心做了本土化定制，包括進出風(fēng)結(jié)構(gòu)和尺寸等細節(jié)。單層數(shù)據(jù)中心，蒸發(fā)冷卻設(shè)備按在上部，熱通道封閉，熱風(fēng)蒸發(fā)向上進入冷卻設(shè)備里面去，交換過的冷風(fēng)反送到服務(wù)器。多層數(shù)據(jù)中心蒸發(fā)冷卻設(shè)備放在側(cè)面，側(cè)進風(fēng)側(cè)排風(fēng)。

初步測算，2號園區(qū)若采用風(fēng)側(cè)間蒸發(fā)冷卻，可以實現(xiàn)一年85%以上時間不啟動機械制冷。

關(guān)于選址宿遷，還有一個故事。京東2012年開始數(shù)據(jù)中心選址，調(diào)研了十多個城市，宿遷并不在其中，京東數(shù)據(jù)中心專家拿著100多頁的報告去向劉強東匯報，1個小時之后，劉強東發(fā)問，“你們的數(shù)據(jù)中心為什么不選擇建在宿遷”？

從技術(shù)角度上，宿遷并不在傳統(tǒng)意義上的數(shù)據(jù)中心選址考慮之列。劉強東提出了兩個原則，第一，數(shù)據(jù)中心建在宿遷，盡快建成；第二，解決當?shù)鼗ヂ?lián)網(wǎng)基礎(chǔ)設(shè)施薄弱問題，通過數(shù)據(jù)中心促進當?shù)鼗ヂ?lián)網(wǎng)產(chǎn)業(yè)的調(diào)整和升級。騰訊在深圳、阿里在杭州、百度在陽泉的數(shù)據(jù)中心等，都可以理解為互聯(lián)網(wǎng)大佬的家鄉(xiāng)情結(jié)，不過宿遷的網(wǎng)絡(luò)條件還是要更差得多。

網(wǎng)絡(luò)條件是京東華東數(shù)據(jù)中心面臨的所有難題中的最大瓶頸。為此，京東和三大運營商分別進行了溝通，在模組1投產(chǎn)時，已經(jīng)實現(xiàn)中國聯(lián)通的骨干網(wǎng)絡(luò)從徐州直連宿遷，不必通過南京再返回，少了600km的線路延遲，實測過程中，數(shù)據(jù)從北京到宿遷相比到南京有更低的時延。

京東云通過自建BGP解決單運營商網(wǎng)絡(luò)中斷的問題，三? ISP互為備份，京東云與各ISP直接互聯(lián)，緩解運營商大區(qū)間網(wǎng)絡(luò)通信異常問題。京東云自建BGP作為電信運營商與京東云數(shù)據(jù)中心的中間層，以?級運營商的作?，向公有云/私有云/甚?是合作伙伴的數(shù)據(jù)中?提供質(zhì)量穩(wěn)定可靠互聯(lián)?接?服務(wù)。

各全國區(qū)域間均采?雙平面設(shè)計，雙活并互為備份。在區(qū)域內(nèi)，各數(shù)據(jù)中心雙上聯(lián)到2個骨?機房，通過骨?機房與各ISP互聯(lián)網(wǎng)、其它區(qū)域骨干網(wǎng)互聯(lián)。并且同區(qū)域的各數(shù)據(jù)中心之間互聯(lián)，通過骨?機房的雙星形結(jié)構(gòu)?跳到達，在確保傳輸成本利?率最?的情況下、確保了傳輸延時和質(zhì)量。

京東云業(yè)務(wù)的快速發(fā)展對數(shù)據(jù)中心提出了更高要求，雷鋒網(wǎng)獲悉，京東已經(jīng)在廊坊、張家口等地籌劃新數(shù)據(jù)中心的建設(shè)。

京東宿遷數(shù)據(jù)中心還有更多的黑科技尚待發(fā)掘，比如更先進的浸沒式液冷、智能巡檢機器人等等，京東華東數(shù)據(jù)中心落地宿遷后，為當?shù)靥峁┝嘶ヂ?lián)網(wǎng)基礎(chǔ)設(shè)施能力，吸引了一批互聯(lián)網(wǎng)企業(yè)遷入，與其說京東選擇了宿遷，倒不如說數(shù)據(jù)中心為宿遷打開一扇通往互聯(lián)網(wǎng)的窗口。

相關(guān)文章：

數(shù)據(jù)中心和AI為何需要看似不起眼的先進封裝技術(shù)？

黃仁勛：數(shù)據(jù)中心將成為巨無霸，但 AI 加速計算才是未來

5G時代需要什么樣的服務(wù)器和數(shù)據(jù)中心？ | MWC 2019

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。