不吹不黑！年均PUE 1.1的百度首個(gè)自建超大型數(shù)據(jù)中心是什么水平？

在百度上搜索“百度”會(huì)搜到什么，搜索、網(wǎng)盤、地圖、百科、知道、圖片等等，這些C端的應(yīng)用構(gòu)成了普通用戶對(duì)百度的固有印象，但少有人了解，支撐百度等大型互聯(lián)網(wǎng)公司數(shù)以億計(jì)用戶使用的C端應(yīng)用背后，互聯(lián)網(wǎng)數(shù)字底層基礎(chǔ)設(shè)施不啻于另一條更激烈的競(jìng)爭(zhēng)賽道，這其中遍布全國(guó)甚至全球的數(shù)據(jù)中心是最重要的一環(huán)。

百度第一個(gè)自建數(shù)據(jù)中心位于李彥宏老家山西陽(yáng)泉，命名為百度云計(jì)算(陽(yáng)泉)中心，園區(qū)占地約360畝地，總建筑面積約12萬平方米，包括8個(gè)高標(biāo)準(zhǔn)模組，我們走進(jìn)了百度云計(jì)算(陽(yáng)泉)中心，獲悉百度甚少展示的另一面。

PUE 1.1如何煉成?

出北京沿京昆高速一直走，經(jīng)過保定、石家莊即到山西陽(yáng)泉，從地理位置、氣候條件、網(wǎng)絡(luò)設(shè)施和電價(jià)等因素上考量，陽(yáng)泉不是傳統(tǒng)意義上受青睞的數(shù)據(jù)中心選址地，百度第一個(gè)自建超大型數(shù)據(jù)中心定在此地很大程度是因?yàn)殛?yáng)泉為李彥宏老家。

不過這并不是唯一的因素。一方面，技術(shù)的演進(jìn)擴(kuò)大了數(shù)據(jù)中心的選址范圍，減少了對(duì)一些硬性指標(biāo)的需求，陽(yáng)泉的各項(xiàng)條件整體過硬;另一方面，由于李彥宏的緣故，陽(yáng)泉并不失為最適合百度的數(shù)據(jù)中心選址。

PUE(數(shù)據(jù)中心總設(shè)備能耗/IT設(shè)備能耗，越接近1表明能效越高)是數(shù)據(jù)中心領(lǐng)域衡量能源效率的權(quán)威指標(biāo)，記者了解到，百度云計(jì)算(陽(yáng)泉)中心單模組PUE低至1.1，1.1是什么概念?

目前國(guó)內(nèi)PUE比較低的數(shù)據(jù)中心大多在1.3以下，之前參觀的大多較為先進(jìn)的數(shù)據(jù)中心也是這個(gè)水平，在國(guó)內(nèi)PUE在1.2左右的數(shù)據(jù)中心表現(xiàn)已經(jīng)算很不錯(cuò)。坦白說，聽到百度陽(yáng)泉數(shù)據(jù)中心整體年均PUE是1.1時(shí)，我們還是有一些懷疑的。其一，陽(yáng)泉沒有特別得天獨(dú)厚的的氣候條件，其二，其他不少頂級(jí)互聯(lián)網(wǎng)公司的數(shù)據(jù)中心PUE也沒有到這個(gè)水平，何況PUE 1.1是百度陽(yáng)泉數(shù)據(jù)中心單模組年均水平，而不是最低值。

百度云計(jì)算(陽(yáng)泉)中心負(fù)責(zé)人、百度系統(tǒng)部高級(jí)經(jīng)理顧鵬

如建筑圖所示，百度云計(jì)算(陽(yáng)泉)中心整體外觀設(shè)計(jì)既可以說是百度的經(jīng)典熊掌標(biāo)志，也可以視作一個(gè)綠色節(jié)能的燈泡樣式，和百度云計(jì)算(陽(yáng)泉)中心的文化衫映襯，8個(gè)模組示例特別用了綠色，這些小細(xì)節(jié)也體現(xiàn)出百度技術(shù)文化。

在實(shí)地探訪過程中，百度數(shù)據(jù)中心負(fù)責(zé)人顧鵬告訴雷鋒網(wǎng)，百度云計(jì)算(陽(yáng)泉)中心能做到1.1的PUE主要包括兩點(diǎn)，一個(gè)是電氣架構(gòu)的改變，一個(gè)是空調(diào)末端的改變，另外配合高溫服務(wù)器和調(diào)優(yōu)等措施使PUE低至1.1。

百度陽(yáng)泉數(shù)據(jù)中心機(jī)房

在電氣架構(gòu)層面，傳統(tǒng)數(shù)據(jù)中心的建設(shè)基本上采用雙路UPS的設(shè)計(jì)，現(xiàn)在越來越多的新建數(shù)據(jù)中心采用電力效率更高的架構(gòu)。如上圖所示，電力架構(gòu)的改變帶來的是電源效率的層層提升，PUE在1.2和1.3左右的數(shù)據(jù)中心很多采用市電+HVDC在線、市電+UPS ECO架構(gòu)。

早在2010年，百度M1數(shù)據(jù)中心就率先在國(guó)內(nèi)使用了一路市電+一路UPS架構(gòu)，效率能達(dá)到95%。百度在陽(yáng)泉數(shù)據(jù)中心采用了四種架構(gòu)，市電+UPS、市電+HVDC在線、市電+UPS ECO、市電+HVDC離線，也體現(xiàn)了其電氣架構(gòu)經(jīng)歷的四代改進(jìn)，從二期項(xiàng)目開始采用的都是電源效率高達(dá)99.5%的市電+HVDC離線架構(gòu)，也是數(shù)據(jù)中心行業(yè)內(nèi)世界首例采用這種供電架構(gòu)的數(shù)據(jù)中心。

了解到，所謂離線(Offline)，是指正常情況下市電直供IT設(shè)備，HVDC僅為蓄電池提供浮充，市電中斷后，轉(zhuǎn)由蓄電池供電，在這種架構(gòu)下，正常情況為IT設(shè)備供電的電能不經(jīng)過HVDC轉(zhuǎn)換，此部分損耗幾乎可以忽略，因此節(jié)能效果顯著。

“打個(gè)比方說，我們?cè)热绻?00度電，可能實(shí)際上有10度電是由UPS損耗掉了，但是現(xiàn)在我們只有0.5度電被損耗，所以效率還是相當(dāng)高的”，顧鵬說道。不過離線架構(gòu)要求定制IT設(shè)備電源，所以百度陽(yáng)泉數(shù)據(jù)中心基本上都采用的是整機(jī)柜服務(wù)器。

水冷背板機(jī)柜

百度陽(yáng)泉數(shù)據(jù)中心的另一個(gè)節(jié)能大改進(jìn)在于暖通架構(gòu)，據(jù)顧鵬介紹，陽(yáng)泉數(shù)據(jù)中心采用了高溫服務(wù)器及新型的氣流組織結(jié)合的零功耗的新型空調(diào)末端，充分利用了天然的冷源，冷卻模式分為機(jī)械制冷、預(yù)冷和自然冷卻三種模式，陽(yáng)泉數(shù)據(jù)中心全年免費(fèi)冷卻能達(dá)到96%，相當(dāng)于每年全部用冷機(jī)的時(shí)間只有兩周，即三百多個(gè)小時(shí)，剩下的大部分時(shí)間都是免費(fèi)冷卻狀態(tài)。

百度陽(yáng)泉數(shù)據(jù)中心采用水冷精密空調(diào)(CRAH)、AHU、OCU和IDEC這四種空調(diào)末端形式，經(jīng)過不斷實(shí)踐，陽(yáng)泉數(shù)據(jù)中心5個(gè)模組采取了OCU制冷模式。

百度自研置頂冷卻單元OCU(Overhead Cooling Unit)新型空調(diào)末端，與預(yù)制模塊技術(shù)結(jié)合，冷卻模塊垂直安裝在機(jī)架上方，空調(diào)末端無風(fēng)扇、零功耗，利用空氣對(duì)流原理，抽走“熱通道”熱空氣的同時(shí)，送出冷空氣給“冷通道”;AHU(Air Handle Unit)風(fēng)墻冷卻技術(shù)，通過與高溫耐腐蝕服務(wù)器配合，采用全新氣流組織方案，解決了空氣污染及腐蝕難題;IDEC即間接風(fēng)側(cè)制冷，抽取室內(nèi)空氣和部分新風(fēng)以控制出風(fēng)溫度和風(fēng)量來維持室內(nèi)溫度。

除此之外還了解到，傳統(tǒng)服務(wù)器要求環(huán)境溫度為5~35℃，服務(wù)器一般運(yùn)行在25℃左右，百度特別研究的高溫服務(wù)器耐溫設(shè)計(jì)高達(dá)45℃，從而大幅提高自然冷卻時(shí)間。

百度AI時(shí)間

自2017年7月5日百度開發(fā)者大會(huì)起，百度正式進(jìn)入了AI時(shí)間?！鞍俣葘ll in AI，我們?cè)贏I時(shí)代的核心戰(zhàn)略就是開放賦能，我們的將來必須建立在與每個(gè)開發(fā)者共贏的基礎(chǔ)上”，李彥宏彼時(shí)如是說。

陽(yáng)泉數(shù)據(jù)中心是百度AI的一個(gè)重要底座，8個(gè)模組滿載可容納16萬臺(tái)服務(wù)器，記者了解到，百度陽(yáng)泉數(shù)據(jù)中心已經(jīng)承載了百度的搜索、地圖、網(wǎng)盤、人工智能、智能云、自動(dòng)駕駛等技術(shù)，每天數(shù)據(jù)處理量近100PB，百度陽(yáng)泉數(shù)據(jù)中心提供著AI訓(xùn)練所需的大量計(jì)算能力。

顧鵬表示，百度GPU集群針對(duì)大數(shù)據(jù)、人工智能等場(chǎng)景設(shè)計(jì)，廣泛應(yīng)用于語音、圖象、搜索、無人車、加速計(jì)算等業(yè)務(wù)，百度率先采用引入深度學(xué)習(xí)和異構(gòu)計(jì)算集群，成為百度大腦的動(dòng)力引擎。

百度陽(yáng)泉數(shù)據(jù)中心液冷機(jī)柜

百度X-MAN2.0服務(wù)器就部署在陽(yáng)泉數(shù)據(jù)中心，用于加速云端人工智能訓(xùn)練，X-MAN2.0服務(wù)器為百度自研的AI計(jì)算機(jī)，實(shí)現(xiàn)了GPU和CPU資源物理解耦按需配比，更是全球首個(gè)將液冷技術(shù)應(yīng)用到高功耗AI計(jì)算系統(tǒng)中的實(shí)例，能夠提升45%的散熱效能。

百度陽(yáng)泉數(shù)據(jù)中心不僅提供AI基礎(chǔ)，自身也在實(shí)踐AI。顧鵬表示，陽(yáng)泉數(shù)據(jù)中心在實(shí)現(xiàn)自動(dòng)化的基礎(chǔ)上，已經(jīng)在向智能化進(jìn)行轉(zhuǎn)化，陽(yáng)泉數(shù)據(jù)中心全部采用無紙化智能巡檢，將相關(guān)數(shù)據(jù)上傳到遠(yuǎn)端電腦，專家系統(tǒng)通過對(duì)現(xiàn)場(chǎng)運(yùn)行數(shù)據(jù)分析來保障系統(tǒng)穩(wěn)定性。

百度把AI技術(shù)引入了數(shù)據(jù)中心，通過建立數(shù)據(jù)中心深度學(xué)習(xí)模型，比如冷水機(jī)組三種模式的運(yùn)行就通過AI自動(dòng)判斷，根據(jù)室外天氣濕度、溫度和負(fù)荷，切換制冷模式、預(yù)冷模式和節(jié)約模式，此外AI還能實(shí)現(xiàn)智能預(yù)警，通過負(fù)載預(yù)判設(shè)備運(yùn)行情況，給出維護(hù)策略。

“AI的智能化是后續(xù)數(shù)據(jù)中心運(yùn)營(yíng)的一個(gè)方向，最終將實(shí)現(xiàn)無人值守”，顧鵬表示。

綠色是百度陽(yáng)泉數(shù)據(jù)中心的另一個(gè)標(biāo)簽，百度陽(yáng)泉數(shù)據(jù)中心充分利用了模組屋頂剩余空間，安裝太陽(yáng)能電池板，光伏發(fā)電即發(fā)即用，陽(yáng)泉數(shù)據(jù)中心也是國(guó)內(nèi)首個(gè)應(yīng)用光伏發(fā)電的數(shù)據(jù)中心，陽(yáng)泉數(shù)據(jù)中心還大量采用風(fēng)電清潔能源?！?017年百度陽(yáng)泉數(shù)據(jù)中心的風(fēng)能和太陽(yáng)能一共將近用了2600萬度，占比整個(gè)用電量的16%，2018年使用風(fēng)能和太陽(yáng)能可以達(dá)到5500萬度，預(yù)計(jì)占比可能達(dá)到23%以上”，顧鵬介紹道。

百度陽(yáng)泉數(shù)據(jù)中心還采用了污水回收再利用技術(shù)，數(shù)據(jù)中心既是耗電大戶，也是耗水大戶，百度將排污進(jìn)行收集，應(yīng)用超濾和反滲透技術(shù)，除去水中的氯鈉鈣鎂等離子，顧鵬表示，污水回收系統(tǒng)全部投產(chǎn)以后，每年的回收能達(dá)到48萬噸水的量，相當(dāng)于四千戶家庭一年的用水量。

百度陽(yáng)泉數(shù)據(jù)中心鋰電池機(jī)柜

百度陽(yáng)泉數(shù)據(jù)中心可以說是整機(jī)柜服務(wù)器數(shù)據(jù)中心，約96%服務(wù)器均采用了百度北極2.0整機(jī)柜服務(wù)器，北極2.0采用了共享電源和風(fēng)扇的架構(gòu)，供電實(shí)現(xiàn)標(biāo)準(zhǔn)化、模塊化、一體化，總成本降低了15%左右，北極2.0自研服務(wù)器平均每臺(tái)耗電量比普通的服務(wù)器下降的12%，交付率提升了20倍，每天交付能達(dá)到一萬臺(tái)左右，傳統(tǒng)服務(wù)器一天最多交付數(shù)百臺(tái)。

陽(yáng)泉數(shù)據(jù)中心的參觀讓我們見識(shí)到一個(gè)數(shù)據(jù)中心上的百度，也可以說AI上的百度。當(dāng)然了，陽(yáng)泉數(shù)據(jù)中心新建時(shí)百度還沒有完全轉(zhuǎn)向AI，還是“移動(dòng)優(yōu)先”，不過正如百度新戰(zhàn)略“夯實(shí)移動(dòng)基礎(chǔ)，決勝AI時(shí)代”，移動(dòng)時(shí)代讓百度積累了先發(fā)優(yōu)勢(shì)，在發(fā)令槍已經(jīng)響起的AI時(shí)代，百度正把其技術(shù)一面逐漸展現(xiàn)，數(shù)據(jù)中心只是具象之一。（文章轉(zhuǎn)載于IDC圈）