★上海寶信軟件股份有限公司程玉寶
1 背景
當(dāng)前,互聯(lián)網(wǎng)數(shù)據(jù)中心IDC與新型智算中心AIDC集約建設(shè)的規(guī)模越來越大,地方政府出臺(tái)的建設(shè)導(dǎo)則要求新建大型數(shù)據(jù)中心單項(xiàng)目規(guī)模不低于3000個(gè)標(biāo)準(zhǔn)機(jī)架,平均單機(jī)架IT功率不低于6kW,單個(gè)數(shù)據(jù)中心的IT總功率達(dá)到18000kW(即18MW),互聯(lián)網(wǎng)客戶的大型應(yīng)用集群對(duì)數(shù)據(jù)中心IT容量定制化建設(shè)需求一般也在單模塊10MW左右,從建筑、電氣、制冷、消防、安防等機(jī)電基礎(chǔ)設(shè)施模塊化配套建設(shè)投資角度考慮,這也是一個(gè)比較經(jīng)濟(jì)的建設(shè)規(guī)模。
10MW IT設(shè)備自身滿載每年運(yùn)行中就要消耗8760萬度電能,絕大部分會(huì)轉(zhuǎn)換成熱能,如果不能及時(shí)把設(shè)備的發(fā)熱量轉(zhuǎn)移出建筑體量約15000平方米的數(shù)據(jù)中心,熱量累積將會(huì)使得數(shù)據(jù)中心室內(nèi)環(huán)境溫度不斷升高,以致超出IT設(shè)備正常運(yùn)行允許的溫度范圍。因此數(shù)據(jù)中心采用風(fēng)-風(fēng)換熱、風(fēng)-水-風(fēng)換熱、風(fēng)-液間接換熱乃至將IT設(shè)備浸沒在絕緣導(dǎo)熱液中直接換熱手段,通過應(yīng)用這些傳統(tǒng)或新穎的空調(diào)冷卻技術(shù),將機(jī)房內(nèi)設(shè)備散發(fā)的熱量轉(zhuǎn)移出機(jī)房,再由設(shè)置在機(jī)房外的冷卻塔或干冷器放散到大氣環(huán)境中,也可用水盤管形式放散到天然水體中。
盡管液冷技術(shù)的應(yīng)用在迅速發(fā)展中,大型數(shù)據(jù)中心機(jī)房采用冷凍水型的精密空調(diào)風(fēng)冷仍然是主流的冷卻方式。末端精密空調(diào)送風(fēng)機(jī)通過送風(fēng)道為IT設(shè)備輸送冷風(fēng),與IT設(shè)備換熱升溫后的熱風(fēng)經(jīng)機(jī)房內(nèi)的回風(fēng)道循環(huán)吸入精密空調(diào)回風(fēng)口,與空調(diào)冷凍水盤管翅片換熱后降溫后的冷風(fēng)再次被空調(diào)風(fēng)機(jī)送至IT設(shè)備。空調(diào)盤管中的低溫冷凍水與機(jī)房熱風(fēng)交換升溫后,被冷凍水泵吸入轉(zhuǎn)移到數(shù)據(jù)中心冷源冷卻后,再返送回機(jī)房精密空調(diào),周而復(fù)始,一旦投用,將一直運(yùn)行至合約項(xiàng)目的終止日,因此要求末端精密空調(diào)與冷源系統(tǒng)均具有高可用性與高可靠性,還要為低概率的設(shè)備故障維修場(chǎng)景配置適量的冗余設(shè)備。
冷源系統(tǒng)擔(dān)負(fù)的任務(wù)就是為數(shù)據(jù)中心內(nèi)的末端精密空調(diào)連續(xù)不斷提供低溫循環(huán)冷凍水,民用建筑供水溫度7℃,回水溫度12℃,節(jié)能型數(shù)據(jù)中心供水溫度提升至12℃,回水溫度18℃,甚至更高,因?yàn)槊刻嵘?度水溫約可減少3%的制冷能耗。
根據(jù)經(jīng)驗(yàn)數(shù)據(jù)測(cè)算,一座10MW級(jí)的數(shù)據(jù)中心模塊峰值時(shí)段機(jī)房與電氣室內(nèi)精密空調(diào)總熱負(fù)荷約13500kW,需要3臺(tái)4500kW(約1300冷噸)的冷水機(jī)持續(xù)運(yùn)行產(chǎn)出循環(huán)冷凍水??紤]冗余備用,一般每個(gè)10MW數(shù)據(jù)中心模塊需配置4臺(tái)(3+1冗余)1300RT(冷噸)的變頻離心冷水機(jī)組,配套4臺(tái)變頻冷凍水循環(huán)水泵、4臺(tái)變頻冷卻水循環(huán)水泵、4組變頻風(fēng)機(jī)蒸發(fā)式冷卻塔、4臺(tái)免費(fèi)制冷用板式換熱器(以下簡稱板換)、大量的手動(dòng)隔離蝶閥、用于自動(dòng)控制的電動(dòng)開關(guān)蝶閥與流量調(diào)節(jié)的電動(dòng)調(diào)節(jié)閥,若干流量、水溫、壓力、壓差、空氣濕球溫度傳感器測(cè)點(diǎn),還需要在專業(yè)的冷源BA自動(dòng)控制系統(tǒng)協(xié)調(diào)控制下,才能在長達(dá)八至十年的合約服務(wù)期內(nèi)安全平穩(wěn)運(yùn)轉(zhuǎn)。
2 項(xiàng)目實(shí)施
數(shù)據(jù)中心行業(yè)內(nèi)冷源BA自動(dòng)控制系統(tǒng)大多采用DDC或PLC技術(shù)構(gòu)架,在本案例實(shí)施前未見有采用DCS技術(shù)構(gòu)架的報(bào)道,綜合技術(shù)可靠性、成熟度、設(shè)備采購交付期、建設(shè)成本以及我們已實(shí)施過的PLC與DDC控制系統(tǒng)項(xiàng)目經(jīng)驗(yàn)教訓(xùn)等多方面考量,寶信自動(dòng)控制技術(shù)人員選擇采用DCS技術(shù)構(gòu)架建設(shè)一個(gè)高可用、節(jié)能型的冷源BA控制系統(tǒng),圖1是數(shù)據(jù)中心冷源DCS控制系統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)圖。
圖1 數(shù)據(jù)中心冷源DCS控制系統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)圖
冷水機(jī)組在部分負(fù)荷下運(yùn)行效率遠(yuǎn)高于滿載下的運(yùn)行效率,如圖2所示,某型1200RT冷水機(jī)滿負(fù)荷下的COP能效比為6.956,而在30%-70%部分負(fù)荷下COP均高于12,采用全變頻設(shè)備,可靈活適應(yīng)不同上架率下數(shù)據(jù)中心的實(shí)際負(fù)荷,通過啟用冗余設(shè)備,平分所有負(fù)荷,冷源BA控制系統(tǒng)將每一臺(tái)運(yùn)行的冷水機(jī)設(shè)備均控制運(yùn)轉(zhuǎn)在其安全且高效率負(fù)荷區(qū)段、水泵與風(fēng)機(jī)設(shè)備運(yùn)行在高效率曲線段,不但可降低數(shù)據(jù)中心制冷總電耗,變頻低轉(zhuǎn)速下設(shè)備的磨損減少,有利于延長設(shè)備機(jī)械運(yùn)轉(zhuǎn)壽命周期。
圖2 某型1200冷噸冷水機(jī)組滿負(fù)荷與部分負(fù)荷技術(shù)參數(shù)
水泵、風(fēng)機(jī)類設(shè)備的流量與轉(zhuǎn)速的一次方成正比,它們的軸功率與轉(zhuǎn)速的三次方成正比,當(dāng)降低轉(zhuǎn)速時(shí)流量等比例下降,而軸功率卻以轉(zhuǎn)速比的三次方比例下降,這是風(fēng)機(jī)與泵采用變頻調(diào)速節(jié)能的主因,大部分?jǐn)?shù)據(jù)中心內(nèi)負(fù)荷都不會(huì)滿載,而且還有冗余備用的設(shè)備可以征用共同分擔(dān)總負(fù)荷,為冷機(jī)變負(fù)荷運(yùn)行、風(fēng)機(jī)與泵變流量運(yùn)行節(jié)能創(chuàng)造了有利的條件。
除了利用設(shè)備變頻運(yùn)行節(jié)能外,節(jié)能型數(shù)據(jù)中心配置了與冷水機(jī)組既可并聯(lián),也可串聯(lián)運(yùn)行的板換,通過控制每組冷水機(jī)與板換組合連接管路上的八個(gè)電動(dòng)開關(guān)蝶閥工作狀態(tài),可以選擇以下三種運(yùn)行模式:冷水機(jī)組獨(dú)立運(yùn)行(夏季電制冷)模式、板換獨(dú)立運(yùn)行(冬季免費(fèi)制冷)模式、冷水機(jī)與板換串聯(lián)組合運(yùn)行(過渡季板換預(yù)冷)模式。
板換獨(dú)立運(yùn)行模式啟用的條件是冬季室外大氣濕球溫度低于設(shè)定的模式轉(zhuǎn)換溫度值,冷卻塔循環(huán)冷卻水的出水溫度已持續(xù)低于冷水機(jī)設(shè)計(jì)的冷凍水出水溫度至少2℃(假定板換的換熱溫差值為2℃),此時(shí)切換電動(dòng)開關(guān)蝶閥,讓冷卻塔循環(huán)冷卻水出水直接進(jìn)入板換一次側(cè)換熱,待板換二次側(cè)循環(huán)冷凍水出水溫度趨近冷水機(jī)蒸發(fā)器側(cè)出水溫度時(shí),可關(guān)閉冷水機(jī),冷源系統(tǒng)低電耗運(yùn)轉(zhuǎn),俗稱冬季冷卻塔-板換免費(fèi)制冷,是降低數(shù)據(jù)中心PUE值最有效的手段。
過渡季的節(jié)能方法是通過板換一次側(cè)與冷水機(jī)冷凝器串聯(lián),板換二次側(cè)與冷水機(jī)蒸發(fā)器串聯(lián),冷卻塔循環(huán)冷卻水出水先進(jìn)入板換的一次側(cè),與二次側(cè)來自機(jī)房精密空調(diào)的高溫冷凍循環(huán)水換熱,將冷凍循環(huán)水溫度先降低一部分,再送入冷水機(jī)的蒸發(fā)器降至設(shè)計(jì)的出水溫度值,而板換一次側(cè)換熱后升溫的冷卻循環(huán)水仍能滿足冷水機(jī)冷凝器循環(huán)冷卻水進(jìn)水溫度要求。冷水機(jī)與板換各自承擔(dān)的換熱比例取決于大氣的濕球溫度,濕球溫度越低,冷卻塔循環(huán)冷卻水出水溫度越低,板換承擔(dān)的換熱比例越大,冷水機(jī)運(yùn)行電耗越低,節(jié)能越多。
前述三種運(yùn)行模式在冷源BA控制系統(tǒng)中被互鎖,每次只有一種模式能被激活。當(dāng)模式之間切換時(shí),如果模式切換不成功,將退回至原模式,確保冷源運(yùn)行安全。
圖3是數(shù)據(jù)中心冷源水系統(tǒng)簡化原理框圖,四套冷水機(jī)與板換組合,可以大致了解冷水機(jī)與板換的管路連接方式與電動(dòng)開關(guān)蝶閥設(shè)置的位置,便于理解如何在冷源BA控制系統(tǒng)中編寫切換控制邏輯。圖4是DCS組態(tài)控制畫面上1號(hào)冷水機(jī)與板換運(yùn)行狀態(tài)畫面局部截圖。
圖3 數(shù)據(jù)中心冷源水系統(tǒng)簡化原理框圖
圖4 DCS控制畫面上1號(hào)冷水機(jī)與板換運(yùn)行狀態(tài)局部截圖
系統(tǒng)中可以實(shí)現(xiàn)冷水機(jī)組與水泵、冷卻塔開啟與關(guān)閉的順序連鎖控制,冷水機(jī)只有在循環(huán)冷卻水與循環(huán)冷凍水及冷卻塔開啟運(yùn)轉(zhuǎn)后才能啟動(dòng),關(guān)閉時(shí)順序相反,保護(hù)冷水機(jī),防止銅管凍裂爆管。
系統(tǒng)可根據(jù)數(shù)據(jù)中心的實(shí)際負(fù)荷,按預(yù)定的規(guī)則自動(dòng)加載或減載冷水機(jī)運(yùn)行臺(tái)數(shù),使每臺(tái)承擔(dān)的負(fù)荷百分比落入最優(yōu)效率負(fù)荷段范圍內(nèi),不會(huì)因負(fù)荷過小而落入易發(fā)生喘振故障的小負(fù)荷區(qū)內(nèi)。冷凍水泵變頻運(yùn)行除了要滿足冷水機(jī)與機(jī)房精密空調(diào)的水流量要求外,還要保證機(jī)房內(nèi)供回水管路上最不利環(huán)路處的供回水壓差和溫差滿足機(jī)房設(shè)計(jì)要求。
大型數(shù)據(jù)中心均配有全容量應(yīng)急備用供電的柴油發(fā)電機(jī)組,但從外市電意外停電時(shí)刻起,到備用柴發(fā)啟動(dòng)向數(shù)據(jù)中心供電,是有數(shù)十秒到2分鐘的市電供電間斷,其間冷水機(jī)、冷卻泵與冷卻塔會(huì)因供電間斷而停止運(yùn)行,在柴發(fā)供電下重新啟動(dòng)冷水機(jī)到滿載供冷需要幾分鐘時(shí)間延遲,這會(huì)導(dǎo)致循環(huán)冷凍水升溫與機(jī)房內(nèi)升溫,因此高可用數(shù)據(jù)中心均需設(shè)置冷凍循環(huán)水應(yīng)急蓄放冷罐,在UPS電源支持下,可實(shí)現(xiàn)市電斷電后15分鐘連續(xù)放冷運(yùn)行,保障數(shù)據(jù)中心機(jī)房供冷連續(xù)不中斷。在供電恢復(fù)正常,冷水機(jī)組開啟,制冷系統(tǒng)逐步恢復(fù)正常供冷后,自動(dòng)切換應(yīng)急蓄冷罐為充冷工況,充滿后進(jìn)入小流量保冷工況。圖3中示出了應(yīng)急蓄冷罐蓄冷與放冷切換的管路與電動(dòng)開關(guān)蝶閥與電動(dòng)調(diào)節(jié)閥在管路上的設(shè)置位置。
此外系統(tǒng)中還設(shè)置有設(shè)備自動(dòng)防凍保護(hù)功能,在冬季極低氣溫來臨時(shí),自動(dòng)開啟室外補(bǔ)水箱內(nèi)的電加熱帶,自動(dòng)開啟減載停運(yùn)的冷卻塔水盤內(nèi)的防凍電加熱器,防止設(shè)備凍害事故發(fā)生。
3 項(xiàng)目創(chuàng)新性
該項(xiàng)目首次在國內(nèi)大型數(shù)據(jù)中心應(yīng)用DCS集散控制系統(tǒng)實(shí)施數(shù)據(jù)中心冷源BA控制系統(tǒng),單系統(tǒng)控制的點(diǎn)數(shù)接近2500個(gè)。
數(shù)據(jù)中心從建成投運(yùn)初期低上架率到高上架率接近滿載,有一個(gè)較長的負(fù)荷增長爬坡期,特別是上架率低的投運(yùn)初期,冷水機(jī)低負(fù)載易發(fā)生喘振現(xiàn)象,不利于設(shè)備安全,需要重點(diǎn)解決。應(yīng)對(duì)方法是兼用應(yīng)急蓄放冷罐的周期充放冷邏輯,將蓄冷罐模擬為冷水機(jī)負(fù)載或循環(huán)冷凍水運(yùn)行緩沖罐,可解決數(shù)據(jù)中心投用上架初期低負(fù)荷時(shí)冷水機(jī)安全穩(wěn)定運(yùn)行的需求,圖5是DCS主控畫面蓄冷罐放冷電動(dòng)閥狀態(tài)截圖。
在工期緊的條件下如何保障冷源系統(tǒng)工程按期完工交付,也是一個(gè)重難點(diǎn)問題。應(yīng)對(duì)方法是工程技術(shù)人員做好充分準(zhǔn)備,理清冷源運(yùn)行工藝控制要求和全部控制邏輯、各功能應(yīng)用的進(jìn)入與退出時(shí)機(jī),梳理清全部信號(hào)點(diǎn)表,通過設(shè)備出廠前檢驗(yàn)環(huán)節(jié),爭取DCS控制設(shè)備成套盤箱零缺陷出廠。安裝調(diào)試中認(rèn)真仔細(xì)打點(diǎn)測(cè)試校核,確認(rèn)來自現(xiàn)場(chǎng)的信號(hào)與發(fā)往現(xiàn)場(chǎng)執(zhí)行器的動(dòng)作命令執(zhí)行無誤后,再進(jìn)入系統(tǒng)聯(lián)調(diào),逐個(gè)模擬驗(yàn)證每一個(gè)功能控制邏輯和運(yùn)行參數(shù)的正確性,投運(yùn)后還需在相應(yīng)季節(jié)來臨后再進(jìn)行復(fù)核、優(yōu)化。
圖5 DCS控制畫面應(yīng)急蓄冷罐放冷運(yùn)行狀態(tài)局部截圖
4 效益分析
該冷源BA系統(tǒng)投運(yùn)后,不僅滿足高可靠性、高可用性、可維修性、易操作性等多方面需求,而且節(jié)能效果顯著,實(shí)現(xiàn)了冷凍水型精密空調(diào)風(fēng)冷型數(shù)據(jù)中心年平均電能利用效率PUE在華東地區(qū)低于1.26的實(shí)績,每年可為用戶節(jié)約可觀的運(yùn)行電費(fèi)。
雖然控制系統(tǒng)的架構(gòu)與以往不同,但系統(tǒng)監(jiān)控組態(tài)畫面與園區(qū)內(nèi)運(yùn)行的其他數(shù)據(jù)中心畫面風(fēng)格一致,沒有改變數(shù)據(jù)中心運(yùn)維操作者的使用習(xí)慣,方便老員工向新員工傳幫帶。
此外,還充分利用DCS冷源控制系統(tǒng)軟硬件資源富余的能力,將數(shù)據(jù)中心樓宇中為暖通與消防設(shè)置的空調(diào)新風(fēng)機(jī)組、排風(fēng)機(jī)、正壓送風(fēng)機(jī)、機(jī)械排煙風(fēng)機(jī)、補(bǔ)風(fēng)機(jī)、排煙防火閥、電動(dòng)風(fēng)閥等通風(fēng)設(shè)備的狀態(tài)監(jiān)視、報(bào)警、自動(dòng)啟??刂婆c遠(yuǎn)程手動(dòng)操作等功能全部集成在本系統(tǒng)中,并設(shè)置相應(yīng)的操作、監(jiān)視與報(bào)警畫面,降低了數(shù)據(jù)中心總體建設(shè)成本,也為降低投運(yùn)后的運(yùn)維人工成本創(chuàng)造了有利條件。
5 項(xiàng)目意義
此項(xiàng)目的成功實(shí)施證明可以基于工業(yè)級(jí)的DCS技術(shù)構(gòu)建大型數(shù)據(jù)中心冷源BA控制系統(tǒng),工程師站兼實(shí)時(shí)數(shù)據(jù)庫運(yùn)行主備服務(wù)器,所有控制邏輯均駐留在DCS控制器模塊中,在模塊級(jí)冗余容錯(cuò)、應(yīng)對(duì)復(fù)雜的多設(shè)備群控、通信網(wǎng)絡(luò)安全性等方面優(yōu)于DDC構(gòu)架的系統(tǒng)。對(duì)于18~24MW或更大體量的數(shù)據(jù)中心與智算中心,可拆分為兩個(gè)或多個(gè)冷源系統(tǒng)模塊進(jìn)行實(shí)施,這也是10MW級(jí)冷源系統(tǒng)采用模塊化設(shè)計(jì)、可快速復(fù)制的意義所在。
摘自《自動(dòng)化博覽》2024年10月刊