Tillämpning av vätskekylda servrar i datacenter

 

Under de senaste åren har industrier aktivt främjat digital transformation, och Kinas digitala ekonomi växer snabbt, med datorkraft som tillför ny fart i ekonomisk och social utveckling. För att möta den ökande efterfrågan på datorkraft har datacentervågar vuxit snabbt över hela landet. I slutet av 2023 översteg det totala antalet rack i användning i Kinas datacenter 8,1 miljoner standardrack, och den totala datorkraften nådde 230 EFLOPS, på andra plats globalt. Med utbyggnaden av datorkraft ökar även datacenters elförbrukning snabbt.

 

Enligt "China Data Center Industry Development White Paper (2023)" förväntas det att 2025 kommer den nationella elförbrukningen för datacenter att nå 1,2×10¹¹ kW•h, och de totala koldioxidutsläppen kommer att vara cirka 100 miljoner ton, svarar för cirka 1,23 % av den nationella totalen. För att implementera "koldioxidtoppar och koldioxidneutralitet" har regeringen utfärdat en rad policyer för att främja energibesparing och förbrukningsminskning i datacenter, med PUE-kraven (Power Usage Effectiveness) som snabbt utvecklas till under 1,3 och till och med 1,25. Traditionella kyltekniker i datacenter misslyckas gradvis med att möta dessa nya krav.

 

Samtidigt, när datorkraftstätheten för enstaka chip fortsätter att öka, har luftkylning gradvis blivit en flaskhals, och uppkomsten av högeffektsutrustning som AI-servrar har förvärrat problemet med utrymmesbrist i skåp. Under det dubbla trycket från nationell koldioxidpolitik och ökande chipberäkningskraftdensitet blir införandet av vätskekylningsteknik allt mer angelägen.

 

 

I Fördelar med Liquid Cooling Technology

 

Jämfört med traditionell luftkylning kan vätskekylning avsevärt förbättra kylningseffektiviteten och driftsäkerheten, med god miljöanpassning och minskad markbeläggning.

 

1. Minska utrustningens energiförbrukning och stödja energibesparing och koldioxidminskning

I den digitala ekonomins era växer efterfrågan på datorkraft snabbt, tillsammans med den utbredda tillämpningen av 5G, som driver utvecklingen av informationsinfrastruktur. Detta har avsevärt ökat elförbrukningen och koldioxidutsläppen från datacenter. Vätskekylning kan minska datacentrets PUE till cirka 1,1–1,2, vilket effektivt minskar energiförbrukningen och koldioxidutsläppen. Till exempel, för 100 20kW vätskekylda rack, kan en sänkning av PUE från 1,45 till 1,15 spara mer än 10⁷ kW•h el årligen, spara över 7 miljoner yuan i elkostnader och minska koldioxidutsläppen med 6,{{ 14}} ton. Dessutom kan vätskekylningsmiljöer minska eller eliminera fläktar, vilket ytterligare minskar serverns energiförbrukning.

 

2. Förlänga utrustningens livslängd och minska underhållstrycket

Enligt 10 graders regeln för spån minskar komponenternas livslängd med cirka 50 % för varje 10 graders temperaturökning. Vätskekylning kan effektivt sänka CPU-övergångstemperaturen med över 10 grader (övergångstemperaturen är den faktiska driftstemperaturen för halvledaren i elektroniska enheter), vilket förlänger serverns livslängd. Jämfört med traditionell luftkylning kan nedsänkningsvätskekylning ta bort fläktar, minska buller och damm och har en lägre termisk felfrekvens. Data visar att felfrekvensen för hårddiskar i nedsänkta kylmiljöer är cirka 50 % lägre än i luftkylda miljöer. Minskningen av serverfelsfrekvensen och förlängningen av serverns livslängd kan avsevärt förbättra verksamhetens driftsstabilitet och minska underhållstrycket.

 

3. God miljöanpassning och hög utbyggnadshastighet för rack

Traditionella luftkylda rack har höga miljökrav och påverkas avsevärt av yttre miljöfaktorer. Vätskekylda rack har låga miljökrav och kan upprätthålla stabil PUE i regioner med stora temperaturskillnader. Vätskekylda rack har en hög utbyggnadstäthet, cirka 3–4 gånger så stor som traditionella luftkylda rack, vilket sparar cirka 75 % av datacenterutrymmet för samma datorkraft. Vätskekylda datacenter kan eliminera luftkonditionering och minska behovet av kylaggregat, vilket ytterligare sparar utrymme.

 

 

II Vätskekylningsteknikvägar

 

Luftkylda servrar använder luft som värmeöverföringsmedium, medan vätskekylda servrar använder vätskor som vatten eller fluorerade vätskor. På grund av skillnader i densitet, specifik värmekapacitet och värmeledningsförmåga kan kylkapaciteten för vätska vid samma flödeshastighet vara upp till 3 500 gånger högre än luftens. Den mycket effektiva kylningen av vätskekylning kan avsevärt öka serverdriftstätheten, vilket minskar utrymmet i rack och rum.

 

Vätskekylningstekniker kan delas in i beröringsfri vätskekylning och kontaktvätskekylning baserat på hur kylvätskan interagerar med värmekällor.

 

1. Beröringsfri vätskekylning

Beröringsfri vätskekylning hänvisar främst till vätskekylning med kall plattor, där vätskan strömmar genom de kalla plattorna för att avleda värme från komponenter som CPU/GPU/VRD/DIMM, kylande delar av servern. Vätskan i kylplattans vätskekylning kommer inte direkt i kontakt med värmekällan.

 

Med sin högre specifika värmekapacitet och termiska ledningsförmåga kan kyla med vätskekylning med kall platt minska energiförbrukningen med 60–90 % jämfört med traditionell luftkylning och minska PUE för datacenter till cirka 1,2. Kallplattor vätskekylda servrar använder traditionell rackdistribution, vilket gör eftermonteringen av befintliga datacenter relativt enkel och kostnadseffektiv. Men eftersom vätskekylning endast tillämpas på vissa högvärmekomponenter behövs fortfarande vissa fläktar, och luftkonditionering krävs för att kyla andra icke-vätskekylda komponenter i servern.

 

Värmerörsvätskekylning faller också under beröringsfri vätskekylning, och överför värmen från komponenter som processorer ut från servern genom värmerör, som sedan avleds av cirkulerande vatten. Den använder främst vatten, köldmedier och alkoholbaserade vätskor, även om den har begränsad nuvarande tillämpning.

 

2. Kontakta Liquid Cooling

 

2.1 Nedsänkt vätskekylning

Vid nedsänkningsvätskekylning är hela servern nedsänkt i en kylvätska, med kylvätskan direkt i kontakt med servern. Det cirkulerande flödet eller evaporativa kondensationen av kylvätskan tar bort värmen. Icke-ledande, icke-frätande vätskor som mineralolja, silikonolja eller fluorerade vätskor används vanligtvis.

 

Vid nedsänkning av vätskekylning avleder alla värmealstrande komponenter värme genom vätskekylning, vilket möjliggör fullständig borttagning av fläktar och eliminerar behovet av luftkonditionering i datacentret. Jämfört med vätskekylning med kylplattor ger vätskekylning med nedsänkning bättre värmeöverföring, energibesparing och brusreducering, vilket potentiellt minskar PUE till 1,1 eller lägre. Emellertid kräver nedsänkningskylning ofta utbyggnad av lådtyp, med lägre utbyggnadstäthet än vätskekylning med kall plattor, och eftermonteringen av stödjande infrastruktur är mer komplex och kostsam. Nedsänkta vätskekylda servrar stöder också bara SSD:er och heliumfyllda enheter, och optiska kontakter och kablar måste tätas eller anpassas för korrosionsbeständighet.

 

Baserat på om kylvätskan genomgår fasförändring kan doppvätskekylning delas upp i enfas- och fasskiftande doppkyla. Vid enfas nedsänkningskylning ändrar inte vätskan fas, tar bort värme genom temperaturökningar och förblir i flytande form under hela kylcykeln. I fasförändringssänkningskylning avdunstar vätskan vid uppvärmning, transporterar bort värme i sitt gasformiga tillstånd och kyls tillbaka till flytande form av en kondensor, där den strömmar tillbaka till kammaren genom gravitationen, vilket fullbordar kylningscykeln.

 

2.2 Sprayvätskekylning

Sprayvätskekylning innebär att man sprutar kylvätska från toppen av serverchassit genom en spraymodul, varvid värme överförs genom konvektion mellan kylvätskan och kylflänsen, vilket kyler serverns alla värmealstrande komponenter. Värmen avleds sedan genom en värmeväxlare. Icke-ledande, icke-frätande vätskor som mineralolja och fluorerade vätskor används vanligtvis som kylmedel.

 

Liksom nedsänkningskylning kan sprayvätskekylning helt ta bort serverfläktar, vilket eliminerar behovet av luftkonditionering i datacenter, med PUE reducerad till cirka 1,1. Till skillnad från nedsänkningskylning använder sprayvätskekylda servrar vanligtvis bladliknande distribution, vilket kräver modifieringar av racket och serverchassit. Sprayvätskekylning har lägre kylvätskeförbrukning och lägre underhållskostnader.

 

3. Jämförelse av Liquid Cooling Technologies

Se tabell 1 för en jämförelse av olika tekniker för vätskekylning.

 

▲ Vätska Kylning Teknik

 

Med tanke på faktorer som initiala investeringskostnader, underhållsbarhet, PUE-effektivitet och industrimognad, är vätskekylning med kall platt och enfas nedsänkt vätskekylning mer fördelaktiga än andra vätskekylningstekniker, och blir de vanligaste lösningarna i branschen. Kallplattvätskekylning möjliggör en smidig övergång från traditionella luftkylda modeller och används mer allmänt i datacenter. Följande analys kommer i första hand att fokusera på vätskekylning med kall plattor.

 

 

III Huvudkomponenter i vätskekylning med kylplattor

 

Huvudkomponenterna i kylsystem för vätskekylning med kylplattor som samverkar nära med IT-utrustning finns i första hand på sekundärsidan, inklusive kylvätska, snabbkopplingar och Cooling Distribution Unit (CDU).

 

1. Kylvätska

De nuvarande branschvalen för kylmedel inkluderar etylenglykollösningar, propylenglykollösningar och avjoniserat vatten. Etylenglykol- och propylenglykollösningar är industriella standardprodukter och är lättillgängliga, där etylenglykol är mer kostnadseffektivt. Avjoniserat vatten har goda värmeöverföringsegenskaper, är giftfritt och säkert, men kräver övervägande av frostskydd vid 0 grader.

 

Kylmedel behöver kompletteras med korrosionsinhibitorer och biocider för att förhindra bakterietillväxt som kan orsaka blockeringar eller läckor. En koncentration på 20 %–30 % rekommenderas, eftersom för höga koncentrationer kan påverka värmeavledningen, medan koncentrationer som är för låga kan minska kylvätskans förmåga att förhindra frysning och hämma mikrobiell tillväxt.

 

2. Snabbkopplingar

Snabbkopplingar länkar den kalla plattmodulen i vätskekylda servrar till grenröret i det vätskekylda racket. Det finns två typer av snabbkopplingar: manuella snabbkopplingar och blind-mate snabbkopplingar. Manuella kontakter kräver högre skicklighet av underhållspersonal, med in- och urkoppling beroende på manuell drift av datacenterpersonal, vilket gör det lättare att koppla bort servern från racket. Blind-mate kontakterhar inga specifika driftskrav och ansluts automatiskt när servern sätts in i det vätskekylda racket. Snabbkopplingar måste ha stark korrosionsbeständighet och minimal vätskeförlust när de är frånkopplade för att förhindra kylvätskespill.

 

3. Cooling Distribution Unit (CDU)

CDU är ett system som används för att fördela kylvätska mellan vätskekylda servrar, vilket ger sekundär sidoflödesfördelning, tryckkontroll, fysisk isolering och anti-kondensationsfunktioner. Den kan också isolera primärsidan och sekundärsidan för att tillgodose olika vattenkvalitetskrav. Baserat på dess form och distributionsplats kan CDU klassificeras i centraliserade och distribuerade CDU:er.

 

En centraliserad CDU är vanligtvis ansluten till flera serverskåp, vilket ger kylkapacitet till flera serverskåp samtidigt. Flera CDU-kluster kan uppnå N+M-redundans, vilket erbjuder hög tillförlitlighet och gör det lämpligt för storskalig distribution av vätskekylda serverskåp. En distribuerad CDU, som inte kräver sekundär rörledning, tillhandahåller kylning för endast servrarna i sitt eget skåp och kan inte erbjuda cross-cabinet redundans, vilket har lägre tillförlitlighet jämfört med en centraliserad CDU. En jämförelse av centraliserade och distribuerade CDU:er finns i Tabell 2.

 

▲ Jämförelse mellan centraliserad CDU och distribuerad CDU

 

 

IV Tekniska krav för Cold Plate vätskekylda servrar och skåp

 

1. Server tekniska krav

Utformningen av vätskekylda kallplattor måste uppfylla de tekniska kraven i Tabell 3.

 

▲ Designkrav för vätskekylningsserver för kylplattor

 

Utöver att uppfylla de olika kraven som anges i tabellen, måste designen av vätskekylda kallplattor även uppfylla designkraven för traditionella luftkylda servrar, inklusive komponenter som CPU, minne, hårddiskar och moderkort.

 

2. Skåp tekniska krav

I scenarier för vätskekylning är kopplingen mellan servrar och skåp hög. Utformningen av vätskekylda skåp måste uppfylla de tekniska krav som anges i Tabell 4.

 

▲ Vätskekylda skåp

 

Utöver att uppfylla kraven som anges i tabellen måste utformningen av vätskekylda skåp även följa designkraven för traditionella luftkylda skåp, såsom transport och installation, kablage inuti skåpet och funktionell avskiljning.

 

 

V Ändringar medfört av införandet av vätskekylning i datacenter

 

När vätskekylda servrar introduceras i datacenter kommer det att ske förändringar i stödjande infrastruktur, drift och underhåll samt leveransmodeller.

 

1. Stödjande infrastruktur

Införandet av vätskekylda servrar ökar driftsättningstätheten, vilket ställer högre krav på datacentrets belastningskapacitet. Dessutom sker förändringar i områden som höjden på förhöjda golv, strömförsörjning och underhållsutrymme. Förändringarna i stödjande infrastruktur beskrivs i tabell 5.

 

▲ Stödja infrastrukturförändringar

 

2. Drift och underhåll

För närvarande är vätskekylda servrar mestadels skräddarsydda distributioner, som skiljer sig från traditionella luftkylda servrar när det gäller komponentkompatibilitet, distributionsmetoder och underhållsverktyg. Specifika skillnader visas i tabell 6.

 

▲ Drift- och underhållsändringar

 

3. Leveransmodeller

Vätskekylning i datacenter innebär gränssnitt mellan det primära kylsystemet, det sekundära kylsystemet, CDU, vätskekylda skåp och vätskekylda servrar. Standardiseringsnivån är låg och kompatibiliteten mellan olika tillverkare är begränsad. Baserat på leveransinnehållet finns det för närvarande tre leveransmodeller för vätskekylda servrar, som visas i Tabell 7.

 

 

▲ Leveransmodeller

 

När man introducerar vätskekylningssystem i datacenter måste faktorer som branschmognad, lätt underhåll och byggtidslinjer beaktas. I inledningsskedet kan modell 2 eller modell 3 anses skaffa sig erfarenhet av konstruktion och underhåll. Med tiden kan gränssnittsstandardiseringen mellan det primära systemet, det sekundära systemet, CDU, vätskekylda skåp och vätskekylda servrar gradvis främjas och avancera mot modell 1.

 

 

VI Slutsats

 

Införandet av vätskekylda servrar i datacenter kan avsevärt minska PUE-värdena, förbättra stabiliteten i utrustningens drift och affärstillgänglighet, öka serverinstallationens täthet, minska markanvändningen i datacenter och uppnå energibesparingar och koldioxidreduktion. Dessutom ger den ökande effekttätheten hos chips och det gradvisa införandet av högeffektsutrustning som AI-servrar ännu större möjligheter för antagandet av vätskekylning, som gradvis blir en viktig kyllösning för datacenter.

 

Standardiseringen av vätskekylning är dock relativt låg, med olika tillverkare som arbetar oberoende. Kopplingen mellan vätskekylda servrar och vätskekylda skåp är särskilt hög, så efterföljande standardisering av relevanta gränssnitt är nödvändig. Med tiden är det viktigt att uppnå blind sammankoppling av vatten, kraft och nätverksgränssnitt, vilket gör vätskekylning inte bara funktionell utan också användarvänlig, och fullt ut inser sin roll i målen med dubbla koldioxidutsläpp.