Liquid Cooling - Nästa generations kylteknik för datacenter och serverkluster

 

I Översikt över vätskekylningsindustrin

 

1. Utvecklingshistorik för flytande kylning

När det gäller historien om vätskekylda servrar blev IBM 1967 först med att utveckla System360-datorn med ett kallvattenkylningssystem.

 

Även om Kinas vätskekylningsindustri utvecklades relativt sent, har dess teknologi utvecklats snabbt. 2011 var Sugon pionjär inom vätskekylningsindustrin i Kina. Under de kommande fem åren började kinesiska företag som Huawei, Inspur och Sugon att komma in på marknaden och öka produktionen. Sedan 2019 har vätskekylningsteknik gjort betydande framsteg bland stora tillverkare.

 

▲ Utvecklingshistoria för flytande kylning, hemma och utomlands

 

2. Vätskekyld serverindustrikedja

Vätskekylningsindustrins ekosystem omfattar uppströms-, mittströms- och nedströmssektorerna, inklusive uppströmskomponentleverantörer, vätskekylda serverleverantörer i mellanströmsströmmen och nedströmsanvändare av datorkraft.

Uppströms: Huvudsakligen leverantörer av produktkomponenter och vätskekylutrustning, såsom snabbkopplingar, CDU:er, magnetventiler, nedsänkningsvätskekyltankar, grenrör och kylmedel.

 

Mittström:Främst vätskekylda server- och chiptillverkare, samt integrerade anläggningar, moduler och skåp för vätskekylning.

 

Nedströms:Inkluderar de tre stora telekomoperatörerna, internetföretag som Baidu, Alibaba, Tencent och JD, samt kunder inom informationsbranschen för telekom-, internet-, regerings-, finans-, transport- och energiapplikationer.

 

▲ Liquid Cooling Server Industry Chain Combing

 

 

II Grundläggande koncept för flytande kylning

 

1. Klassificering av Liquid Cooling Technology

Vätskekylning använder vätska som kylvätska och cirkulerar den för att överföra värme från interna komponenter i IT-utrustning i datacenter till utsidan, vilket säkerställer säker drift.

 

Fördelar med flytande kylning:Den erbjuder ultrahög effektivitet och värmedensitet, leder effektivt bort värme och påverkas inte av höjd, geografi eller temperatur.

 

För närvarande finns det tre huvudtyper av vätskekylningsteknik: vätskekylning med kall plattor, sprutkylning och nedsänkningsvätskekylning.

 

▲ Klassificering av vätskekylningstekniker

 

2. Jämförelse av tre vätskekylningstekniker - Kallplatta vätskekylning

Kallplattvätskekylning använder ett slutet hålrum gjord av termiskt ledande metaller (som koppar eller aluminium) för att indirekt överföra värme från de värmealstrande komponenterna till det flytande kylmediet som cirkulerar i en sluten slinga. Systemet består vanligtvis av ett kyltorn, CDU, primära och sekundära vätskekylningsrörledningar, kylmedel och vätskekylda skåp. Vätskekylda skåp innehåller komponenter som kalla plattor, inre rör, vätskeanslutningar och grenrör.

 

Kallplattvätskekylning, som en beröringsfri vätskekylningsmetod, har mer än 10 års forskning bakom sig och är den mest mogna teknologin bland de tre vanliga vätskekylningslösningarna. Det är en effektiv applikation för att distribuera högeffektsutrustning, förbättra energieffektiviteten, minska driftkostnaderna för kylning och sänka den totala ägandekostnaden (TCO). Men eftersom den inte uppnår 100 % vätskekylning är den mindre effektiv när strömförbrukningen i skåpet är låg eller andelen vätskekylning är minimal. Dessutom måste utformningen av kalla plattor beakta befintliga komponentlayouter, vilket gör strukturell design och implementering mer komplex och standardisering svårare att främja.

 

▲ Principdiagram för vätskekylningssystem för kalla plattor

 

3. Jämförelse av tre vätskekylningstekniker - Immersion vätskekylning

Nedsänkt vätskekylning innebär att de värmealstrande komponenterna helt sänks ned i en kylvätska, vilket möjliggör direktkontakt mellan komponenterna och kylvätskan för värmeväxling. Systemets utomhuskomponenter inkluderar ett kyltorn, primär pipeline och primär kylvätska, medan inomhuskomponenter inkluderar en CDU, nedsänkningskammare, IT-utrustning, sekundär pipeline och sekundär kylvätska. Eftersom IT-utrustning är helt nedsänkt i den sekundära kylvätskan måste icke-ledande vätskor som mineralolja, silikonolja eller fluorerade vätskor användas.

 

Baserat på om det sker en fasförändring under värmeväxlingen, kan nedsänkningsvätskekylning delas in i två typer:

 

1) Enfas nedsänkningskylning:Det sekundära kylmediet genomgår endast en temperaturförändring under värmeöverföringen, utan fasförändring, och värmen överförs helt genom kännbar värme.

2) Tvåfas nedsänkningskylning:Det sekundära kylmediet genomgår en fasförändring under värmeöverföringen och använder latent värme för att överföra värmen.

 

Jämfört med traditionell luftkylning och vätskekylning med kallplattor erbjuder nedsänkningsvätskekylning fördelar som energibesparing (PUE < 1,13), kompakthet, hög tillförlitlighet och lågt ljud. Men det står också inför utmaningar som begränsningar för val av komponenter, underhållsbegränsningar och specifika krav på rumsmiljö.

 

▲ Tvåfas nedsänkningskylning

 

4. Jämförelse av tre vätskekylningstekniker - Spraykylning

Spraykylning är en direktkontaktmetod där kylvätska sprutas exakt på komponenter på spånnivå genom gravitation eller systemtryck, kyler de värmealstrande komponenterna eller de termiskt ledande elementen anslutna till dem. Systemet består vanligtvis av ett kyltorn, CDU, primära och sekundära vätskekylningsrörledningar, kylvätska och spraykylda skåp. Spraykylda skåp innehåller vanligtvis ett rörsystem, vätskedistributionssystem, spraymoduler och retursystem.

 

Spraykylning uppnår också 100 % vätskekylning, och dess struktur är mer innovativ än nedsänkningskylning. Dess energibesparande prestanda är dock sämre än nedsänkningsvätskekylning, och den delar liknande begränsningar med nedsänkningskylning.

 

▲ Spraykylning

 

5. Jämförelse av tre vätskekylningstekniker

 

▲ Jämförelse av vätskekylningsmetoder för datacenter

 

 

III Drivkrafter för utveckling av vätskekylningsindustrin

 

1. Ökningen i datavolymer driver den kontinuerliga uppgraderingen av datorkraft

Global datavolym och datorkraft växer snabbt. Enligt IDC-data nådde den globala datasfären 103,66 ZB 2022, medan Kinas datavolym kommer att växa från 23,88 ZB 2022 till 76,6 ZB 2027, med en CAGR på 26,3 %, vilket potentiellt rankas som den snabbaste tillväxttakten i världen. IDC förutspår att under de kommande tre åren kommer nygenererad global data att överstiga den totala data som skapats under de senaste 30 åren, vilket leder till exponentiell tillväxt i den datorkraft som krävs för datalagring, överföring och bearbetning.

 

Den intelligenta uppgraderingen av datorkraft håller på att bli en trend, där intelligenta datorer driver det mesta av tillväxten. Efterfrågan på att bearbeta stora mängder komplexa data driver behovet av mer kraftfulla och effektiva datorresurser för att stödja utvecklingen av artificiell intelligensapplikationer. Som ett resultat byggs beräkningsinfrastruktur i en snabbare takt, och blir "grunden" för att stödja utvecklingen av den digitala ekonomin. Kravet på datakapacitet och datorkraft förstärker varandra. IDC förutspår att Kinas intelligenta datorkraft kommer att fortsätta växa snabbt och nå 1 117,4 EFLOPS år 2027, med en CAGR på 33,9 % från 2022 till 2027.

 

▲ Global datavolymskala och prognos

 

2. AIGC:s språng framåt driver en ökning av efterfrågan på datorkraft

Med den kontinuerliga utvecklingen av modeller och algoritmer har parametrarnas skala och komplexitet ökat avsevärt, vilket resulterat i högre krav på datorkraft. Framväxten av stora generativa modeller, representerade av ChatGPT och GPT-4, har drivit på den snabba utvecklingen inom AIGC-området, vilket ytterligare drivit upp ökningen av efterfrågan på datorkraft.

 

Träningssida: GPT-3-modellen innehåller cirka 174,6 miljarder parametrar och att träna den en gång kräver cirka 3 640 PF-dagar (kör i 3 640 dagar med 10 petaflops per sekund). Antalet parametrar i GPT-4 kan öka till 1,8 biljoner, med utbildningsbehovet stigande till 68 gånger högre än GPT-3, vilket kräver 90-100 dagars träning den 25,{{16} } A100 GPU:er.

Inferenssida: För GPT-3, enligt uppskattningar från Tianyi Think Tank, når beräkningsbehovet för att generera 500 tokens (cirka 350 ord) 1,75 PFLOPS.

 

▲ Utveckling av stora modellparametrar (2018-2023)

3. Datacentermarknaden fortsätter att expandera

Som en viktig del av ny infrastruktur, under de senaste åren, med den snabba utvecklingen av industrikedjan för artificiell intelligens och dataapplikationer, har byggandet av datacenter i Kina accelererat, och antalet datacenterrack har stadigt ökat. Baserat på ett standardrack på 2,5 kW nådde antalet använda datacenterrack i Kina 5,2 miljoner 2021. Bland dessa växte antalet storskaliga rack ännu snabbare och nådde 4,2 miljoner, vilket motsvarar 80 %. I slutet av 2022 närmade sig det totala antalet datacenterrack i Kina 6 miljoner, rankade bland de bästa globalt. Det förväntas att 2023 kommer antalet datacenterrack i Kina att nå 7,76 miljoner, med en datacentermarknadsstorlek på 247 miljarder RMB.

 

▲ Förutsägelsestrend för totalt antal datacenterrack i Kina (2017-2023) (enhet 10,000 rack)

 

4. Energiförbrukning och värmeavledningsproblem i datacenter blir mer framträdande

Med det ökande antalet datacenter har deras elförbrukning också skjutit i höjden. Enligt relevant statistik förbrukade Kinas datacenter 2021 216,6 miljarder kWh, och det förväntas överstiga 380 miljarder kWh år 2030. Samtidigt förvärrar den snabbt växande omfattningen av datacenter utmaningarna med värmeavledning:

 

Övergripande nivå:Traditionella datacenter har enorma energikostnader, med en hög andel av energiförbrukningen hänförlig till kyla. Datacenter har länge varit energikrävande, med nationell elförbrukning för datacenter som står för cirka 2 %-3 % av den totala elförbrukningen. År 2030 förväntas datacenters elförbrukning överstiga 380 miljarder kWh, med koldioxidutsläpp som överstiger 200 miljoner ton. Samtidigt har traditionella datacenter betydande kylningskostnader. Enligt "Uptime Institute Global Data Center Survey Report 2022" var den genomsnittliga årliga Power Usage Effectiveness (PUE) för globala datacenterprover 2022 1,55, och sedan 2014 har den genomsnittliga årliga PUE legat mellan 1.{{12} }.65, vilket indikerar att energiförbrukningen relaterad till kyla står för 35 %-39 %.

 

Mikronivå:Ökad datordensitet står inför kylningsutmaningar. Förbättringen av datorprestanda driver upp serverns strömförbrukning och termisk densitet, och traditionell luftkylning kan inte längre tillgodose värmeavledningsbehoven hos elektroniska enheter med hög termisk densitet. När Moores lag bleknar, förbättrar människor kontinuerligt energieffektivitetsförhållandet för chips och system genom tekniker som heterogen beräkning, men detta har också lett till en snabb ökning av energiförbrukningen för enskilda chips. För närvarande har de vanliga processorkretsarna en strömförbrukning på cirka 200W, med några nyligen släppta processorer som överstiger 350W, och heterogena accelerationschips som GPGPU:er har till och med överträffat 700W. I detta sammanhang är traditionell luftkylning inte längre tillräcklig för att tillgodose kylbehoven, och datacenter och servrar kräver mer effektiv kylteknik för att hantera värmeavledningsproblemen med hög effekt, hög termisk densitet och hög datordensitet chips och system.

 

Mikronivå:Höga temperaturer påverkar elektroniska komponenter negativt. I högtemperaturmiljöer är maskinmaterial, trådisolering och vattentäta tätningar mer benägna att åldras, vilket skapar säkerhetsrisker. Mer än hälften av fel på elektroniska komponenter orsakas av höga temperaturer. När temperaturen på halvledarkomponenter stiger med 10 grader fördubblas den omvända läckströmmen, vilket ökar risken för brand och gör säkerhetsincidenter mer sannolika, vilket kan leda till förlamning av datacenter.

 

5. Snabb ökning av effekttäthet med en rack kräver en kylningsrevolution i datacenter

Begränsad av datacenterbyggande och miljöföreskrifter, har ökande effekttäthet i ett rack blivit en nyckellösning för att förena den växande efterfrågan på datorkraft med den begränsade kapaciteten hos datacenter. Enligt uppgifter som släppts av Colocation America, 2020, nådde den globala genomsnittliga enrackseffekten för datacenter 16,5 kW, en ökning med 175 % jämfört med 2008. Enligt CCID Consulting, med den snabba ökningen av datacenters datorkraft, hög- power single rack kommer att bli utbredd. Det förväntas att 2025 kommer den globala genomsnittliga enrackeffekten för datacenter att nå 25kW.

 

Vätskekylningsteknik, med sin mycket effektiva kylningseffekt, kan avsevärt förbättra effektiviteten och stabiliteten hos servrar, samtidigt som fler servrar kan ordnas i ett givet datacenterutrymme, och därigenom förbättra datacentrets operativa effektivitet.

 

▲ Överensstämmelse mellan rackdensitet och kylningsmetoder

 

 

IV Liquid Cooling Market Outlook och Application

 

1. Kinas marknad för vätskekylningsservrar förväntas nå 8,9 miljarder dollar 2027

När den gröna utvecklingen av datacenter blir en trend, och konkurrensen inom artificiell intelligens intensifieras, vilket leder till ett steg i efterfrågan på högpresterande datorkraft, har marknaden för vätskekylningsservrar i Kina sett en explosiv tillväxt de senaste åren.

 

Enligt IDC-data nådde omfattningen av Kinas marknad för vätskekylningsservrar 1,01 miljarder dollar 2022, en tillväxt på 189,9 % från år till år. Under 2023 förväntas marknaden upprätthålla snabb tillväxt, med marknadsstorleken som beräknas uppgå till 1,51 miljarder dollar. År 2027 förväntas storleken på Kinas marknad för vätskekylningsservrar uppgå till 8,9 miljarder dollar.

 

▲ Marknadsstorlek och prognos för servrar för flytande kylning i Kina (Enhet: 100 miljoner USD)

 

2. Industriapplikationsstruktur för vätskekylningsdatacenter i Kina

I kombination med luftkylning möjliggör vätskekylningsdatacenter utvecklingen av olika industrier. I framtiden kommer marknaden för kylning av datacenter att se ett samarbete utvecklingsmönster av "luftkylning + vätskekylning." Luftkylningsteknik kommer inte att helt ersättas av vätskekylning utan kommer att väljas efter kundernas olika behov, med olika kyllösningar för datacenter.

 

Under 2019 användes datacenter för vätskekylning huvudsakligen i applikationer representerade av superdatorer. När affärsvolymerna inom internet-, finans- och telekommunikationsindustrin växer snabbt kommer efterfrågan på vätskekylning i datacenter i dessa branscher att fortsätta att öka. Det förväntas att vid 2025 kommer vätskekylningsdatacenter att stå för 24,0% av internetindustrin, 25,0% av finansbranschen och 23,0% av telekommunikationsindustrin. Samtidigt kommer industrier som energi, bioteknik, hälso- och sjukvård och myndigheter att se en acceleration i integrationen av vätskekylningsdatacenter i det nya ekosystemet av allmänna datacenter, med en liten nedgång i total skala. Det förväntas att 2025 kommer vätskekylningsdatacenter att stå för 10,5 % av energiindustrin, 8,5 % av bioteknikindustrin, 6,5 % av hälso- och sjukvårdsindustrin och andra företag som staten kommer att sjunka till 2,5 %.

 

▲ Industriapplikationsstruktur och prognos för vätskekylningsdatacenter i Kina (2019-2025)

 

3. Konkurrenskraftigt landskap för Kinas marknad för vätskekylningsserver: Sugon Leads, följt av Huawei, Alibaba och andra

Inhemska tillverkare, med Sugon i spetsen, har samlat på sig betydande kommersiell erfarenhet, och baserat på produktintäkter, marknadsandelar, kundfeedback och andra indikatorer är Sugon en viktig marknadsledare, med Huawei, Alibaba och Lenovo tätt efter. IBM Kina är positionerad som en potentiell utmanare.

 

Den vätskekylningsserverindustrin i Kina har höga tekniska barriärer och first-movers har en fördel. För närvarande befinner sig stora inhemska tillverkare fortfarande i de experimentella eller initiala tillämpningsstadierna av vätskekylningsteknik, och konkurrenslandskapet har ännu inte klart definierats. På grund av datasäkerhetsproblem finns det dessutom vissa geografiska hinder för utbudet av datacenterinfrastruktur i Kina, vilket gör det svårt för utländska tillverkare att ta sig in på den kinesiska marknaden.

 

▲ Konkurrenskraftsmatris för leverantörer av vätskekylningsdatacenter i Kina (2020)

 

4.TelekomoperatörerFöreslåen treårig vision för vätskekylning i datacenter

Som branschledare inom datacentersektorn ligger de tre stora telekomoperatörerna i framkant när det gäller utforskning och tillämpning av vätskekylningsteknik. I juni 2023 släppte de tre stora operatörerna tillsammans "White Paper on Liquid Cooling Technology for Telecom Operators (2023)" och skisserade en treårig vision och färdplan för applikationer för vätskekylning.

 

Det övergripande målet för den treåriga visionen är att föra samman industrikrafter, ta itu med utmaningar, bygga ett ekosystem och utöka tillämpningar genom att förena uppströms- och nedströmssektorer inom industri, akademi och forskning. Fokus kommer att ligga på att attackera nyckelteknologier med originalitet och ledarskap, och på att fullt ut bygga ett ekosystem för vätskekylning på hög nivå. Målet är att etablera ett öppet ekosystem, främja frikopplingen av vätskekylningsskåp och servrar och leda framtagandet av enhetliga standarder som minskar PUE (Power Usage Effectiveness) samtidigt som man uppnår lägsta TCO (Total Cost of Ownership). Genom att utnyttja skalfördelar siktar de på att avsevärt utöka applikationerna.

 

När det gäller implementeringstidslinjen har de tre stora operatörerna lagt upp detaljerade planer för 2023-2025.

 

• 2023:Genomföra teknisk verifiering, noggrant testa vätskekylningsprestanda, minska PUE och förbereda tekniska kapaciteter för planering, konstruktion och underhåll;
• 2024: Genomför storskaliga tester, främja frikopplingen av vätskekylningsskåp och servrar, uppmuntra konkurrens, mogna industrins ekosystem och minska de totala livscykelkostnaderna;
• Senast 2025:Uppnå storskalig tillämpning, med vätskekylningsteknik som används i mer än 50 % av projekten, och främja gemensamt bildandet av ett enhetligt, standardiserat, kostnadsoptimalt och allmänt tillämpat ekosystem för vätskekylning. Telekommunikationsindustrin har som mål att bli ledande inom vätskekylningsteknik, ledande i industrikedjan och ledande inom marknadsföring av applikationer.

 

▲ Treårsvision för vätskekylning av telekomoperatörer

 

 

V Slutsats

 

Stor utvecklingspotential inom vätskekylningsindustrin, tillsammans med utmaningar och möjligheter

För närvarande är Kinas vätskekylningsindustri i ett tidigt skede, och penetrationshastigheten för vätskekylningsapplikationer är fortfarande relativt låg. Men som nästa generations kylteknik för datacenter och serverkluster har marknadspotentialen och framtidsutsikterna för vätskekylning rönt stor uppmärksamhet, och applikationspenetrationen förväntas öka snabbt.

 

Ändå står vätskekylningsindustrin i Kina fortfarande inför flera utvecklingsutmaningar:

 

1. Omoget industriekosystem

Även om teknik för flytande kylning har utvecklats i mer än ett decennium både nationellt och internationellt, är ekosystemet fortfarande ofullständigt. Produkterna varierar stort och standardisering saknas. För närvarande finns det ingen enhetlig gränssnittsstandard för servrar och skåp i branschen. Skåp och servrar är tätt sammankopplade och olika tillverkares produktformat, såsom servrar, kylvätskor, kylrörledningar och strömförsörjningssystem, skiljer sig åt, vilket gör produktgränssnitten inkompatibla med varandra. Detta begränsar konkurrensen och hindrar branschutveckling av hög kvalitet.

 

2. Utveckling av flytande kylsystemarkitektur

Vätskekylsystemets arkitekturer i branschen skiljer sig, med variationer mellan distribuerad och centraliserad kylning och strömförsörjningsuppsättningar. Vissa tillverkares servrar har utvecklats till högtemperaturservrar, vilket gör det möjligt att minska antalet vattenkylare, vilket ytterligare förenklar kylkällans arkitektur och främjar kostnadsreduktion och effektivitet.

 

3. Höga kostnader för flytande kylsystem

Jämfört med traditionella luftkylningsprodukter innebär flytande kylning fortfarande utmaningar i form av höga initiala investeringar och totala livscykelkostnader. Denna fråga kan påverka den storskaliga adoptionen och marknadsföringen av flytande kylprodukter i de tidiga stadierna.