Vätskekylning ökar prestanda och effektivitet hos Nvidias Blackwell-plattform

 

Den snabba tillväxten av artificiell intelligens (AI), särskilt inom områden som Generativ AI (GenAI) och stora språkmodeller (LLM), har drivit på en aldrig tidigare skådad efterfrågan på datorkraft. När AI-modeller blir mer komplexa och kräver mer data, står hårdvaran som behövs för att stödja dessa framsteg inför betydande utmaningar, särskilt med värmeavledning. Traditionella kylningsmetoder, som luftkylning, är inte längre tillräckliga för att hantera strömförbrukningen hos banbrytande AI-hårdvara, och det är här flytande kylningslösningar kommer in i bilden.

 

Teknik för vätskekylning har fått en framträdande plats som ett mycket effektivt sätt att hantera den termiska effekten från AI-datacenter. Det är särskilt avgörande för plattformar som Nvidias Blackwell-arkitektur, där den enorma beräkningskraften kräver avancerade kylsystem för att säkerställa prestanda och livslängd.

 

VidHotchip 2024konferens, Nvidia introducerade sin innovativa lösning, integreringvarmvatten Direkt till Chip flytande kylningteknik med sin Blackwell-arkitektur för att möta utmaningarna med monteringsströmförbrukning och kylning. Denna utveckling innebär ett viktigt framsteg inom AI-hårdvarudesign, vilket minskar driftskostnaderna och förbättrar effektiviteten i storskaliga AI-applikationer.

 

▲ Hot Chips Tutorial: Flytande kylning ökar prestanda och effektivitet

 

Uppkomsten av flytande kylningsteknik

 

Vätskekylningsteknik växer fram som en kritisk komponent i AI-datacenterdesign på grund av det växande kraftbehovet från AI-chips. När AI-applikationer växer förväntas strömförbrukningen i datacenter öka drastiskt. Många AI-processorer, inklusive Nvidias H100 och dess nyaBlackwell arkitektur, förbrukar allt från 700W till 1200W ström. Denna enorma energidragning förvärras när AI-kluster, som består av tusentals GPU:er, fungerar unisont.

 

Till exempel,Elon Musks AI-träningskluster, den största i världen med 100,000 H100 GPU:er, är helt vätskekyld för att klara sitt energibehov på 31-megawatt. Sådana exempel visar varför optimering av kylteknik är avgörande - inte bara för att minska driftskostnaderna utan också för att förbättra den övergripande prestandan hos AI-system. När behovet av högpresterande AI fortsätter att växa kommer vätskekylning att spela en allt mer central roll för att upprätthålla högpresterande datorsystem.

 

 

Fördelarna med flytande kylning i AI-datacenter

Vätskekylning sticker ut på grund av dess förmåga att direkt överföra värme från kritiska komponenter som CPU:er och GPU:er, vilket förbättrar värmeavledning jämfört med traditionell luftkylning. IDirekt vätskekylning (DLC), kommer kylvätska i direkt kontakt med chipet, vilket förbättrar den termiska effektiviteten och minskar behovet av skrymmande fläktar och luftkonditioneringssystem. Detta resulterar i lägre energiförbrukning för kylning, vilket minskar de totala driftskostnaderna för datacentret.

 

Dessutom,Nedsänkt flytande kylning, där hela servrar är nedsänkta i en dielektrisk vätska, presenterar en ännu effektivare kyllösning. Denna metod säkerställer inte bara att alla komponenter förblir svala utan minimerar också mekaniskt slitage, vilket förlänger hårdvarans livslängd och avsevärt minskar buller från luftrörande utrustning.

 

 

Strömförbrukningsutmaningar i AI-hårdvara

 

När AI-system skalas, utgör deras strömförbrukning en växande utmaning. AI-hårdvara, såsomNvidia H100 GPUoch denBlackwell arkitektur, är kända för att vara strömkrävande, med effektbehov som når upp till 1200W per chip. Ett typiskt AI-kluster som innehåller 22,000 H100 GPU:er kan till exempel kräva upp till31 megawatt el-motsvarande strömförbrukningen i en liten stad.

 

Detta enorma kraftbehov ökar inte bara driftskostnaderna för datacenter utan bidrar också till betydande miljöpåverkan. För att möta dessa utmaningar måste datacenter fokusera på både minskning av energiförbrukningen och förbättring av kylningseffektiviteten.

 

 

Nvidias Blackwell Architecture och Warm Water Direct to Chip Cooling

 

VidHotchip 2024-konferens, presenterade Nvidia sin lösning för att integrera vätskekylning med sin Blackwell-arkitektur, med hjälp avvarmvatten Direct to Chip kylningsteknik. Detta tillvägagångssätt använder varmt vatten (i motsats till kylt vatten) för att absorbera och överföra värme direkt från chipet. Genom att använda varmvattenkylning kan Nvidia minska kylströmförbrukningen i datacenter med upp till 28 %.

 

Effektiviteten hos denna lösning är tvåfaldig: den minskar inte bara det totala strömförbrukningen för kylning utan möjliggör också återvinning av spillvärme, som kan användas för andra ändamål, såsom uppvärmning av närliggande byggnader. Dessutom förlänger varmvattenkylning servrarnas livslängd genom att hålla chipsen inom optimala temperaturintervall, förhindra överhettning och minska slitage.

 

▲Varmvatten direkt till Chip-kyllösning

 

Denna kylningsteknik är särskilt viktig eftersom AI-applikationer som GenAI och LLM fortsätter att driva upp den beräkningskraft som krävs i datacenter. Förmågan att upprätthålla optimala temperaturer påverkar direkt prestandan och skalbarheten för AI-arbetsbelastningar, vilket säkerställer att dessa system kan hantera de intensiva krav som ställs på dem.

 

 

 

Nedsänkt flytande kylning: ett steg bortom

 

Förutom direkt vätskekylning,Nedsänkt flytande kylningvinner också draghjälp som en nästa nivå lösning för storskaliga AI-system. Denna metod sänker hela servrar i en icke-ledande, dielektrisk vätska, som helt absorberar och avleder värme från alla komponenter. Genom att kyla hela systemet på detta sätt erbjuder Immersion Liquid Cooling följande fördelar:

 

• Förbättrad kylningseffektivitet: Genom att omge alla komponenter med kylvätska ger denna metod enhetlig och effektiv värmeavledning.
• Lägre underhållskostnader: Utan rörliga delar som fläktar blir det mindre mekaniskt slitage, vilket minskar underhållskostnaderna och förlänger utrustningens livslängd.
• Förbättrad energieffektivitet: Nedsänkt kyla kan dramatiskt minska energianvändningen, eftersom det eliminerar behovet av luftkonditioneringssystem och andra aktiva kylkomponenter.

 

▲ Nedsänkt flytande kylsystem

 

Dessutom,Nedsänkt flytande kylningär mycket skalbar, vilket gör den idealisk för datacenter som hanterar AI-arbetsbelastningar som genererar betydande mängder värme, till exempel de som drivs av Nvidias Blackwell-arkitektur. Med större AI-modeller som blir allt vanligare kan nedsänkningskylning bli en god lösning för datacenter som vill skala sin verksamhet samtidigt som energikostnaderna och miljöpåverkan minimeras.

 

 

 

Silicon Valleys investering i kylteknik

 

Den ökande efterfrågan på effektivare kylningslösningar i AI-datacenter har fångat riskkapitalföretagens uppmärksamhet, särskilt iKisel Dal. Dessa företag investerar aktivt i startups som är specialiserade påvätskekylningteknologier, som inser att innovationer på detta område är avgörande för framtiden för AI-hårdvara.

 

Nystartade företag utvecklasavancerade kyllösningarger inte bara omedelbara fördelar för nuvarande generations AI-system utan lägger också grunden för nästa våg av AI-hårdvara, som sannolikt kommer att kräva ännu mer sofistikerade kylningsmetoder. Dessa tekniker måste möta både de höga effektkraven och de termiska utmaningarna för AI-system, vilket gör dem till en attraktiv investering för dem som vill tänja på gränserna för vad som är möjligt inom högpresterande datoranvändning.

 

▲AI Data Center investeringstrender

 

 

Slutsats

 

Allt eftersom AI-hårdvaran fortsätter att utvecklas, ökar efterfrågan på innovativ kylteknik. NvidiasBlackwell arkitekturligger i spetsen för detta skifte och utnyttjarvarmt vatten direkt till chipkylning för att öka effektiviteten och minska driftskostnaderna.Vätskekylning, oavsett om det är genom direktkontakt eller nedsänkningsmetoder, har visat sig vara det mest effektiva sättet att hantera den massiva strömförbrukningen och värmeeffekten hos moderna AI-system.

 

Riskkapitalföretag lägger märke till, med många som investerar i startups som kan erbjuda nästa generations kyllösningar. När AI-datacenter blir större och mer komplexa kommer vikten av effektiva och skalbara kylsystem bara att öka, vilket gör flytande kylning till en hörnsten i framtida högpresterande datorinfrastruktur.