Op weg naar een duurzaam datacenter

Het koelen van de servers in een datacenter kost energie, en niet zo'n beetje ook. Er wordt wel eens gesteld dat de noodstroomvoorziening, airconditioning en verlichting tweederde van de verbruikte energie voor hun rekening nemen en dertig procent bij het systeem uitkomt. Dat zou dan weer de helft voor zijn eigen koeling gebruiken. Omwille van de duurzaamheid en de kosten worden allerlei nieuwe technieken ontwikkeld om het energieverbruik van zowel servers als koeling terug te dringen, maar we zitten nog midden in die beweging. In de ideale situatie zou  de koeling van de systemen geen energie kosten, maar opleveren.

Het uitbaten van een datacenter is bepaald geen makkelijke business. De enorme capaciteit die aan het eind van de vorige eeuw was neergezet, kreeg men na de dotcom-crash niet meer verkocht. Veel ruimte in datacenters, bij sommige meer dan de helft, bleef jarenlang onbenut.

Toen een paar jaar later de economie weer aantrok, bleken die oude datacenters niet meer geschikt voor moderne high-density apparatuur, zoals 1U-servers en blade-systemen. Die verbruikten zoveel stroom en genereerden zoveel hitte, dat de koeling van bestaande rekken daar niet op berekend waren. Dat probleem bleef bovendien niet beperkt tot de rekken. Ook per zaal bleek niet genoeg stroom en koelcapaciteit beschikbaar.

Dat betekende dat veel datacenters hun locaties alleen konden verhuren door ruimte tussen de systemen open te laten. Soms bleef zelfs een derde van de slots ongebruikt. Op die manier werden zogenaamde hotspots voorkomen: plaatsen in het datacenter waar de temperatuur onaanvaardbaar hoog opliep. Te warme systemen resulteren immers in thermal shutdowns en falende onderdelen.

De oude kasten werkten volgens het principe van seriële koeling: lucht werd vanuit de vloer naar boven toe gezogen. Daarbij werd de lucht uiteraard steeds warmer naarmate deze hoger in de kast kwam, en de bovenste systemen werden dus het slechtst gekoeld. Een ander probleem was dat servers ontworpen zijn om koellucht horizontaal te verplaatsen. De behuizing van de servers en de horizontale luchtstromen zaten de koeling van de kast dus behoorlijk in de weg.

Tegenwoordig wordt meestal gewerkt met koude en warme straten. Koude lucht wordt van onderaf aan de voorkant over de systemen verdeeld, en achterin van boven afgezogen. Dit noemen we parallelle koeling. In deze opstelling staan de rijen met kasten afwisselend met de voorkanten en de achterkanten tegenover elkaar. Maak je de kast en de gangen zo veel mogelijk luchtdicht (met afdekplaten, strips en deuren), dan spreek je van een koude of warme corridor. Dat kan enorme winst opleveren. Volgens de datacenter-analisten van The Uptime Institute kan een derde van de energie verloren gaan door bypass, als koele lucht bijvoorbeeld door open slots niet wordt gebruikt, en door recirculation - als warme lucht wordt teruggezogen, bijvoorbeeld als te weinig koude lucht wordt aangevoerd.

Volgepropte rekken

Om een idee te geven van de koelcapaciteit van de verschillende generaties: voor de eeuwwisseling was een paar kW per rek vaak genoeg, maar tegenwoordig is twintig kilowatt per rek al normaal. En die capaciteit heb je ook nodig als je een heleboel drukbezette 1U-servers of vier blade-chassis boven elkaar in een kast zou plaatsen.

"Een vol blade-chassis verbruikt normaliter 3,5 à 4,5kW," vertelt Edwin Veltman, technology consultant van HP's Critical Facility Services, "maar in de praktijk plaatsen klanten nooit vier enclosures in een rek. Vaak zijn het er twee. En zetten ze er drie in een rek, dan creëren ze daar meer vrije ruimte omheen. In een testopstelling zou je meer dan 25 kW kunnen halen."

De overgang naar gescheiden straten voor warme en koude lucht was een belangrijke omslag in het denken over datacenterkoeling. Voorheen wilde men de hitte zoveel mogelijk over de zaal verspreiden, en werd die warme lucht via de airconditioning naar buiten gewerkt. Nu wordt de warmte juist zo veel mogelijk geconcentreerd. Dat maakt het niet alleen gemakkelijker om de warmte af te voeren, maar ook om deze te hergebruiken. In het jargon heet het dan dat de kwaliteit van de warmte toeneemt.

Dat laatste werd belangrijk toen net voor de kredietcrisis de energieprijzen explodeerden. Zo opende Intel vorige maand  - na twee jaar vertraging - zijn nieuwe duurzame ontwerpcentrum in het Israëlische Haifa. In het bijbehorende datacenter zijn de efficiëntste componenten toegepast en wordt een combinatie van water- en actieve koeling gebruikt. De afgevoerde energie wordt hergebruikt voor verwarming van de kantoren en de warmwatervoorziening voor keuken en sportcentrum. Het energieverbruik van het centrum ligt naar schatting 17 procent lager dan normaal.

Gecombineerde koeling

Maar ook als er geen gelegenheid is om de gegenereerde hitte te hergebruiken, zijn er goede redenen om de warmte geconcentreerd af te voeren. Tegenwoordig worden steeds vaker gecombineerde koelingen gebruikt. Daarbij wordt de airconditioning alleen ingezet als het buiten te warm is, anders wordt de energie via vloeistof- of luchtkoeling naar buiten afgevoerd.

Het rendement van vloeistofkoeling is evenredig met het temperatuurverschil tussen koelvloeistof en buitenlucht. Elke graad die het koelmiddel warmer is, betekent dat de airconditioning langer uit kan blijven. En die temperatuur kan omhoog naarmate de koeling dichter op de componenten zit. Omdat het stroomverbruik van de airco niet zelden meer dan de helft van dat van de systemen bedraagt, is duidelijk dat hier fikse besparingen te behalen zijn.

De toekomst is dan ook aan vloeistofkoeling op systeemniveau, een praktijk die we nu vooral van de supercomputers kennen. Zo heeft Google, dat bekend staat om zijn zelfbouwsystemen, onlangs een patent voor vloeistofgekoelde moederborden aangevraagd. Ook bij HP wordt aan vloeistofkoeling voor servers gewerkt, al zijn marktrijpe producten daar nog jaren weg.

Ten slotte moet de KyotoCooling nog even worden genoemd. Dit systeem maakt gebruik van een gescheiden luchtcirculatiesysteem en speciale hittewielen op het dak. Deze oplossing wordt door Uptime Technology samen met KPN ontwikkeld en aan de man gebracht.

De reden achter alle innovatie in koelsystemen moge duidelijk zijn. Uit onderzoek van het Lawrence Berkeley National Laboratory en de universiteit van Stanford blijkt dat de stroomkosten inmiddels net zo hoog zijn als de aanschafkosten van de it-systemen. Ken Brill, de oprichter van The Uptime Institute, spreekt dan ook van de 'economische meltdown van de Wet van Moore'. Die wet zegt dat het aantal transistors op een chip elke twee jaar verdubbelt. Volgens Brill worden de facilitaire kosten echter een belangrijkere rem op de inzet van it dan technologische beperkingen bij de fabricage van chips.

Waar chipontwerpen voorheen werden geoptimaliseerd op performance-per-dollar, is dat nu performance-per-watt geworden. Daar hebben we ook de beweging naar meer kernen en lagere kloksnelheden aan te danken. Omdat transistors ook stroom verbruiken als ze niet schakelen - door statische dissipatie - moeten zoveel mogelijk transistors effectief aan de prestaties van het systeem bijdragen. Dat betekent meer parallellisme.

Een andere manier om transistors te gebruiken voor meer performance is met hogere kloksnelheden en grotere caches, maar uit berekeningen van Intel blijkt dat dat minder efficiënt is. Met elke volgende generatie halveert immers het oppervlak dat voor een bepaalde hoeveelheid transistors nodig is, maar het stroomverbruik daalt met slechts twintig procent. Dat betekent dat de dissipatie bij gelijkblijvende oppervlakte elke keer met zestig procent toeneemt.

Consolidatie en virtualisatie

Op systeemniveau wordt nog steeds hard gewerkt aan consolidatie en virtualisatie. Door data en processen van verschillende systemen samen te pakken, kan de hardware veel efficiënter worden gebruikt.

De flexibiliteit die virtualisatie met zich meebrengt, doet daar nog eens een schepje bovenop. Door virtuele machines in rustige tijden samen te pakken en de ongebruikte machines uit te schakelen, worden steeds zo min mogelijk servers gebruikt. Wie meer over de wereld verspreide datacenters heeft, zou de virtuele machines zelfs met de nacht kunnen laten meebewegen naar de koelste tijdzone: follow the moon. Uiteraard kan dit alleen met werklasten die geen snelle interactie met de gebruiker vereisen, want die zit natuurlijk precies aan de andere kant van de wereld ('follow the sun'). De software om dit te automatiseren, wordt op dit moment ontwikkeld.

Een andere belangrijke ontwikkeling is de vervanging van 1U-servers door blades. Door voedingen, ventilatoren en netwerkaansluitingen te delen, kunnen tientallen procenten op stroom worden bespaard. Zo bevat het C7000-blade-chassis van HP zes voedingen van 2250 Watt. Deze zijn echter niet allemaal tegelijkertijd actief. Er wordt pas een nieuwe bijgeschakeld als de al actieve voedingen op vol vermogen draaien. Omdat voedingen het efficiëntst zijn als ze maximaal worden belast, wordt zo het beste rendement behaald. Ook het grote vermogen van de afzonderlijke voedingen draagt daar aan bij.

Bij vloeistof- en luchtpompen werkt de natuurkunde juist tegenovergesteld: omdat de benodigde energie kwadratisch toeneemt met het geleverde vermogen, loont het om meerdere pompen naast elkaar in te zetten. Bovendien krijg je op die manier de redundantie cadeau.

Wie geen eigen datacenter heeft en zijn systemen toch groen wil beheren, kan bij diverse CO₂-neutrale aanbieders terecht. Zo heeft EvoSwitch bijvoorbeeld het The Green Fan-programma. "Wij zijn nu drie jaar open en groen vanaf de eerste dag," zegt algemeen directeur Eric Boonstra. Hij vertelt dat de power usage effectiveness van zijn datacenter, de verhouding tussen totale energieverbruik en het verbruik van de computersystemen, ongeveer 1,5 bedraagt. "Het gemiddelde datacenter zit op een pue van 2,0, maar sommige zitten ook op 2,3 of 2,5. Je doet het al goed als je onder de 2 zit."

"Eind dit jaar breiden we de huidige capaciteit van 4000m² uit met nog eens 5000 m². Daar willen we op een pue van 1,2 uitkomen. Dat doen we door het hele jaar door vrije koeling te gebruiken. In het datacenter wordt geen koude maar juist een warme straat opgezet." Daarvoor maakt EvoSwitch gebruik van modulaire boxen van Dataxenter. De daadwerkelijke koeling vind plaats via een gescheiden circuit in combinatie met drycoolers op het dak. Boonstra benadrukt echter dat het om een ander systeem dan dat van KyotoCooling gaat: "Wij denken dat onze techniek efficiënter is."

Beheersoftware

EvoSwitch biedt ruimte alleen per rek aan. Kleinere klanten kunnen bijvoorbeeld via dochter Leaseweb hun systemen bij EvoSwitch onderbrengen. "Wij kunnen geen eisen stellen aan de systemen van de klanten," vertelt Boonstra. "Zij bepalen hun eigen beleid. We kunnen hen wel adviseren. Omdat we per rek meten, kunnen grote klanten die hun systemen op rek-niveau beheren, een nieuwe generatie servers kopen als dat een belangrijke reductie in stroomverbruik oplevert."

Volgens Veltman zal management-software in de toekomst een veel belangrijkere rol krijgen. Zo zou precies genoeg lucht kunnen worden aangevoerd: "Geef je te weinig, dan worden de systemen te heet, geef je te veel, dan kost dat geld."

Drie jaar geleden introduceerde HP al Dynamic Smart Cooling. Met behulp van sensors op de voorkant van de rekken werd bepaald hoe hard de koeling moest werken, maar tijdens de kredietcrisis is dit product gesneuveld. In de toekomst wil HP wel soortgelijke functionaliteit in zijn Smart Grid inbouwen. Daartoe zal onder andere de 'Sea of Sensors' worden gebruikt die in de nieuwste servers standaard wordt ingebouwd.

Wie meer wil weten over de inrichting en het beheer van energiezuinige datacenters, kan daarvoor de Europese Code of Conduct for Data Centres raadplegen. Deze bevat onder andere een lijst met best practices.