Cookies op Tweakers

Tweakers is onderdeel van DPG Media en maakt gebruik van cookies, JavaScript en vergelijkbare technologie om je onder andere een optimale gebruikerservaring te bieden. Ook kan Tweakers hierdoor het gedrag van bezoekers vastleggen en analyseren. Door gebruik te maken van deze website, of door op 'Cookies accepteren' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt? Bekijk dan ons cookiebeleid.

Meer informatie

Door Wouter Tinus

Serverduel: Xeon Woodcrest vs. Opteron Socket F

DDR2 vs. FB-DIMM

De Blackford- en Greencreek-chipsets zijn de eerste die gebruikmaken van een nieuw type geheugenmodule dat is bedacht door een grote groep bedrijven, aangevoerd door Intel en IBM. In tegenstelling tot een normale DIMM gebuikt een zogeheten FB-DIMM geen parallelle bus om data over te sturen, maar een seriële p2p-verbinding. Eén van de voornaamste redenen hiervoor is dat het moeilijk is gebleken om een parallelle bus op te schalen naar hoge snelheden en grote aantallen modules. Met DDR2 kunnen er bijvoorbeeld nog vier repen per kanaal geplaatst worden op 400MHz en 533MHz, maar niet meer dan twee per kanaal op 667MHz en 800MHz. Voorspeld wordt dat volgend jaar met DDR3 het punt bereikt zal worden waarop nog maar één reep per kanaal geplaatst kan worden. Vooral voor servers is dat geen prettige situatie, omdat de maximale capaciteit erdoor beperkt wordt en er duurdere modules nodig zijn om een bepaald aantal gigabytes te halen. FB-DIMM ondersteunt een comfortabele acht modules per kanaal en maakt dus korte metten met dit probleem.

Een tweede voordeel van deze techniek is dat de controller niet meer rechtstreeks met de geheugenchips praat, maar alleen nog met de bufferchip (AMB - Advanced Memory Buffer). Dit betekent dat de geheugencontroller geen weet meer hoeft hebben van het soort chips dat aan de andere kant van de buffer gebruikt wordt. Op dit moment gebruikt al het beschikbare FBD-geheugen DDR2-chips, maar in de toekomst kan dat pijnloos vervangen worden voor een ander soort, zoals bijvoorbeeld DDR3 of iets exotischers als XDR. Hiervoor zijn dus niet langer nieuwe moederborden of sockets nodig.

Een derde motivatie om over te stappen is dat FB-DIMM op het moederbord maar 69 sporen per kanaal gebruikt. Voor een gewoon DDR2-kanaal zijn 240 sporen nodig, die tot frustratie van ontwerpers van moederborden ook nog eens (bijna) precies even lang moeten zijn. Wie zijn computer openmaakt en het stuk tussen processor en de geheugenbanken bekijkt zal vaak zien dat bepaalde banen rare kronkels maken, bedoeld om het signaal te vertragen. Bij FB-DIMM compenseert de chipset voor verschillen in lengte, en gecombineerd met het kleine aantal sporen betekent dat in de praktijk dat er twee tot drie keer zoveel kanalen aangelegd kunnen worden met gelijke of minder complexiteit.

FB-DIMM
Links: één kanaal DDR2, exclusief stroom | Rechts: twee kanalen FB-DIMM, inclusief stroom

Het laatste punt wat men heeft aangepakt is de betrouwbaarheid: in plaats van alleen ECC-foutcorrectie toe te passen op de data gebeurt dat nu ook op adressen en opdrachten. Verder kan een transactie in het geval er een fout optreedt automatisch opnieuw geprobeerd worden, zonder direct paniek te veroorzaken bij de processor of het besturingssysteem. Daarnaast wordt hotswapping ondersteund en kunnen datapaden die onbetrouwbaar blijken te zijn uitgeschakeld worden, waardoor de bandbreedte afneemt maar het systeem wel in de lucht blijft.

Niet alles aan FB-DIMM is positief: een duidelijk nadeel van de techniek is bijvoorbeeld de hogere latency. Er komt natuurlijk sowieso een buffer als extra stap tussen de processor en het geheugen te zitten, maar het ergste is dat de controller alleen maar een rechtstreekse verbinding heeft met de eerste reep op het kanaal. De rest van de modules is alleen via-via bereikbaar, waarbij voor iedere stap gerekend moet worden op een vertraging van 3 tot 5 nanoseconden (2 à 3 cycles). Tegen de tijd dat de achtste reep op een kanaal bereikt wordt is er vanuit de processor gezien dus al een kleine eeuwigheid voorbij gegaan. De NUMA-architectuur van de Opteron heeft een zelfde soort probleem als er data moet worden opgevraagd uit een module die is gekoppeld aan het andere socket: in dat geval moet er 30 nanoseconde (ongeveer 20 cycles voor DDR2-667) bij de toegangstijd worden opgeteld.

Voor de Xeon DP gaan de meeste fabrikanten overigens meer in de breedte dan in de diepte. De populairste configuratie voor Blackford-servers is vier kanalen met ieder twee of drie repen, dus het extreme geval van acht per kanaal is in de praktijk nog niet verschenen. Onder zware belasting wordt het nadelige effect van de hogere latency per transactie ook weer gecompenseerd door het feit dat er meerdere acties simultaan uitgevoerd kunnen worden. Zo kan er tegelijkertijd gelezen en geschreven worden en kunnen er per kloktik opdrachten naar drie verschillende repen per kanaal verstuurd worden. Hierdoor kan de gemiddelde latency onder zware belasting weer lager worden dan die van DDR2, maar dat zal lang niet voor alle toepassingen het geval zijn.

FB-DIMM buffers

Een ander nadeel van de buffer is dat deze het aardig druk kan krijgen: met een effectieve transmissiesnelheid van 3,2GHz (PC2-4200F) of 4,0GHz (PC2-5300F) in twee verschillende richtingen zal het voor weinig mensen nog een verrassing zijn dat het stroomverbruik van de reep er aanzienlijk door stijgt. Uit onze metingen blijkt er voor iedere extra (533MHz) module ongeveer 7,6 watt uit het stopcontact wordt getrokken, ongeacht het niveau van belasting. De 1GB DDR2-667-modules van onze Socket F Opteron hadden daarentegen idle 1,9 watt en onder belasting 2,4 watt nodig, waardoor we kunnen stellen dat iedere FB-DIMM ruim 5 watt aan het totale verbruik van de server toevoegt, wat voor een totaal van acht repen toch een dikke 40 watt is.

Verwacht wordt wel dat naar mate men meer ervaring krijgt met het ontwerp en de productie van de buffers het stroomverbruik ervan omlaag zal gaan, maar aan de andere kant zal de frequentie ook omhoog moeten om snellere geheugensmaken te ondersteunen, waardoor het altijd een strijd zal blijven. De geheugencontroller lijkt in ieder geval niet meer zo heel veel stroom te gebruiken nu de bufferchips een hoop functies overnemen. Het maximum verbruik van de 5000P-chipset met vier kanalen wordt op 30 watt gespecificieerd, maar ieder actief kanaal voegt slechts 1,75 watt toe, waardoor het erop lijkt dat een groot deel van de verbruik van de northbridge in andere functies zit.

Wat vind je van dit artikel?

Geef je mening in het Geachte Redactie-forum.

Nintendo Switch (OLED model) Apple iPhone 13 LG G1 Google Pixel 6 Call of Duty: Vanguard Samsung Galaxy S21 5G Apple iPad Pro (2021) 11" Wi-Fi, 8GB ram Nintendo Switch Lite

Tweakers vormt samen met Hardware Info, AutoTrack, Gaspedaal.nl, Nationale Vacaturebank, Intermediair en Independer DPG Online Services B.V.
Alle rechten voorbehouden © 1998 - 2021 Hosting door True