Calxeda laat Ubuntu Server draaien op 192-core ARM-server

De Amerikaanse firma Calxeda heeft op de Ubuntu Developer Summit een server gedemonstreerd die voorzien is van energiezuinige ARM-processors uit zijn EnergyCore-serie. In de server waren 48 quadcore ARM-cpu's geplaatst.

Het prototype van de ARM-server, Greenbox geheten, draaide een LAMP-stack in combinatie met het onlangs uitgebrachte Ubuntu Server 12.04 LTS. De server telde 12 EnergyCards van Calxeda. Op elke EnergyCard zijn vier quadcore ECX-1000 ARM Cortex A9-cpu's geplaatst. In totaal had de experimentele server een capaciteit van 192 cores.

De fabrikant stelt dat elke EnergyCore-processor minder dan 5W verstookt en dat deze cpu's daarmee aanzienlijk zuiniger en goedkoper zijn dan de serverprocessors van Intel en AMD. Ook claimt de firma dat zijn ARM-serverarchitectuur zeer goed schaalbaar is; clusters van duizenden processors per serverrack zouden mogelijk zijn.

Calxeda, dat zijn ARM-serverproducten samen met HP nog dit jaar op de markt hoopt te brengen, wilde op de Ubuntu Developer Summit aantonen dat bestaande software probleemloos op zijn hardware kan draaien. Daarnaast verwacht de firma dat een aantal populaire Linux-distributies voor servers, met name CentOS en Red Hat, binnen korte termijn ook op Calxeda-hardware zal werken. Het bedrijf durft zelfs de voorspelling aan dat over circa drie jaar 40 procent van alle Linux-serverhardware op ARM-architectuur zal zijn gebaseerd.

Reacties (53)

[kipppertje]

Ik ben benieuwd naar de performance en wat ze ongeveer gaan kosten.
192*5=960w is alsnog niet weinig, dus het is alleen winst wanneer ze sneller / even snel zijn als de concurrentie.
Maar dit klinkt wel erg goed zeg!

[J.J.J. Bokma]

Designed from the ground up with a focus on energy efficiency, the EnergyCore ECX-1000 consumes as little as 1.5W per processor. Equipped with an integrated on-chip fabric switch and management engine, a quad-core SoC – paired with 4GB DRAM – enables a server node that consumes only 5W at typical max utilization and ½ watt when idle.

Source: Calxeda - EnergyCore ECX-1000 Series

Dus 4 ECX-1000 per kaart * 5W * 12 kaarten = 240W
Zal vast hier en daar nog wat overhead in zitten, dus wellicht 280-300W typical max. Wat wellicht veel interessanter is, is die halve watt idle.

[Verwijderd]

Je bedoelt 48 x 5 watt.
Het is geen 5 watt per core maar 5 watt per quadcore cpu.
Totaal stroomverbruik ligt dus ongeveer gelijk aan een dual xeon sixcore.

[hardwareaddict]

fout - een dual xeon sixcore hier zit op zo'n 400 watt verbruik ongeveer effectief.

En deze machine met 48 aftakkingen en 48 bandbreedtes zal enorm veel stroom voor die bandbreedte vreten, dus reken snel op 800 - 1000 watt als je fiks streamed van en naar alle modules.

[Erwin94]

Er zitten 48 Quadcore processoren in deze server, dus het verbruik is 48*5W = 240W. Dit zou overeenkomen met twee grote intelprocessoren.
Het enige is dat de applicaties wel goed multithreaded moeten zijn, anders kan je beter een intel server nemen.

[i-chat]

volgens mij kun je niet lezen... er stond dat het om qaudcores ging en dat die 5wat per cpu is en niet per core...

elke EnergyCore-processor minder dan 5W verstookt

dat is dus nog geen 200watt, ergo het equivilent van een flink dual socket system...

[deadinspace]

192*5=960w is alsnog niet weinig, dus het is alleen winst wanneer ze sneller / even snel zijn als de concurrentie.

Het is niet 5W per core, maar 5W per (4-core) processor. In totaal dus 48*5 = 240W!

In het gelinkte artikel staat dan ook:

The cluster we are running is a Calxeda EnergyCard prototype in a 2U chassis that supports up to 48 quad-core nodes at under 300 watts, with up to 24 SATA drives.

[hardwareaddict]

Deze machine is als we goed gaan testen vast wel ergens energiezuiniger te noemen dan PC's met 'vergelijkbare prestaties'.

Maar mijn ervaring is wel altijd hetzelfde als ik contact opneem met dit soort bedrijven die 'low power' oplossingen op de markt brengen.

Kadootjes geven ze nooit, zelfs demonstraties of TESTEN van iets op die machines, ook niet voor grote bedrijven, is mogelijk. Je koopt het of je koopt het niet.

Dat is altijd het spelletje dat ze spelen.

ZE WILLEN ALTIJD HEEL VET VERDIENEN AAN LOW POWER OPLOSSINGEN.

Zozeer zelfs dat ze zichzelf ALTIJD uit de markt prijzen.
We zullen zien of dat hier ook gaat gebeuren. Ik vermoed van wel en er zijn ook indicaties voor, zelfs semi-accurate rapporteert ook dat vermoeden en die heeft naar ik aanneem wel GEVRAAGD wat het gaat kosten en heeft er DUS geen antwoord op gehad.

[MMaI]

we weten je standpunt nu wel, jij bent duidelijk geen fan van low-power oplossingen.
Als je nog een inhoudelijke bijdrage wil doen naast het repeterend herhalen dat low power producenten vet willen verdienen houd ik me aanbevolen.

Goed bekeken wil namelijk iedere fabrikant goed verdienen aan zijn/haar oplossing.
BIj low power oplossingen komt vaak een schaalprobleem kijken, omdat de onderdelen niet zo massaal worden geproduceerd als van mainstream oplossingen.

Het grote voordeel van low power oplossingen is dat je een grotere vulling van bijvoorbeeld datacenter racks kan halen, ook in beperkte stroom omgevingen. Dit resulteert weer in lagere kosten, wat er dus ook voor zorgt dat low power oplossingen zichzelf enigszins terugverdienen in vergelijking met high power oplossingen.

ps. hoofdletters zijn nergens voor, en schreeuwerig.

[Reactie gewijzigd door MMaI op 24 juli 2024 05:04]

[merlijn85]

Het bedrijf durft zelfs de voorspelling aan dat over circa drie jaar 40 procent van alle Linux-serverhardware op ARM-architectuur zal zijn gebaseerd.

En ik durf daar toch wel hele grote vraagtekens bij te zetten. De meeste servers waar ik mee te maken heb zijn ofwel behoorlijk stevige servers, of ze zijn allang gevirtualiseerd. Virtualisatie staat op ARM nog redelijk in de kinderschoenen, en hoewel daar best verandering in kan komen denk ik dat de komende jaren x86 daar toch echt de standaard zal zijn.

Bij de meeste servers komt de parallelisatie niet van de applicaties die meerdere cores benut - maar juist van een applicatie die veel gebruikers tegelijk afhandeld, waarbij het proces voor die gebruiker vaak vastzit op 1 core. Qua snelheid ben je dus in een hoop gevallen wel gebaat van een cpu met een hoge kloksnelheid, en ook daar zit nou niet de sterkste kant van ARM.

Om die reden zou ik huiverig zijn om een dergelijk systeem te gebruiken voor een LAMP opzet. Ik ken persoonlijk geen PHP programmeurs die hun web apps multithreaded maken, en MySQL hangt ook vaak op 1 core wanneer er inserts/updates worden gedaan. Er zijn natuurlijk situaties waarin je dit prima kan gebruiken, maar het is zeker niet een blinde keuze dat dit sneller zal zijn.

Waar je een dergelijk systeem wel goed voor in kan zetten zou bijvoorbeeld een Varnish caching cluster zijn, of in een storage server. Beide kunnen vaak wel goed gebruik maken van een hoop (niet al te snelle) cores, en dan heb je het grote voordeel van een laag stroom verbruik.

Voor beide wil je dan eigenlijk een hele hoop geheugen in zo'n machine stoppen, en hoewel ze niet echt veel info daarover geven, lijkt het erop dat ook dat moeilijk gaat worden met de ECX-1000:

72-bit DDR controller with ECC support
32-bit physical memory addressing
Supports DDR3 (1.5V) and DDR3L (1.35V) at 800/1066/1333 MT/s
Single and dual rank support with mirroring

[Verwijderd]

Het lijkt me juist wel nuttig om dit op een LAMP stack te draaien.

Klopt, de meeste PHP applicaties zijn niet multithreaded, en ook inserts e.d. zijn vooral single threaded. Echter, per connectie is het wel voordeliger, want dan heb je 1 core per user en dus minder overhead van het wisselen tussen de verschillende users.

[deadinspace]

Om die reden zou ik huiverig zijn om een dergelijk systeem te gebruiken voor een LAMP opzet. Ik ken persoonlijk geen PHP programmeurs die hun web apps multithreaded maken, ...

In een traditionele LAMP-setup verdeelt de webserver inkomende requests over de beschikbare processoren. Daar heeft de PHP-programmeur niks mee te maken. Met 192 cores kunnen er simpelweg 192 request tegelijk afgehandeld worden.

en MySQL hangt ook vaak op 1 core wanneer er inserts/updates worden gedaan. Er zijn natuurlijk situaties waarin je dit prima kan gebruiken, maar het is zeker niet een blinde keuze dat dit sneller zal zijn.

Voor update-heavy gebruik kan dat een probleem zijn, al vermoed ik dat daar ook het nodige aan te tunen valt. Maar voor een zware setup kan het sowieso interessant zijn om je database op een andere machine te draaien. Eentje met weinig snelle processoren bijvoorbeeld.

Voor beide wil je dan eigenlijk een hele hoop geheugen in zo'n machine stoppen, en hoewel ze niet echt veel info daarover geven, lijkt het erop dat ook dat moeilijk gaat worden met de ECX-1000:

Waar maak je dat uit op? Ik zie alleen "32-bit physical memory addressing", maar dat is een beperking per processor, niet voor het gehele systeem; er staat physical, niet logical (of virtual). 32-bit is 4GB per processor, of 1GB per core. 192GB max voor het systeem uit het artikel, lijkt me meer dan genoeg.

Ik kan in de gelinkte pagina's niks terugvinden over een beperking op de totale hoeveelheid geheugen, dat zou wel interessant zijn om te weten.

[Geuze]

De clue zit hem er in dat de webserver software voor elke gebruiker de php scripts apart opstart. Dus voor elke gebruiker wordt er een aparte webserver thread gebruikt.

En ook Mysql is multithreaded al is dit eerder beperkt vanwege locking issues op de tables.
Maar in grote en zware omgevingen gaat men de DB server sowieso op aparte hardware draaien en eventueel verdelen over meerdere servers in een loadbalancing setup.

Met andere woorden voor sommige toepassingen zijn heel veel zwakke cores goed
Terwijl voor andere toepassingen juist heel zware single cpu's de betere oplossing zijn.

[Gropah]

Leuk, 48 quadcores, maar wat voor clock draaien ze op? Hoe doet hij het met LINPACK?

[Josaus]

Up to four ARM® Cortex™-A9 cores @ 1.1 to 1.4 GHz

Bron
Daar (^^) kan je nog wel wat er over vinden Staat trouwens ook in het nieuwsbericht.

[hardwareaddict]

Dit is echt nutteloos om linpack op te draaien, want een cluster die dezelfde performance heeft en wel vet meer stroom verbruikt, is wellicht nog niet 1% van de prijs van deze machine.

Ik gok deze machine rond de $100k - $200k.

Voor $200 kun je clusternodes kopen op ebay. Linpack is een ongelooflijke kneuze benchmark want die heeft nauwelijks bandbreedte nodig. Zelfs de ingebouwde netwerkkaarten kun je nog gebruiken ervoor. Infiniband maakt maar factor 2 uit ofzo, terwijl de latency van infiniband (one way pingpong latency) al snel factor 500 beter is dan de ingebouwde netwerkkaarten en qua bandbreedte hikken we aan tegen EFFECTIEF wat je door een 1 gigabit ingebouwde supergoedkope netwerkkaart krijgt versus infiniband over factor 100+ verschil.

2e hands infiniband DDR ligt er al voor $70-$80 op ebay van mellanox.
Mellanox switch erbij voor 24 ports doet ook zo'n $350 ofzo.

Dus je bent factor 10 sneller voor 10% van de kosten van deze machine en het is vrij simpel om een cluster te bouwen voor maar 10% van de prijs van waar de overheid zijn computers voor inslaat, die toch factoren sneller,, factor 10 is no problem voor matrixcalculaties, sneller is dan wat de overheid heeft staan bij bijvoorbeeld SARA.

Die kun je simpel verslaan met 10% van het budget van wat zij hebben.

Stroom is dan wel een grotere kostenpost, maar heh, daarom zet je het bij een grote fabriek neer die al megaveel stroom verbruikt en supergoedkoop inslaat...

[Verwijderd]

"Het bedrijf durft zelfs de voorspelling aan dat over circa drie jaar 40 procent van alle Linux-serverhardware op ARM-architectuur zal zijn gebaseerd."

Ik veronderstel dat bovenstaande quote slaat op de desktop hardware. Veel van de linux software draait toch reeds op de ARM architectuur, waar het dan vooral gaat over embedded systemen.

Nu vind ik dit wel een interessante ontwikkeling. Indien dit verder ontwikkeld kan worden kan veel processing gedaan worden door kleinere systemen en is het eenvoudiger voor high processing units te maken. Ik vraag mij wel af performance is van dit systeem. Het systeem mag dan wel goedkoper en energiezuiniger zijn dan een Intel of AMD systeem. Als je voor dezelfde processing power bijvoorbeeld maar een dual-processor Quad-core Intel nodig heeft dan is het natuurlijk niet interessant naar kosten en energie zuinigheid.

Wat mij wel interesseert is wat zij willen zeggen met :

"Ook claimt de firma dat zijn ARM-serverarchitectuur zeer goed schaalbaar is; clusters van duizenden processors per serverrack zouden mogelijk zijn"

Zouden we hier dan een soort van "super" pc kunnen bouwen en dat dan bijvoorbeeld een hele rack 1 OS is met 2048 ARM processors. Dan is het natuurlijk noodzakelijk om degelijke multi-threaded schedulers te hebben en ook de code aanpassen zodat deze over zo veel processors kan verspreid worden.

Interessante ontwikkeling!

[Verwijderd]

Het OS aanpassen voor meerdere cores is het probleem niet.

De software aanpassen voor gebruik op meerdere cores wel.Photoshop bijvoorbeeld gebruikt geen honderden cores, en met de meeste videobewerk software kan je dat ook vergeten. De meeste standaard desktopsoftware heeft zelfs moeite om meer dan een core te gebruiken.

Voor servers is het leuk. Veel connecties met weinig load (vandaar dat je een paar jaar terug atom servers zag). Maar als workstation is het 3x niets. Daarvoor moet er nog veel te veel gebeuren aan de software.

[Reactie gewijzigd door Verwijderd op 24 juli 2024 05:04]

[Verwijderd]

Inderdaad mag het duidelijk zijn dat dit alleen interessant is voor (web)servers.
Een desktop PC heeft juist het omgekeerde nodig, minder cores maar hogere snelheid per core.
Zelfs een extreme gamer die ook diverse andere programma's op de achtergrond draait, heeft in de praktijk "slechts" 4 tot 8 cores nodig, afhankelijk van wat je doet.
Een game zal normaal gesproken nooit meer dan 2 cores tegelijk aanspreken en zoals Darkstone al aan geeft zijn er maar weinig programma's die meer dan 1 core (kunnen) gebruiken.
Ik zie dan persoonlijk ook weinig verschil in performance tussen mijn 4 en 8 core systemen, behalve als ik echt heel veel threads tegelijk draai of videoconversie doe waarbij al mijn cores tegelijk gebruikt worden.

[mcDavid]

Alleen al het feit dat geen enkele processor van actieve koeling voorzien is, zegt al genoeg

[Verwijderd]

Scheelt weer parasiet verbruik Iet's waar niet veel mensen aan denken.

[pakka680]

"Het bedrijf durft zelfs de voorspelling aan dat over circa drie jaar 40 procent van alle Linux-serverhardware op ARM-architectuur zal zijn gebaseerd."

Ik heb de eerste ARM processoren midden jaren '80 zien komen en hoe mind boggling ik indertijd de technologie vond (en was) het sloeg niet aan. ARM's worden nu wel gebruikt maar vooral onzichtbaar. Het zou mooi zijn als een klein 30 jaar na dato het als nog gaat lukken. De architectuur van deze processoren is zoveel malen eleganter dan de AMD's en Intels.

[hardwareaddict]

de uitspraak letterlijk van deze heren is natuurlijk volslagen onzin, want ARM is te duur als je het clustert op deze manier omdat de heren wel vet willen verdienen.

de meeste servers zijn juist relatief goedkoop. Wel ECC vaak, maar echt goedkoop, terwijl het ook snel moet zijn.

Als je nu zegt dat ubuntu als distributie de grootste is of gaat worden voor servers, dan is dat een statement van een heel andere orde grootte

Deze bak heeft ARMs met ECC. Ik hoor niks over de PRIJS hiervan.

$100k? oh wacht nee ze willen vast VET verdienen.

Meestal is zo iets als dit DUURDER dan een 8 xeon volledig geconfigureerd.

Dus ik reken al op dan zo'n $300k, want een Xeon volledig geconfigureerd op 8 sockets zat op zo'n $200k.

Zo prijzen ze zich altijd uit de markt.

[RadioGnome1971]

Ook staan kwijlen bij de Acorn Risk-pc op de HCC beurs?

[copi]

Wat mij opvalt is dat iedereen het hier heeft over de het vermogen en 'performance per watt' onder full load. Als ik erover nadenk dan lijkt het mij heel onwaarschijnlijk dat jij je webserver of wat dan ook altijd op 100% belast. Waarschijnlijk zal ook hier de 80/20 regel gelden en zal hij 20% van de tijd over de 80% load mogen komen, maar zal hij de rest van de tijd daar lang niet aanraken.
Dan wordt dus de schaalbaarheid zonder belasting interessant. Dan heb je 192 cores die minimaal 0.5 W verstoken. En zou je dus eerder moeten kijken hoe krachtigere cores terugschakelen in vermogen als ze niet volledig worden belast. Dat lijkt mij een minmaal net zo belangrijke component om de uiteindelijke verstookte energie te bepalen.

[hardwareaddict]

ja kijk de performance per watt gaan ze met dit clustertje in 1 box wel winnen. No doubt about. Ze verzinnen wel een meetlat waarbij ze als eerste over de finish daar komen.

Maar het probleem is dat voor bijna alle software 8 nodes clustertje L5420 van $200 van ebay al stuk sneller is. Ja dat zijn 16 sockets @ 64 cores.

Dat zou ongeveer zelfde snelheid moeten zijn, maar dan natuurlijk vreet zo'n 8 node clustertje meer STROOM.

Dus het enige verkoopargument voor deze machine is zijn stroomverbruik.

Nu hoor je in met name telecom veel mensen altijd mekkeren over hoe belangrijk stroomverbruik is, maar bij grote orders als het puntje bij het paaltje komt gaat het toch vooral om de PRIJS en is stroomverbruik gewoon iets wat bij de kostprijs wordt opgeteld.

Dus voor deze machine houd je erg weinig toepassingen over.

Overigens ik moet veel fantasie hebben om een volledige quadcore ECX1000 op 1.4Ghz sneller te laten wezen dan een enkele 2Ghz core van een core2.

Helemaal vergelijkbaar is het nog steeds niet, want core2 had al DDR2 ram en deze cortex A9 arm heeft alleen superoud DDR ram, dat zegt meer over de performance van zo'n quadcore A9, want je pakt de RAM die bij de prestatie past van de core.

Dus mijn vermoeden is dat 1 quadcore A9 voor de meeste software ongeveer zelfde presteert als 1 core op rond de 2.0Ghz van een core2.

Dus 48 nodes is dan ongeveer gelijk aan een 48 core, core2.

[Verwijderd]

Leuk allemaal dat rekenwerk tussen Intel of Arm CPU's, maar waar het om gaat is energiebesparing en/of de data die door de aansluiting gepompt moet worden.
Het is niet efficiënt om een hele snelle processor te hebben die moet wachten tot hij zijn data kwijt kan, dat is als met een snelle auto door de stad scheuren en telkens moeten wachten voor rood, veel beter is wat langzamer te rijden en de groene golf te pakken.
Ik kan mij geen idealer serverpark voorstellen dan een die weinig stroom verbruikt en geen hoge kosten aan koeling en onderhoud vergt.

[styno]

De meeste ARM CPU's waaronder de high-end Cortex A8, A9 hebben uit kostenoverwegingen een paar grote beperkingen die performance belemmeren, waaronder kleine caches (max 64kb L1) en beperkte geheugenbrandbreedte (meestal 32 bit single channel LPDDR). Als ze al over ethernet en SATA beschikken is dit vaak via USB en/of langzame snelheden.

Deze server chip lijkt daarentegen alle ruimte te krijgen met 4MB L2 cache en een 72 bit ECC geheugencontroller voor DDR3-1333. Ook beschikt deze chip over 10-gigabit ethernet, SATA2 (3GB/s) en een high-speed switch core voor inter-CPU communicatie.

Ik ben benieuwd welke prestaties deze chips weten neer te zetten.