MIT bouwt Ubuntu ARM-cluster met 96 cores en zonnepanelen
Medewerkers van het Massachusetts Institute of Technology hebben, samen met technologiesite Phoronix, een Linux-cluster gebouwd dat bestaat uit zesennegentig ARM-cores. Het zuinige Ubuntu-cluster kan draaien op zonne-energie.
Het systeem werd in het afgelopen weekend gebouwd op de MIT-campus. Om de benodigde vermogens laag te houden werd het kleine cluster opgebouwd met ARM-cores, ondergebracht op experimenteerborden die bekendstaan als PandaBoard ES. Elke PandaBoard-module bestaat uit twee ARM Cortex A9-cores; de twee cores zijn afkomstig van een TI OMAP4430-soc en draaien op 1,0GHz. De OMAP-soc heeft ook een op 304MHz geklokte PowerVR SGX540-gpu aan boord. Dat is dezelfde als de soc die onder meer in Samsungs Galaxy S II-smartphone gebruikt wordt. Het PandaBoard kost ongeveer honderdvijftig euro.
In totaal werden voor de cluster achtenveertig PandaBoard-borden gebruikt, compleet met wifi- en bluetooth-module, usb-poorten, audio- en netwerkpoorten, en 1GB ddr2-geheugen aan boord. De voeding werd via usb-poorten verzorgd en elk PandaBoard nam genoegen met ongeveer 3W idle en 5 of 6W onder belasting. In totaal vergde het systeem idle ongeveer 170W en bij gemiddelde belasting ruim 200W. Specificaties van het zonnepaneel dat de energie leverde, gaf het team nog niet. Evenmin zijn benchmarks van het cluster vrijgegeven. Het systeem draaide een voor OMAP4-gecompileerde ARM-versie van Ubuntu 12.04 vanaf sd-kaartjes.
Reacties (72)
Wat een gaaf initiatief 
Leuk om te zien dat ze met zulke simpele soc's zulke leuke dingen kunnen maken!
Leuk om te zien dat ze met zulke simpele soc's zulke leuke dingen kunnen maken! Het ziet er zeker hip uit. Ik vraag me echter af met welk idee deze cluster in elkaar gezet is.
De PandaBoard modules zijn (relatief gezien) niet erg goedkoop. Daarnaast klinkt het totaal van 48 bluetooth-, wifi- en audioaansluitingen als overkill (en overbodig).
Naar het zonnepaneel ben ik dan wel weer zeer benieuwd.
De PandaBoard modules zijn (relatief gezien) niet erg goedkoop. Daarnaast klinkt het totaal van 48 bluetooth-, wifi- en audioaansluitingen als overkill (en overbodig).
Naar het zonnepaneel ben ik dan wel weer zeer benieuwd.
Met als idee publiciteit en dat is goed gelukt en de eco nietsnut met te veel geld green top zoveel.
Kijk het is natuurlijk simpel om met 32 bits processortjes en modules die nog net een usb port hebben meen ik een 'zuinig' cluster te bouwen.
Het nut is natuurlijk 0%, want het is trager dan een snelle i7 en dat zonnepaneel werkt maar 1000 uur per jaar maximaal, wat natuurlijk voor niemand acceptabel is.
Hij vreet op volle load 6 watt per ontwikkelmodule (pandaboard is ontwikkelbord) en dat keer 48 zaldus zo'n 288 watt maximaal zijn.
Dat is niet veel. Welke software je er nuttig op kunt draaien gaan we nooit antwoord op krijgen natuurlijk.
Wel erg prijzig voor zo weinig rekenkracht hoor. Dat bord is rond de $176. Keer 48 is toch een slordige $8448. Dit voor iets wat van geen meter gaat rekenen.
Wie wil er nu in 32 bits nog rekenen?
Dit is dezelfde processor als in vele mobieltjes zitten zoals de Samsung Galaxy S2 en de Nexus. Opmerking: de mobieltjes hebben van de 2 cores er 1 voor telecommunicatie nodig en 1 is beschikbaar. Deze ontwikkelborden zijn beide cores beschikbaar.
Is iets dat zo takketraag is en niet kan communiceren op handige manier met andere apparaten $176 waard?
Juist een verhoogde communicatiesnelheid vreet namelijk stroom.
Overigens de originele aankondiging zegt iets anders over het zonnepaneel. Namelijk dat het gebruikt is om het cluster TE STARTEN.
Dat is foutief vertaald hier.
Van de Beowulf mailing list: "Last week I shared results from the Phoronix 12-core ARM Linux mini cluster
that was constructed out of six PandaBoard ES development boards. Over the
weekend, a 96-core ARM cluster succeeded this build. While packing nearly 100
cores and running Ubuntu Linux, the power consumption was just a bit more
than 200 Watts. This array of nearly 100 processor cores was even powered up
by a solar panel."
Dat betekent dus alleen dat het starten met het paneel gaat en daar daarna het cluster idle is, dat het verder dus prik uit het stopcontact haalt.
Kijk het is natuurlijk simpel om met 32 bits processortjes en modules die nog net een usb port hebben meen ik een 'zuinig' cluster te bouwen.
Het nut is natuurlijk 0%, want het is trager dan een snelle i7 en dat zonnepaneel werkt maar 1000 uur per jaar maximaal, wat natuurlijk voor niemand acceptabel is.
Hij vreet op volle load 6 watt per ontwikkelmodule (pandaboard is ontwikkelbord) en dat keer 48 zaldus zo'n 288 watt maximaal zijn.
Dat is niet veel. Welke software je er nuttig op kunt draaien gaan we nooit antwoord op krijgen natuurlijk.
Wel erg prijzig voor zo weinig rekenkracht hoor. Dat bord is rond de $176. Keer 48 is toch een slordige $8448. Dit voor iets wat van geen meter gaat rekenen.
Wie wil er nu in 32 bits nog rekenen?
Dit is dezelfde processor als in vele mobieltjes zitten zoals de Samsung Galaxy S2 en de Nexus. Opmerking: de mobieltjes hebben van de 2 cores er 1 voor telecommunicatie nodig en 1 is beschikbaar. Deze ontwikkelborden zijn beide cores beschikbaar.
Is iets dat zo takketraag is en niet kan communiceren op handige manier met andere apparaten $176 waard?
Juist een verhoogde communicatiesnelheid vreet namelijk stroom.
Overigens de originele aankondiging zegt iets anders over het zonnepaneel. Namelijk dat het gebruikt is om het cluster TE STARTEN.
Dat is foutief vertaald hier.
Van de Beowulf mailing list: "Last week I shared results from the Phoronix 12-core ARM Linux mini cluster
that was constructed out of six PandaBoard ES development boards. Over the
weekend, a 96-core ARM cluster succeeded this build. While packing nearly 100
cores and running Ubuntu Linux, the power consumption was just a bit more
than 200 Watts. This array of nearly 100 processor cores was even powered up
by a solar panel."
Dat betekent dus alleen dat het starten met het paneel gaat en daar daarna het cluster idle is, dat het verder dus prik uit het stopcontact haalt.
[Reactie gewijzigd door hardwareaddict op woensdag 20 juni 2012 15:23]
Tis wel wat moderner dan dat hoorOpmerking: de mobieltjes hebben van de 2 cores er 1 voor telecommunicatie nodig en 1 is beschikbaar.
Anno 2012 hoef je allang geen dedicated core te hebben daarvoor, daar is dedicated silicon voor (de baseband processor), en die zit meegebakken in de SoC.Maar idd, dit is een knutselproject, geen commercieel zinnige server. Laat dat maar aan Calxeda etc over.
[Reactie gewijzigd door Dreamvoid op woensdag 20 juni 2012 18:07]
Lol, lach met rot om deze opmerking, 1 core voor communicatie en andere voor beschikbaarheid. Gelukkig is dat pure onzin, maar maakt me wel aan het lachen dat sommige mensen denken dat techniek zo werkt. 1 core is snel zat om meerder taken af te handelen die wij als mensen dan gewoon als tegelijkertijd ervaren. 1 core kan makkelijk communicatie afhandelen en tussendoor ook berichten ontvangen en os taken afhandelen, weliswaar gaat dat niet echt tegelijk maar zo ervaren wij dat wel omdat wij heel traag zijn vergeleken een cpu.Dit is dezelfde processor als in vele mobieltjes zitten zoals de Samsung Galaxy S2 en de Nexus. Opmerking: de mobieltjes hebben van de 2 cores er 1 voor telecommunicatie nodig en 1 is beschikbaar. Deze ontwikkelborden zijn beide cores beschikbaar.
PS
Niet elke zin hoort op een nieuw regel of nieuwe alinea, leest erg vervelend.
Edit/
je quote tekst heeft het over powered up, dat betekend dus "aangezet, ingeschakeld, etc", moet het niet te letterlijk vertalen naar Nederlands, maar zin interpreteren. Staat dus gewoon dat ze in het weekend dingen hebben aangezet met alleen zonnecellen. Word geen word gerept over andere voedingen of netstroom.
[Reactie gewijzigd door mad_max234 op woensdag 20 juni 2012 15:53]
procedure is vaak om 1 core dedicated te geven voor communicatie en 1 voor de rest.
Jawel in de oorspronkelijke posting op beowulf staat dat de power werkt met USB stroom adaptors.
Die zet je niet op een solar panel maar op 110 volt natuurlijk
Hij zal vast niet langer dan 5 minuten in de tuin daar gestaan hebben, anders komt de schoonmaker langs om de rommel op te ruimen, cq de vuilnisbak aan de weg te zetten
Jawel in de oorspronkelijke posting op beowulf staat dat de power werkt met USB stroom adaptors.
Die zet je niet op een solar panel maar op 110 volt natuurlijk
Hij zal vast niet langer dan 5 minuten in de tuin daar gestaan hebben, anders komt de schoonmaker langs om de rommel op te ruimen, cq de vuilnisbak aan de weg te zetten
Onzin, dan zou mij telefoon niks anders kunnen doen dan communiceren, ik heb maar 1 core, maar mijn apps lopen gewoon door, en mijn os ook. Communicatie word puur hardwarematig gedaan en komt geen cpu core aan te pas, word door andere ic (BP) afgehandeld.
Staat heel duidelijk in de tekst dat ze de cluster in weekend hebben laten draaien op een zonnepaneel. Lees de bron eens dan word het vast stuk duidelijk dat het systeem alleen via zonnepanelen hebben laten draaien.
USB lader kan prima op zonnepanelen, als dat aan de orde zou zijn, doen zoveel mensen, hangt dan wel omvormer tussen natuurlijk. Maar kan ook zijn dat ze het via omvormer gelijk het systeem voeden want dan heb je niet nog eens het verlies van usblader. Staat nergens dat ze het via usblader hebben gevoed ten tijden van de zonnepanel test!
quote:
"This past weekend I was out at the Massachusetts Institute of Technology (MIT) where this build took place. A massive ARM build out has been in the plans for a few months and to even get it running off a solar panel. The build was a success and by Sunday, the goals were realized."
Edit/
Bij iPhone 3g zit er bijvoorbeeld een losse BP chip op de pcb, een Infineon X-Gold 608, die handelt de communicatie af, komt geen cpu core aan te pas, die Cortex cores worden geheel ontlast.
Communicatie word puur hardwarematig gedaan en komt geen cpu core aan te pas, word door andere ic (BP) afgehandeld. Staat heel duidelijk in de tekst dat ze de cluster in weekend hebben laten draaien op een zonnepaneel. Lees de bron eens dan word het vast stuk duidelijk dat het systeem alleen via zonnepanelen hebben laten draaien.
USB lader kan prima op zonnepanelen, als dat aan de orde zou zijn, doen zoveel mensen, hangt dan wel omvormer tussen natuurlijk. Maar kan ook zijn dat ze het via omvormer gelijk het systeem voeden want dan heb je niet nog eens het verlies van usblader. Staat nergens dat ze het via usblader hebben gevoed ten tijden van de zonnepanel test!
quote:
"This past weekend I was out at the Massachusetts Institute of Technology (MIT) where this build took place. A massive ARM build out has been in the plans for a few months and to even get it running off a solar panel. The build was a success and by Sunday, the goals were realized."
Edit/
Bij iPhone 3g zit er bijvoorbeeld een losse BP chip op de pcb, een Infineon X-Gold 608, die handelt de communicatie af, komt geen cpu core aan te pas, die Cortex cores worden geheel ontlast.
[Reactie gewijzigd door mad_max234 op woensdag 20 juni 2012 16:59]
Procedure is om een aparte core (tot nu toe meestal op een aparte chip) met een apart realtime os te draaien, de zgn. baseband. Dat is dus eigenlijk gewoon een complete onafhankelijke SoC.
De dual of quad core SoC waarmee telefoons worden uitgerust doet die taken dus niet.
De dual of quad core SoC waarmee telefoons worden uitgerust doet die taken dus niet.
Even een korte reaktie: hoeveel applicaties voor de gemiddelde desktop-machine zijn er native 64-bit? En dan helemaal als je kijkt naar het meest dominante OS ter wereld Windows?Wie wil er nu in 32 bits nog rekenen?
Goed, point taken... 32-bit berekeningen vinden dus nog dagelijks plaats op bijna alle Windows-machines dus het ontwikkelen, doorrekenen en testen van 32-bits zaken is nog steeds actueel.
Neemt niet weg dat je in grote lijnen wel gelijk hebt; 64-bit is al ongeveer 10 jaar gemeengoed op hardware-niveau maar nog lang niet op software-niveau en is zeker voor verbetering vatbaar.
64bit is eigenlijk alleen interessant om zijn geheugen adressering, dat is de enige belangrijke aan 64bit dat we meer geheugen konden toevoegen, voor rest voegt het niet echt iets toe, meeste bekeringen worden er niet merkbaar sneller op, althans niet onze huis en tuin bekeringen die door de software thuis worden uitgevoerd.
Eigenlijk leren programmeurs nog steeds alles in integer te berekenen, en veel al zijn dat 32bit getallen. Maar dat heeft weer niks te maken met 32 of 64bit van de cpu, 64bit bij cpu heeft te maken met geheugen.
Je kon namelijk ook prima 64bit berekening uitvoeren op 32bit chip, of zelfs op een 8bit chip gaat het prima om 32 of 64bit getallen te berekenen, ik programmeer veel 8bit cpu's en gebruik dus veel 32bit getallen.
Eigenlijk leren programmeurs nog steeds alles in integer te berekenen, en veel al zijn dat 32bit getallen. Maar dat heeft weer niks te maken met 32 of 64bit van de cpu, 64bit bij cpu heeft te maken met geheugen.
Je kon namelijk ook prima 64bit berekening uitvoeren op 32bit chip, of zelfs op een 8bit chip gaat het prima om 32 of 64bit getallen te berekenen, ik programmeer veel 8bit cpu's en gebruik dus veel 32bit getallen.
[Reactie gewijzigd door mad_max234 op woensdag 20 juni 2012 16:10]
Dit zijn clusters he, niet bedoeld als huis en tuin projectje.
Daar rekenen ze voor 90% dus matrixcalculaties op uit. Veel communicatie tussen de nodes nodig (ofschoon je zou zeggen dat log n genoeg is werkt het nog vrij knullig in de meeste libraries, omdat ze simpelweg de bandbreedte hebben) en bij de integer FFT's, die lossless rekenen, is het hebben van 64 bits een megavoordeel.
Dat gaat meer dan factor 2 sneller.
Dus 32 bits clustertjes zijn niet erg nuttig in die sector.
Dat realiseren de bouwers van dit cluster zich ook wel, je ziet dan ook overal creatief gedrag, vooral het zonnepaneel is een geniale vondst.
Daar rekenen ze voor 90% dus matrixcalculaties op uit. Veel communicatie tussen de nodes nodig (ofschoon je zou zeggen dat log n genoeg is werkt het nog vrij knullig in de meeste libraries, omdat ze simpelweg de bandbreedte hebben) en bij de integer FFT's, die lossless rekenen, is het hebben van 64 bits een megavoordeel.
Dat gaat meer dan factor 2 sneller.
Dus 32 bits clustertjes zijn niet erg nuttig in die sector.
Dat realiseren de bouwers van dit cluster zich ook wel, je ziet dan ook overal creatief gedrag, vooral het zonnepaneel is een geniale vondst.
Dit is bedoeld als een cluster voor HPC taken. Bijna alles daar is 64 bits floating point, behalve encryptiecodes. Die werken op 64 bits integers sneller.
Als je hele berg 32 bits integer processortjes wilt hebben koop je toch gewoon een Nvidia Tesla. Die heeft tot wel 512 cores. Iets van 0.4 watt per core under full load.
Dan ram je deze cluster die 6 watt per module stroom kost natuurlijk vierkant weg.
Als je hele berg 32 bits integer processortjes wilt hebben koop je toch gewoon een Nvidia Tesla. Die heeft tot wel 512 cores. Iets van 0.4 watt per core under full load.
Dan ram je deze cluster die 6 watt per module stroom kost natuurlijk vierkant weg.
Zijn dat niet allemaal cores die met Floats werken.
single precision floats of 32 bits integers, beide werken.
De Tesla's hebben overigens ook stevig wat logica voor double precision.
De Tesla's hebben overigens ook stevig wat logica voor double precision.
Aan de andere kant het is waarschijnlijk niet iets dat maanden gekost heeft om te bouwen terwijl het toch wel degelijk een waarde heeft om aan te tonen dat het kan om zo iets op te bouwen in een hele korte tijd (een weekend).
Ondanks dat je heel eufemistisch roept dat een i7 sneller is denk ik toch dat de 96 core machine in flink wat reken intensieve taken flink wat sneller kan zijn dan een i7. Natuurlijk heb je een I/O probleem als het ding op SD kaartjes draait, en natuurlijk gebruik je veel te veel energie om de on zinnige interfaces draaiende te houden, ook kun je flink wat verbeteren door wat meer geheugen toe zou voegen etc...
Aan de andere kant als je binnen een weekend zo'n cluster kunt bouwen dan is het heel goed denkbaar dat je met een klein beetje handigheid een flink groter cluster in erg weinig tijd kunt bouwen.
Natuurlijk zou ik de SoC dan wel iets aanpassen simpel weg omdat je dan de onnodige dingen weg kunt laten en misschien een betere interconnect mogelijk kunt maken en misschien wat meer geheugen er in kunt stoppen en de I/O bottleneck kunt oplossen.
Als laatste denk ik niet dat iemand de moeite zou nemen om een systeem te bouwen dat alleen boot van een zonne paneel en daarna zonder interruptie overschakelt op het energie net. Ik denk eerder dat het gehele ding simpel weg boot en idle draait op het paneel en dat alleen als je echt wat load produceert meer nodig zou hebben en dan dus waarschijnlijk een aantal nodes zal zien crashen.
Hoe dan ook het is helemaal zo'n slecht idee nog niet om een cluster van ARM cores te bouwen al is het maar omdat je dan op een redelijk goedkope manier een cluster kunt bouwen en je programma's kunt testen binnen een cluster.
En dan is ~$9000,- helemaal niet zo duur voor een serieus cluster, voor veel bedrijven is een cluster van 96 cores dat maar Max 300W verstookt erg goedkoop en meer dan genoeg voor een test opstelling om bijvoorbeeld failover te testen etc.
Ondanks dat je heel eufemistisch roept dat een i7 sneller is denk ik toch dat de 96 core machine in flink wat reken intensieve taken flink wat sneller kan zijn dan een i7. Natuurlijk heb je een I/O probleem als het ding op SD kaartjes draait, en natuurlijk gebruik je veel te veel energie om de on zinnige interfaces draaiende te houden, ook kun je flink wat verbeteren door wat meer geheugen toe zou voegen etc...
Aan de andere kant als je binnen een weekend zo'n cluster kunt bouwen dan is het heel goed denkbaar dat je met een klein beetje handigheid een flink groter cluster in erg weinig tijd kunt bouwen.
Natuurlijk zou ik de SoC dan wel iets aanpassen simpel weg omdat je dan de onnodige dingen weg kunt laten en misschien een betere interconnect mogelijk kunt maken en misschien wat meer geheugen er in kunt stoppen en de I/O bottleneck kunt oplossen.
Als laatste denk ik niet dat iemand de moeite zou nemen om een systeem te bouwen dat alleen boot van een zonne paneel en daarna zonder interruptie overschakelt op het energie net. Ik denk eerder dat het gehele ding simpel weg boot en idle draait op het paneel en dat alleen als je echt wat load produceert meer nodig zou hebben en dan dus waarschijnlijk een aantal nodes zal zien crashen.
Hoe dan ook het is helemaal zo'n slecht idee nog niet om een cluster van ARM cores te bouwen al is het maar omdat je dan op een redelijk goedkope manier een cluster kunt bouwen en je programma's kunt testen binnen een cluster.
En dan is ~$9000,- helemaal niet zo duur voor een serieus cluster, voor veel bedrijven is een cluster van 96 cores dat maar Max 300W verstookt erg goedkoop en meer dan genoeg voor een test opstelling om bijvoorbeeld failover te testen etc.
ik vraag me af of je een i/o probleem krijgt als je met 48 SD-kaartjes werkt. deze zijn tegenwoordig best goed ontiwkkelt qua snelheid. (enkele MB's per seconde in bijvoorbeeld videocamera's) ik denk dat 48 SD kaartjes in Raid een HDD er wel uitknallen. een class 16 kaart kan tot 16MB/s wegschrijven. doe dat maal 48 en je zit op 768MB/s. dat doet een redelijk snelle SSD je niet zomaar na. tuurlijk gaat er wat overhead en pariteit vanaf, maar je kan er een heel eind mee richting de 500MB/s en dat is nog steeds vele malen sneller dan enkele HDD's
Ja joh het is natuurlijk te lachwekkend voor woorden. Ze hebben 48 kaartjes nodig omdat de bordjes geen PXE boot hebben, dus niet over het netwerk geboot kunnen worden, omdat er geen netwerk is. Wel een vage usb connectie
Dat missen van pxe boot, is enige reden om er 48 kaartjes in te zetten
Dat missen van pxe boot, is enige reden om er 48 kaartjes in te zetten
Je bent altijd ontzetten kritisch op zonne-energie en kritisch zijn is goed, maar hoe stel jij je dan voor dat we langzaam maar zeker op alternatieven over gaan?
Er moet drive zijn om te ontwikkelen, die ontstaat door subsidies en experimentatie. Wat zou dan graag willen zien? Nooit over op iets anders? De infrastructuur voor conventionele verbrandingsmotoren is ook niet in 1 dag gebouwd.
Natuurlijk is een project als dit niet erg nuttig in de dagelijkse praktijk, het is meer publiciteitsgerelateerd in dat opzicht.
Er moet drive zijn om te ontwikkelen, die ontstaat door subsidies en experimentatie. Wat zou dan graag willen zien? Nooit over op iets anders? De infrastructuur voor conventionele verbrandingsmotoren is ook niet in 1 dag gebouwd.
Natuurlijk is een project als dit niet erg nuttig in de dagelijkse praktijk, het is meer publiciteitsgerelateerd in dat opzicht.
[Reactie gewijzigd door ctor op woensdag 20 juni 2012 20:04]
Om te beginnen, zoals je zelf al aangeeft is het een dev board, bedoeld om software te kunnen ontwikkelen voor de arm architectuur. Maar er zijn ook andere mogelijkheden, zo word het mijne gebruikt als een datalogger voor mijn zonnepanelen.Dat is niet veel. Welke software je er nuttig op kunt draaien gaan we nooit antwoord op krijgen natuurlijk.
Wel erg prijzig voor zo weinig rekenkracht hoor. Dat bord is rond de $176.
En welke manier van communiceren kom je nog te kort? Je hebt USB, ethernet, wifi, bluetooth en rs232.Is iets dat zo takketraag is en niet kan communiceren op handige manier met andere apparaten $176 waard?
Ik denk dat jij daar de vertaalfout maakt. Ik lees dat stukje teksts als zijnde dat heel de cluster draait op het zonnepaneel. Het zou ook niet logisch zijn om enkel te starten op dat paneel, wat zou daar in hemelsnaam het nut van zijn?Dat betekent dus alleen dat het starten met het paneel gaat en daar daarna het cluster idle is, dat het verder dus prik uit het stopcontact haalt.
Elk pandaboard word standaard geleverd met BT en WIFI, daarom dat ze zoveel aansluitingen hebben.
De prijs van het bordje is trouwens helemaal niet verkeerd, je moet het wel in context plaatsen. Toen Ti begonnen is met dit soort bordjes te sponsoren betaalde men nog enorm veel geld voor development boards, met de beagle- en pandaboards heeft Ti de prijzen voor dit soort bordjes enorm gedrukt.
De prijs van het bordje is trouwens helemaal niet verkeerd, je moet het wel in context plaatsen. Toen Ti begonnen is met dit soort bordjes te sponsoren betaalde men nog enorm veel geld voor development boards, met de beagle- en pandaboards heeft Ti de prijzen voor dit soort bordjes enorm gedrukt.
Het feit dat ze developmentbordjes gebruiken maakt de prijs van zo'n cluster wel lachwekkend hoog.
Vaak kopen uni's als deze een paar dozijn development boards in (of het nu fpga is of wat anders). Die hebben ze dus nu allemaal gebruikt.
Veel interessanter is een eigen soc met infiniband erop en een quadcore ARM processor en dan 512 ervan. Op ebay koop je 2e hands switches voor peanuts.
Het is mij niet zo duidelijk wat de prijs is van die quadcore processors als je er een paar honderd inkoopt.
Vaak kopen uni's als deze een paar dozijn development boards in (of het nu fpga is of wat anders). Die hebben ze dus nu allemaal gebruikt.
Veel interessanter is een eigen soc met infiniband erop en een quadcore ARM processor en dan 512 ervan. Op ebay koop je 2e hands switches voor peanuts.
Het is mij niet zo duidelijk wat de prijs is van die quadcore processors als je er een paar honderd inkoopt.
Ja, en omdat ze die dev boards 1 keer gebruikt hebben kunnen ze ze weggooien natuurlijk?
Denk eerder dat ze een grote doos vol met bordjes zagen en dachten van "hee! We gooien er een koe op!".
Denk eerder dat ze een grote doos vol met bordjes zagen en dachten van "hee! We gooien er een koe op!".
Natuurlijk, want een eigen soc en hardwareplatform ontwikkelen is toch zo eenvoudig en goedkoop.
Meeste SoCs zijn trouwens niet zomaar verkrijgbaar, worden enkel aan OEMs en ODMs verkocht.
Meeste SoCs zijn trouwens niet zomaar verkrijgbaar, worden enkel aan OEMs en ODMs verkocht.
Ik stel me zo voor dat dit gebruikt kan worden in een semi post-apocalyptische piek olie maatschappij in een situatie waarin er enorme druk is op energie voorraden, de prijs van olie enorm is, de prijs van energie in 't algemeen enorm is en waar men nog steeds zin heeft om lekker te computeren. Deze kast staat in het centrum van de beveiligde met vuurwapens voorziene enclave van goedwillende mensen die zich vastklampen aan mensenrechten en orde in een falende wereld waar de overheid uiteen gevallen is en de maatschappij er een is van ieder voor zich.
In dergelijke enclaves zal men pc's willen gebruiken als hulpmiddel bij een overlevingsstrijd tegen de elementen en vijanden, met informatie over zelfvoorziening, duurzame landbouw methoden, survival in de brede zin van het woord.
In dergelijke enclaves zal men pc's willen gebruiken als hulpmiddel bij een overlevingsstrijd tegen de elementen en vijanden, met informatie over zelfvoorziening, duurzame landbouw methoden, survival in de brede zin van het woord.
Wel een mooi idee. Als de zon er is kan je cluster draaien zonder stroom van het lichtnet te pakken. Misschien genereer je zelfs meer wat je weer terug kan geven. Zodat je de nacht daar mee kan bekostigen.
Ja je betaalt 80% belasting op je energie als consument zodat de dure hobby van zonnepanelen, ingekocht uit China, daarmee betaald kunnen worden.
Zover ik weet is MiT geen consument en valt dus niet onder die regeling.
Zover ik weet is MiT geen consument en valt dus niet onder die regeling.
Duurzaam cluster 
200 watt die idled.
Dus niet duurzaam. Gewoon verspilling van 200+ watt.
Dus niet duurzaam. Gewoon verspilling van 200+ watt.
Ik denk dat je het meer moet zien als een "Proof of concept", zoals er de laatste tijd wel meer langsgekomen zijn van servers die op meerdere ARM-cores draaien. Uiteindelijk draagt dit bij aan twee hele goede ontwikkelingen:
- Doorbreken van het x86 duopolie (praktisch monopolie van Intel)
- Opmars van energiezuiniger processorstructuren
Dus nee niet duurzaam, ja wel een goeie ontwikkeling.
- Doorbreken van het x86 duopolie (praktisch monopolie van Intel)
- Opmars van energiezuiniger processorstructuren
Dus nee niet duurzaam, ja wel een goeie ontwikkeling.
[Reactie gewijzigd door mcDavid op woensdag 20 juni 2012 15:45]
"ontwikkeling". Niks ontwikkeling.
Ontwikkelkaarten clusteren is volledige nonsense. Zelf een 64 bits serverchip bouwen en daar er 2048 van in een grote doos stoppen, dat is WEL verkoopbaar. Maar dat heet dan in dit geval BlueGene en is van IBM.
Je MOET voor elke node gewoon enorme crunching power hebben omdat je simpelweg meestal een nieuwe netwerkkaart duwt in een clusternode. Die kosten rond de $500 als je ze massaal inslaat (FDR van mellanox is nu het snelste).
Dan de portkosten er nog bij van de routers, en ook 2nd level en 3d level routing.
Dat maakt netwerk al snel $1000 per port. Dus in serieuze clusters is een nodekostprijs van $176 niet interessant met maar 2 trage cores.
Wel interessant is als je 512 trage cores hebt per node.
Maar dan zie je ineens hoe knullig weinig cores die ARM chips hebben. Je kunt die ARM cpu's gewoon niet commercieel clusteren, want de prijs per flop is simpelweg te veel voor een serieus cluster en de crunching power per node te weinig.
Dus dit is geen 'ontwikkeling'. Supercomputers bouwen van wasmachineschips hoort juist tot het verleden. Rond het jaar 2000 kocht SARA bijvoorbeeld een SGI origin 3800 met 512 wasmachine chips erin. 500Mhz R14000. Enige verschil met wat in je wasmachine zat is dat ze 500Mhz klokten en 8MB L2 hadden. Off chip ja.
Als we kijken naar de 64 bits ARM/MIPS type cpu's en dan uitrekenen alleen al aan de prijs van de cpu's, dan kost het meer om die cpu's in te slaan dan een enkele Xeon CPU met 8 echte cores @ 16 threads. Dit waar het grootste probleem dan nog opgelost moet worden namelijk hoe ga je zoveel ARM chips op 1 moederbordje poten met shared memory of iets waarmee we wel matrix calculaties kunnen uitrekenen.
Dus voor de consumers zullen we vast niet minder ARM/MIPS cpu's zien in de equipment die je kunt kopen, maar om het te clusteren is lachwekkend.
Ontwikkelkaarten clusteren is volledige nonsense. Zelf een 64 bits serverchip bouwen en daar er 2048 van in een grote doos stoppen, dat is WEL verkoopbaar. Maar dat heet dan in dit geval BlueGene en is van IBM.
Je MOET voor elke node gewoon enorme crunching power hebben omdat je simpelweg meestal een nieuwe netwerkkaart duwt in een clusternode. Die kosten rond de $500 als je ze massaal inslaat (FDR van mellanox is nu het snelste).
Dan de portkosten er nog bij van de routers, en ook 2nd level en 3d level routing.
Dat maakt netwerk al snel $1000 per port. Dus in serieuze clusters is een nodekostprijs van $176 niet interessant met maar 2 trage cores.
Wel interessant is als je 512 trage cores hebt per node.
Maar dan zie je ineens hoe knullig weinig cores die ARM chips hebben. Je kunt die ARM cpu's gewoon niet commercieel clusteren, want de prijs per flop is simpelweg te veel voor een serieus cluster en de crunching power per node te weinig.
Dus dit is geen 'ontwikkeling'. Supercomputers bouwen van wasmachineschips hoort juist tot het verleden. Rond het jaar 2000 kocht SARA bijvoorbeeld een SGI origin 3800 met 512 wasmachine chips erin. 500Mhz R14000. Enige verschil met wat in je wasmachine zat is dat ze 500Mhz klokten en 8MB L2 hadden. Off chip ja.
Als we kijken naar de 64 bits ARM/MIPS type cpu's en dan uitrekenen alleen al aan de prijs van de cpu's, dan kost het meer om die cpu's in te slaan dan een enkele Xeon CPU met 8 echte cores @ 16 threads. Dit waar het grootste probleem dan nog opgelost moet worden namelijk hoe ga je zoveel ARM chips op 1 moederbordje poten met shared memory of iets waarmee we wel matrix calculaties kunnen uitrekenen.
Dus voor de consumers zullen we vast niet minder ARM/MIPS cpu's zien in de equipment die je kunt kopen, maar om het te clusteren is lachwekkend.
Blijkbaar niet zo duurzaam als ik dacht, hij is alvast in een vuilnisbak ingebouwd
"The enclosure for the 48 PandaBoards was an industrial trashcan".
Ik wist niet dat 1 zo'n zonnepaneel meer dan 200 Watts kon opbrengen *.
(Wellicht hadden ze daar nog zo'n speciaal modelletje staan met hoge efficiency)
* al helemaal niet wanneer dat panel zo rechtop staat......
"The enclosure for the 48 PandaBoards was an industrial trashcan".
Ik wist niet dat 1 zo'n zonnepaneel meer dan 200 Watts kon opbrengen *.
(Wellicht hadden ze daar nog zo'n speciaal modelletje staan met hoge efficiency)
* al helemaal niet wanneer dat panel zo rechtop staat......
[Reactie gewijzigd door trm0001 op woensdag 20 juni 2012 15:57]
Beetje jammer dat het zo extreem inefficient is, ik bedoel, 48 van die dingen aan elkaar knopen kan ik ook wel, maar 96 cores netjes naast elkaar met 2x gbit en wat andere aansluitingen op het mainboard en je hebt al heel wat mooiers staan.
Beetje onzinnig om 48 audio, bluetooth en wifi modules/poorten te hebben. Op dat zonnepaneel kunnen sommige tweakers ook 10 i3's laten draaien (ergens op tweakblogs is iemand onder de 15W gekomen). OK, welliswaar idle
[Reactie gewijzigd door analog_ op woensdag 20 juni 2012 14:44]
ze moeten idd eens gaan praten met seamicro bijvoorbeeld.
die maakt wel bordjes met enkel de CPU's erop en een connectie poort via PCI-E.
die maakt wel bordjes met enkel de CPU's erop en een connectie poort via PCI-E.
[Reactie gewijzigd door Countess op woensdag 20 juni 2012 15:12]
Het is maar net wat je doel is met die audio/bluetooth of wifi modules 
Als je bijvoorbeeld een wifi netwerkje wilt hacken is het handig dat je wat meerdere antennes hebt om sneller te kunnen bruteforcen of als je gewoon de wifi router van je buurman over de zeik wilt trekken (eigen huis en tuin routertjes gaan nu eenmaal iets makkelijker op hun bek dan het indistruele materiaal
Bluethooth is erg toff bijvoorbeeld om berichten naar omstanders mee te pushen via bluethooth. Dus een prima marketing oplossing.
Of wat dacht je van een paar meter audiokabel vanuit zo'n kistje te trekken en over een groot open veld muziek laten spelen uiteraard kan dat ook draadloos via bluetooth moet je wel weer bluetooth audiokastjes hebben 
Mogelijkheden zat.
Naast he zoveelste webserver projectje
Wat je natuurlijk ook gewoon kunt blijven houden.
Als je bijvoorbeeld een wifi netwerkje wilt hacken is het handig dat je wat meerdere antennes hebt om sneller te kunnen bruteforcen
of als je gewoon de wifi router van je buurman over de zeik wilt trekken (eigen huis en tuin routertjes gaan nu eenmaal iets makkelijker op hun bek dan het indistruele materiaal Bluethooth is erg toff bijvoorbeeld om berichten naar omstanders mee te pushen via bluethooth. Dus een prima marketing oplossing.
Of wat dacht je van een paar meter audiokabel vanuit zo'n kistje te trekken en over een groot open veld muziek laten spelen
uiteraard kan dat ook draadloos via bluetooth moet je wel weer bluetooth audiokastjes hebben Mogelijkheden zat.
Naast he zoveelste webserver projectje
Wat je natuurlijk ook gewoon kunt blijven houden.
Goed, maar daar heb je maar 1 Bluetooth module voor nodig, geen 96
Het is leuk toegepast maar niet revolutionair idd. Dit had iedereen kunnen doen die geld heeft voor 48 van die bordjes. Ik voorspel een kloon van dit project maar dan met Raspberry Pi bordjes binnenkort (die overigens te sloom hiervoor zijn )
Het had nog veel efficienter gekunt als alles op een bord zat zoals jij zegt. Nu zit er ook nog wifi- en bluetooth-module, usb-poorten, audio op wat alleen maar stroom verbruikt.
(die overigens te sloom hiervoor zijn )Het had nog veel efficienter gekunt als alles op een bord zat zoals jij zegt. Nu zit er ook nog wifi- en bluetooth-module, usb-poorten, audio op wat alleen maar stroom verbruikt.
Ze willen bij MiT hiermee verder en dit project gaan uitbreiden.
In het verleden kreeg ik zo eens een keer een emailtje van zo'n knutselproject. Ik vroeg toen welk netwerk het had en dat stelde geen bal voor, dus toen was het antwoord: "die software gaat daar parallel niet goed op lopen".
Uiteindelijk is een cluster net zo sterk als zijn netwerk.
Kijk ze hebben het geld daar, dus als ze willen komen ze altijd op 1 te staan in de eco green top nitwit.
Waar ze beetje van balen bij dit knutselprojectje is dat het te veel ruimte in beslag neemt.
Je kunt natuurlijk een heel pakhuis vol bouwen met pandabordjes, dat is dan even snel als 1 Nvidia Tesla kaart.
Daarbij aangetekend dat de Tesla enigszins goed ondersteund wordt voor crunching en natuurlijk minder stroom gaat vreten dan dit 32 bits equivalent.
In het verleden kreeg ik zo eens een keer een emailtje van zo'n knutselproject. Ik vroeg toen welk netwerk het had en dat stelde geen bal voor, dus toen was het antwoord: "die software gaat daar parallel niet goed op lopen".
Uiteindelijk is een cluster net zo sterk als zijn netwerk.
Kijk ze hebben het geld daar, dus als ze willen komen ze altijd op 1 te staan in de eco green top nitwit.
Waar ze beetje van balen bij dit knutselprojectje is dat het te veel ruimte in beslag neemt.
Je kunt natuurlijk een heel pakhuis vol bouwen met pandabordjes, dat is dan even snel als 1 Nvidia Tesla kaart.
Daarbij aangetekend dat de Tesla enigszins goed ondersteund wordt voor crunching en natuurlijk minder stroom gaat vreten dan dit 32 bits equivalent.
[Reactie gewijzigd door hardwareaddict op woensdag 20 juni 2012 15:31]
Dan krijg je dus dit soort dingen. Dit MIT project is gewoon een leuk knutselproject van enthousiastelingen, commerciele ARM clusters zijn idd wat handiger ingedeeld.maar 96 cores netjes naast elkaar met 2x gbit en wat andere aansluitingen op het mainboard en je hebt al heel wat mooiers staan.
[Reactie gewijzigd door Dreamvoid op woensdag 20 juni 2012 14:48]
Wat het verband met de Galaxy SII is, is mij niet helemaal duidelijk. Volgens mij gebruikt de SII de Exynos 4210, een Cortex A9 core met Mali400 GPU....de twee cores zijn afkomstig van een TI OMAP4430-soc en draaien op 1,0GHz. De OMAP-soc heeft ook een op 304MHz geklokte PowerVR SGX540-gpu aan boord. Dat is dezelfde als de soc die onder meer in Samsungs Galaxy S II-smartphone gebruikt wordt.
klopt ja. De Galaxy Nexus had volgens mij die TI OMAP4430 er in zitten.
Er wordt vast de eerste generatie Galaxy S bedoeld.
Wordt daa rniet de Galaxy Nexus bedoelt?De OMAP-soc heeft ook een op 304MHz geklokte PowerVR SGX540-gpu aan boord. Dat is dezelfde als de soc die onder meer in Samsungs Galaxy S II-smartphone gebruikt wordt. Het PandaBoard kost ongeveer honderdvijftig euro.
Ontopic:
Ontzettend gaaf! Ben benieuwd wat het verbruik is en wat er gebeurd als de zon te lang verduisterd word, worden er dan delen uitgeschakeld (bijv maar de helft van de cores), of valt ie gewoon uit? Over energie neutraal gesproken!
Zit er wireless op dan heb je een draadloze server
Grappig; cluster gebouwd in een prullenbak
Dat zonnepaneel is heeft natuurlijk weinig met de server te maken, je zou elke willekeurige server van 200W met zo'n paneel kunnen uitrusten, tot aan een frituurpan toe. Laten we het er maar op houden dat het helpt bij de marketing van dit project
[Reactie gewijzigd door Dreamvoid op woensdag 20 juni 2012 14:42]
Super idee, heel erg vet!
Maar dan komt de vraag, kun je er wat mee als de zon niet hard genoeg zijn best doet (a) Gaat deze dan over op een normaal stopcontact en hoe krachtig is zo'n systeem. Wat kan ik me er bij voorstellen, netzo als een goedkope pc/dure pc? Of nog niet eens in de buurt van een pc..
Maar dan komt de vraag, kun je er wat mee als de zon niet hard genoeg zijn best doet (a) Gaat deze dan over op een normaal stopcontact en hoe krachtig is zo'n systeem. Wat kan ik me er bij voorstellen, netzo als een goedkope pc/dure pc? Of nog niet eens in de buurt van een pc..
Hangt er helemaal van af wat je ermee doet, draai je extreem paralleliseerbare loads met simpele berekeningen (bv, draai 96 instances van SuperPi), dan zal-ie behoorlijk snel zijn. Voor normale PC applicaties, die niet echt goed schalen met >2 cores en waar de scheduling tussen al die cores een enorme bottleneck gaat worden, dan zijn ze extreem traag.
Er is echt NIETS op deze planeet dat nuttig kan draaien op deze cluster ,wat niet al sneller op een GPU of normale CPU kan draaien.
Waar je op uitkomt is dan telecom of artificial intelligence. Om dat te parallelliseren gaat een usb connectie niet erg goed werken.
Waar je op uitkomt is dan telecom of artificial intelligence. Om dat te parallelliseren gaat een usb connectie niet erg goed werken.
Ik zie zo snel geen details, maar neem toch aan dat de parallelisatie via netwerk gaat en niet USB?
Maar idd, dit is een onzinnig project. Wel leuk voor een stel studenten om te bouwen, werkend te krijgen, en een beetje benchen. Daar gaat het om, dit is een universiteits projectje waar je wat van leert, geen commercieel product.
Maar idd, dit is een onzinnig project. Wel leuk voor een stel studenten om te bouwen, werkend te krijgen, en een beetje benchen. Daar gaat het om, dit is een universiteits projectje waar je wat van leert, geen commercieel product.
De namen van de figuren die ik totdusverre voorbij zag komen, die zijn allang uitgeleerd. Die kun je letterlijk zoals 90% van de MiT'ers in 't buitenland in een ondervragingskamertje neerzetten en dan vertellen ze je prachtige verhalen, maar niet wat ze daar nu kwamen doen en er op getraind zijn om dat 24 uur vol te houden. Wat ze zich altijd opvallend slecht herinneren is hoe de MiT campus er ook al weer uitzag. Er lopen een hele bende van dit soort "MiTers" ook rond in NL.
Sommige van die gasten, altijd weer dezelfde, zie je heel af en toe, om de schijn op te houden iets 'nuttigs' te doen, veel geluid wordt geproduceerd en JA HOOR, ze worden dan al uitgezonden naar de conferenties internationaal. Gebaseerd op dit soort garbage projecten. Het poten in een trashcan is dan ook niet toevallig vermoed ik
Een conferentie van een paar maanden geleden waren er een paar sprekers, die alweer, zoals zoveel van dat soort kulfiguren, allerlei claims deden, die we met 5 regeltjes tekst kunnen weerleggen met eronder QED.
De laatste echte MiTer die ik ontmoet heb, dat was Leierson.
We kunnen wiskundig bewijzen dat het clusteren van ARM cores bijzonder weinig geinteresseerden heeft, wegens de enorm hoge prijs ervan. Alleen in een paar submarines hebben ze wat van die equipment, verder nergens.
Om de prijs naar beneden te krijgen moet je je eigen chip drukken. Startkosten van de machines die dat goed kunnen liggen in de vele miljoenen. Reken maar op een miljoen of 20. Dat moet je er dus dubbel en dwars zien uit te halen.
Vandaar dat we dat soort projectjes niet zullen zien gaan slagen, afgezien van IBM's bluegene - maar die hebben dan ook een eigen cpu.
Die ontwikkelen en maintainen is heel wat prijziger dan 20 miljoen hoor. Zet er maar wat nullen achter.
Sommige van die gasten, altijd weer dezelfde, zie je heel af en toe, om de schijn op te houden iets 'nuttigs' te doen, veel geluid wordt geproduceerd en JA HOOR, ze worden dan al uitgezonden naar de conferenties internationaal. Gebaseerd op dit soort garbage projecten. Het poten in een trashcan is dan ook niet toevallig vermoed ik
Een conferentie van een paar maanden geleden waren er een paar sprekers, die alweer, zoals zoveel van dat soort kulfiguren, allerlei claims deden, die we met 5 regeltjes tekst kunnen weerleggen met eronder QED.
De laatste echte MiTer die ik ontmoet heb, dat was Leierson.
We kunnen wiskundig bewijzen dat het clusteren van ARM cores bijzonder weinig geinteresseerden heeft, wegens de enorm hoge prijs ervan. Alleen in een paar submarines hebben ze wat van die equipment, verder nergens.
Om de prijs naar beneden te krijgen moet je je eigen chip drukken. Startkosten van de machines die dat goed kunnen liggen in de vele miljoenen. Reken maar op een miljoen of 20. Dat moet je er dus dubbel en dwars zien uit te halen.
Vandaar dat we dat soort projectjes niet zullen zien gaan slagen, afgezien van IBM's bluegene - maar die hebben dan ook een eigen cpu.
Die ontwikkelen en maintainen is heel wat prijziger dan 20 miljoen hoor. Zet er maar wat nullen achter.
[Reactie gewijzigd door hardwareaddict op woensdag 20 juni 2012 20:00]
Letterlijk citaat: "This array of nearly 100 processor cores was even powered up
by a solar panel."
"powered up". Dat lees ik als "gestart". Niet dat hij erop draait.
by a solar panel."
"powered up". Dat lees ik als "gestart". Niet dat hij erop draait.
Leuk bedacht, marruhm hoe zit dat met die switch? 48 poort switch pakt toch al gouw 100-150W
Lijkt me sterk dat dit een 300W+ zonnepaneel is
Lijkt me sterk dat dit een 300W+ zonnepaneel is
er is nog meer vaagheid in de statement. Namelijk er is een claim van 200 watt. Dat is dan een 'average load'. Maar ja in de HPC run je op ALLE CORES. En dan wordt toegegeven dat het 6 watt per board is. Of dat dan na enorm met verlies omlaagtransformeren is van 110 volt naar de usb adaptors waarop elk bord is aangesloten of dat het daarvoor gemeten is, dat is ook weer onduidelijk.
Dus allerlei verliezen zitten er al ueberhaupt niet in.
De switch zal een watt of 30 eten overigens, maar ik wed dat ze die ook niet meetellen
Dus allerlei verliezen zitten er al ueberhaupt niet in.
De switch zal een watt of 30 eten overigens, maar ik wed dat ze die ook niet meetellen
Op dit item kan niet meer gereageerd worden.
Onderwerpen
Populair: Android Tablets Samsung Websites en communities Mobiele telefoons Google Microsoft Sony Games Politiek en recht
© 1998 - 2013 Tweakers.net B.V. Contact Over Tweakers Jouw privacy Algemene voorwaarden Cookies
Tweakers wordt uitgegeven door De Persgroep en wordt gehost door True
