Ikea-kast blijkt ideale behuizing voor Linux-rendercluster

Janne, een Zweed die werkt voor Svensk Film Effekt, heeft een 30 euro kostende Ikea-kast gebruikt als behuizing voor een krachtige Linux-cluster. Hij gebruikt de goedkope en energiezuinige cluster als een renderfarm.

Janne zocht veel rekenkracht om 3d-animaties sneller te laten renderen. Die paardenkrachten zou moeten komen uit een Linux-cluster. De opdracht die Janne zichzelf gaf: bouw een krachtige, maar ook goedkope en energiezuinige Linux-cluster.

Het vinden van de benodigde hardware bleek vrij eenvoudig. De Zweed wist de hand te leggen op een zestal Intel Core 2 Quad Q6600-cpu's die op 2,4GHz worden geklokt. Een goedkoop moederbord dat de quadcores kon huisvesten bleek de GA-G33M-DS2R van Gigabyte te zijn. Verder kocht de Zweed 24 ddr2-geheugenrepen van 2GB per stuk.

Het vinden van de juiste behuizing bleek echter minder eenvoudig. Specialistische systeemkasten vielen buiten het beschikbare budget. De redding werd uiteindelijk gevonden in een Zweeds massaproduct: de Helmer-ladenkast van Ikea. De zes atx-moederborden bleken met enig zaagwerk en een stukje plexiglas als ondergrond prima in de 30 euro kostende Helmer te passen. Door de voedingen verspringend boven elkaar te monteren, werd bovendien de benodigde luchtstroom voor het koelen van de cpu's gecreëerd.

Om de cluster tot leven te wekken, maakte Janne gebruik van de opensourcetool DrQueue. Deze software draait op een energiezuinige pc, voorzien van een 1,5GHz VIA C7-cpu, die de te berekenen data via een 8-poorts gigabit-switch naar de cluster stuurt. De gerenderde graphics die door de cluster worden teruggestuurd, worden weggeschreven op een nas-systeem met twee harddisks.

Volgens Janne kunnen de 24 cores een rekencapaciteit van ongeveer 186 gigaflops behalen. Daarmee duren renderklussen die voorheen een hele nacht in beslag namen, nog maar tien minuten. De gehele Linux-cluster zou in bedrijf niet meer dan 600W aan stroom verstoken, terwijl in idlestand ongeveer 400W wordt verbruikt.

Nu de cluster in bedrijf is, heeft Janne zijn zinnen gezet op de bouw van een nog krachtiger rekenmonster: de Helmer II. Weliswaar heeft de tweaker het geld niet om het systeem te bouwen, maar het verlanglijstje van de Zweed is helder. Hij wil zes moederborden elk beplanten met één quadcore-cpu en vier exemplaren van ofwel de Radeon HD4870X2 ofwel de Nvidia 9800GX2. In totaal levert dat 48 gpu's op. Met de opkomst van gpgpu-computing en 3d-rendersoftware die de parallele rekenkracht kan benutten, kan met bovenstaande hardware in theorie 40 tot 50 teraflops behaald worden. Janne heeft inmiddels ook een aantal 3d-tekeningen gemaakt die tonen hoe de Helmer II-behuizing eruit zou moeten zien. De bedelactie van de Zweed lijkt al enig succes te hebben gehad: AMD heeft aangeboden om de handige knutselaar van een nog onbekende hoeveelheid hardware te voorzien.

Reacties (112)

[Verwijderd]

Ter vergelijking: wat kost 24 cores aan rekenkracht "normaal"?

Als je voor zelfbouw kies kan je 3x een DP barebone nemen als basis, bijvoorbeeld de 6015C-MT voor 650 elk, 1950 totaal.

6x Xeon L5410 voor 1400.
12x KVR667D2S4P5/2G voor 840.

= 4190, exclusief disks en btw.

Een vergelijkbaar systeem is de PowerEdge 1950 III van Deze kost rond de 1600 euro per stuk.


Vergeleken met (heel grof geschat) 6x ~500 euro aan hardware in een Ikea kast weet ik welke ik liever heb.

[Verwijderd]

Deze software draait op een energiezuinige pc, voorzien van een 1,5GHz VIA C7-cpu, die de te berekenen data via een 8-poorts gigabit-hub naar de cluster stuurt.

Dit is dan wel weer jammer. Die gast bouwt op zich met weinig geld echt een krachtige renderfarm, zet ie er een hub tussen ipv een switch Voor een extra investering van 30e heb je 10x betere performance. Tenminste, ervanuitgaande dat er nogal wat data moet worden uitgewisseld. Als de netwerkload maar 5mbit ofzo is boeit 't niet zoveel.

[Verwijderd]

Voor sommige toepassingen is een hub sneller... (realtime)
En voor sommige toepassingen is een switch zelfs onbruikbaar... (packet sniffing)

[GoBieN-Be]

En dan nog moet je NIC in promiscuous mode kunnen zetten (voor de sniffing dus hé)

[Countess]

voor zover ik weet zijn er niet eens 1gb hubs verkocht maar zijn het allemaal switch en is het woord hub en switch het zelfde geworden.

[Cybergamer]

Dat dacht ik ook. Of iemand moet het verschil eens uitleggen?

[J__F__K__]

Ik weet dat het off topic is, maar:
HUB http://en.wikipedia.org/wiki/Network_hub
Switch http://en.wikipedia.org/wiki/Network_switch

In het kort komt het min of meer op het volgende neer:
- Bij een hub wordt intern alles 'aan elkaar geknoopt'. Alle ontvangen bits, worden doorgestuurd naar alle poorten. Het effect is het zelfde als bij de oude coax netwerken, waar alle pc's fysiek aan de zelfde kabel waren aangesloten.

- Een switch is intelligenter. Afhankelijk van het type switch (op welke layer hij zijn werk kan doen) wordt het verkeer naar een beperkt (meestal maar 1) aantal poorten doorgestuurd. Daardoor zijn er over het hele netwerk veel hogere snelheden te halen (mits goed ontworpen), omdat alleen verkeer wat op een verbinding aanwezig moet zijn daar ook daadwerkelijk is.

[frankvdtillaart]

Of op ons eigen GoT
Wat is het verschil tussen een hub en een switch?

Met nog veel meer vragen en antwoorden natuurlijk.

[marco.heykant]

simpel gezegd, een hub geeft elk pakketje door aan elke poort, een switch geeft een pakketje alleen door aan de pc die het moet ontvangen.

[onox]

hub zit op de physical layer en bevat voor zover ik weet alleen elektrische componenten om de signalen te versterken. Daardoor deel je de bandbreedte over de totale hoeveelheid poorten die zijn aangesloten en heb je een grotere kans op collissions. Bij switches kunnen alle poorten tegelijkertijd communiceren met het apparaat aan de andere kant van de kabels. Collissions komen alleen voor als de switch en de client tegelijkertijd een signaal over 1 fysieke kabel willen sturen. Een switch heeft ook besef van de data link layer (802.3 frames die MAC adressen bevat) omdat het een pakketje over een bepaalde poort door moet sturen.

[GoBieN-Be]

En layer-3 switchen gaan nog een laag hoger, namelijk de netwerklaag (IP meestal) en bieden dan ook functies aan zoals vlanning van je netwerk in verschillende segmenten (bvb IPvoice & data)

[SPee]

Had ik laatst ook.
Zit bij een klant en moest meerdere PC's op een enkele muuraansluiting krijgen.
De netwerkbeheerder kwam aan met een Gigabit HUB.
Zelf vond hij het ook raar, dat het geen switch was, maar uiteindelijk bleek het toch die functionaliteit te hebben en was het enkel HUB bij naam.

[GoBieN-Be]

Als het 100mbit was kun je van één aansluiting 2 maken (wel langs beide kanten hé). Want 100mbit heeft maar 4 draden nodig
Heb ik thuis gebruikt, ipv een switch overal te moeten zetten.

[Verwijderd]

misschien verkeerd omschreven... een switch zou idd een stuk beter zijn en als je dit zo ff kan bouwen dan weet je dat best

[FreshMaker]

Dat stukje over de software, gaat over de opslag
een freenas server, welke op een C7 draait, maar 20W energie,

[CrashOverDrive]

Het is fout overgenomen uit de bron, daar staat: All connected to a 8 port 3 com gigabit switch

[Aikon]

Wat ook fout is overgenomen is het geheugen, niet 24x2GB, maar 12x4GB.

[Denzo]

Als je op de Helmer pagina kijkt zijn het 12x pakjes van 2x2GB, dus effectief 24x 2GB modules.

[DP Kunst]

En als je de link volgt en het plaatje goed bekijkt zie je dat het 12 dual channel setjes zijn. Dus 12 setjes met 2x2GB . Is dus alsnog 24x2GB

[mstam]

Leuk project. Opvallend ook dat hij Linux en dus niet Windows als platform heeft gekozen. Waarom is Windows niet geschikt voor clustering tot een renderfarm?

[Verwijderd]

Hij heeft ook niet Solaris als platform gekozen. Waarom is Solaris niet geschikt voor clustering tot een renderfarm?

[kidde]

Omdat z'n software zowiezo niet op Windows en waarschijnlijk ook niet op Solaris draait. Heel Hollywood gebruikt namelijk renderfarms met Linux tegenwoordig. Vroeger was dat allemaal IRIX en SGI zooi, maar omdat IRIX niet meer ondersteund wordt (sinds 1997) en x86 veel goedkoper is dan SGI hardware is Hollywood sinds de film Titanic (1997) overgestapt op Linux.

[Verwijderd]

Goh, dat is in dit geval best wel makkelijk.

De opdracht die Janne zichzelf gaf: bouw een krachtige, maar ook goedkope en energiezuinige Linux-cluster.

Voor Windows moet je betalen, voor Linux niet.

[Blonde Tux]

Moet?! Erhm... Volgens de Eula ;P.

Clustering is gewoon makkelijker van Linux, kijk maar eens waar de meeste cluster uit bestaan. BSD of Linux, voor het grootste gedeelte. Zelfde geld voor de supercomputers.

Plus als je zelf al meer weet van het gebuik van dit ene OS, waarom zou je dan voor een totaal ander OS, waar je veel minder van weet en dus ook minder makkelijk de problemen kan adresseren.

[Verwijderd]

Ik zou het eerder opvallend vinden als hij Windows had gekozen voor dit project... Linux/Unix is gewoon veel beter te clusteren. dan windows, er is gewoon veel meer software voor te krijgen.

[Verwijderd]

Wat ik niet snap is waarom hij met 6 power supplies aan de slag gaat. Qua vermogen heeft hij het niet nodig, want behalve de moederborden zit er niets in de kast. Met twee of drie zware exemplaren en de nodige mobo-stekkers zou het gemakkelijk moeten kunnen. Nog slimmer zou zijn om een paar oude servervoedingen op de kop te tikken. Die zijn tweedehands wel te vinden en leveren zo 700 watt per stuk.

En de voedingen zijn verkeerd om gemonteerd: de aanzuigende kant is nu naar boven gericht. Niet logisch. Draagt wel bij aan het Ikea-gehalte. :-)

[Reactie gewijzigd door Verwijderd op 22 juli 2024 23:27]

[lometje]

Nog slimmer zou zijn om een paar oude servervoedingen op de kop te tikken. Die zijn tweedehands wel te vinden en leveren zo 700 watt per stuk.

Als je een power supply een lager wattage laat geven dan dat deze aankan ligt het stroomverbruik over het algemeen lager dan ipv 1 700 watt richting volle toeren... Ook qua levensduur enzo...

[0rbit]

Hoge efficientie bereik je pas vanaf 80% vermogen. Je kunt met een 550 W voeding dus ook maar beter geen 50W systeem laten draaien, want je zult zien dat je het verbruik niet onder de 80W zal kunnen krijgen. Ook in standby verbruikt een zwaardere voeding over het algemeen net een paar watt meer dan een kleinere voeding.

[Verwijderd]

/offtopic
Er word nog veel meer gedaan met Ikea meubeltjes dan je zou denken:

http://ikeahacker.blogspot.com/

Ook hier geldt meestal 'hoe eenvoudiger' hoe flexibeler/beter.

[Lulukai]

Eigenlijk probeert hij gewoon op een slimme manier aan gratis onderdelen te komen. Door dit als een 'uniek project' te verkopen krijgt hij overal media-aandacht en hoopt hij zo dus sponsors voor zijn project te vinden. Zijn bedoeling om een rendercluster zo goedkoop mogelijk te bouwen mag je dus zeer letterlijk opvatten, hij wil zoveel mogelijk gratis hardware bekomen. Goed gezien van de man.

[Verwijderd]

en wat is daar mis mee? zo gaat het toch heel erg vaak.

[Mizitras]

Voor de 'gewone' ongesponderde hobbyist blijft het wel een duur grapje. Maar daar is het tenminste nog 100% passie, en die zullen ook niet na een paar maandjes, al weer aan een gans nieuw projectje starten. (Financiëel misschien wat moeilijk, en ze willen nog wat met hun afgewerkt product realiseren of verbouwen)

[To_Tall]

Kijk eens naar de case modders hier op Tweakers.. Veel van die jongens/meiden worden door computer winkels/fabrikanten gesponsord.

Zonder casemoders zaten we nu nog allemaal aan die oude room witte desktops te turen.

[Keypunchie]

Steve Jobs is een casemodder?

Het einde van de beige bak is toch echt gekomen met de intro van de iMac, 10 jaar geleden.

[Niemand_Anders]

Ja, en auto tuning is natuurlijk pas begonnen met de The Fast & The Furius films. Packerd Bell en HP hadden in 1992 al zwarte kasten.

De iMAC was een van de eerste 'gemodde' PC's en daardoor werd het modden in het algemeen populairder.

De Autostyle catalogus komt alweer 11 jaar uit. Echter sinds de Fast & Furius films is het tunen en stylen wel veel populairder geworden. Programma's zoals Pimp my ride en De grote beurt (ik dacht ooit dat het een Veronica kloon van spuiten en slikken was) zijn in die hype meegegaan.

Echter beide en zwarte kasten zijn momenteel nog steeds het best verkocht omdat deze kleuren in elk interieur passen. Transparant/Kersenrood doet het dan een stuk minder in een boeren eiken interieur. Om tal van redenen is Apple toch weer terug gegaan naar witte kasten, alleen nu met meer design.

Maar Steve Jobs is strict genomen geen case modder. 'Mod' staat voor modificatie en de Apple kasten komen direct op de manier van de lopende band en mag dus niet gesproken worden over een case mod. Wel kun je stellen dat Steve Jobs case design flink in de lift heeft geholpen.

[Verwijderd]

de preforma serie's van apple waren soms ook zwart, net zo als de 20th aniversary mac..

ontopic: 600 wat lijkt me erg netjes!

[fevenhuis]

Ik zou dan eerder zeggen dat het modden begon met de bluebox "casemods".

[Auredium]

Helaas...
Ik ken bakken die werden gemod voor die 10 jaar geleden.

[Verwijderd]

met enig zaagwerk

zo gaat alles passen natuurlijk...

Ziet er verder wel gaaf uit. Leuk gedaan in iedergeval

[DeArmeStudent]

Maaf ff serieus: het is toch van de zotte dat server-kasten zo duur zijn, terwijl het alleen plaat-ijzer is...
Maar ja, als je het zo bekijkt, is een ferrari ook gewoon plaat-ijzer :-D

[dasiro]

heb je het artikel wel gelezen ?

hij heeft gewoon 6 quasi kale desktop mobo's op een schap gelegd en jij wil dit gaan vergelijken met rackmounts waarin serverborden zitten


verder is er trouwens amper iets terug te vinden over de "kast" in kwestie

[ArchNemeziz]

euh wat dacht je hiervan?
http://www.ikea.com/nl/nl/catalog/products/20107873
Volgens mij is het gewoon deze kast, dat zie je ook in het plaatje op zijn website. Hij is te krijgen in wit, rood en zilver.

[Verwijderd]

Het heeft ook geen zak met de kast te maken, feitelijk.
Het WTFdatwilikook gedeelte is dat ie voor een paar honderd jallies een home-supercomputer gebouwd heeft, met genoeg rekenkracht om de modale DPCer een harde plasser te bezorgen. Hij heeft voor alles goedkope onderdelen weten te vinden, dus ook de kast. Gezien het feit dat er mensen zat zijn die in hun bureaulade hun PC wegwerken, is het inbouwen in een houten kastje, zelfs van Ikea, niet heel vernieuwend.

[bangkirai]

Allerlei metaal prijzen zijn FLINK Gestegen de laatste jaren.

Maar, ik denk dat je voor plaat ijzeren kasten ook gewoon verder moet kijken dan neus lang is.
Genoeg types industriele kasten/rekken op de markt.

[PolarBear]

Over goede serverkasten is nagedacht. En de afwerking is beter (alles past gewoon netjes ipv net niet/wel).

[Nibbz]

Waar is de how-to

[Bliksem B]

http://helmer.sfe.se/, stond ik hier bijven bij linkje : helmer
Of bedoel je een nog een betere uitgebreidere HOW to?

Daarnaast knap werk! en slim bedacht, was er waarschijnlijk niet opgekomen

[EJP]

Met de hamer past alles!

[Bonez0r]

De kast zelf is standaard al ATX-breed, die mobo's passen er precies in . Het zagen was alleen om gaten te maken voor de fans en voeding in de achterkant.

[Pietervs]

Het zagen was alleen om gaten te maken voor de fans en voeding in de achterkant.
en de plexiglas platen om te voorkomen dat de mobootjes contact maken met de stalen kast...

[SiGNe]

De site http://helmer.sfe.se/ werkt niet, volgens mij moet ie weer naar de Ikea voor een webserverkast..

[Verwijderd]

Het is gratis reclame voor de hardware bedrijven, logisch da ze daar wel es op gaan reageren. Het kan hun ook helpen als ze vragen om er bepaalde dingen op te laten draaien nzo...

[kidde]

Oh, ik dacht aan IKEA reclame?

[Blonde Tux]

Dan te bedenken als ie iet's meer uit geeft dat dat beest(je) nog meer kan produceren. Als de koeling ernaar is, is het mogelijk om alle proc's over te klokken naar 3,6 ghz.
Ervanuitgaande dat hij dan er artic Freezer Pro's 7 erop gooit en een extra 120mm fan bij elk mobo zou dat voor alles van €120 euro mogelijk moeten zijn. Mits de specs van de voedingen ernaar zijn dan.

[Th1x4nG]

Beh, denk dat de Q6600's die je met een Freezer Pro 7 op 3.6 Ghz kan krijgen zeldzame exemplaren zijn... 3.2 is misschien nog realistisch.