Hoofdcategorieën
Device Settings

IBM trekt zich terug uit megasupercomputerproject

Door Willem de Moor, dinsdag 9 augustus 2011 10:19, views: 20.693

IBM heeft om financiële redenen de deelname aan de bouw van een supercomputer voor een Amerikaanse universiteit gestaakt. De Blue Waters-supercomputer moet in 2012 worden opgeleverd, maar het is onduidelijk of dat wordt gehaald.

De bouw van de Blue Waters-supercomputer werd al in 2007 aangekondigd. De computer moet een plaats krijgen in het National Center for Supercomputing Applications van de universiteit van Illinois. Het project wordt grotendeels gefinancierd door de National Science Foundation en zou rond de 308 miljoen dollar kosten. De NSF heeft 208 miljoen beschikbaar gesteld, terwijl de universiteit garant staat voor de resterende 100 miljoen dollar.

IBM heeft ongeveer 30 miljoen dollar overheidsgeld ontvangen en zal dat geld terugbetalen. Reden voor IBM om het project te staken zou een toename in kosten voor zowel het ontwerp als de toekomstige technische ondersteuning zijn.

De IBM-servers die al in het supercomputercentrum zijn geïnstalleerd, worden aan IBM teruggegeven. De National Petascale Computing Facility van de univerisiteit van Illinois moet op zoek naar een andere hardware-partner om het Blue Waters-project af te ronden. De NSF moet medio september stemmen over de verdere invulling van het project, wat de universiteit onder tijdsdruk zet. Een team van ongeveer honderdtwintig mensen houdt zich bezig met de bouw van de supercomputer.

De Blue Waters-supercomputer zou een zogeheten petascale-supercomputer moeten worden. De watergekoelde computer zou continu snelheden van ongeveer 1 petaflops moeten halen. Daarmee zou de computer trager zijn dan de huidige snelste supercomputer, de Japanse K Computer. Die haalt pieksnelheden tot 8 petaflops, maar de continu-snelheid ligt lager.

Volgende 10:28 Take-Two: slecht kwartaal door tegenvallend Duke Nukem Forever
Vorige 09:04 HTC stelt OpenSense-sdk beschikbaar
Advertentie

Reacties

«  1  2  »

Vraag me altijd af hoe dat zit dat er verschillen zitten in piek en continu snelheden. Ligt de oorzaak in een soort turbo/overclock achtige modus? Die vanwege stroomverbruik / warmte niet lang volgehouden kan worden?
Of wat is anders de oorzaak van bijna een factor 8 verschil in piek en continu snelheid.

Ik denk dat het iets met buffers te maken zal hebben.
Als alle nodes voldoende data hebben om berekeningen te kunnen uitvoeren haalt de computer bijvoorbeeld die 8 petaflops, maar wanneer de buffers met data leeg zijn moeten deze gevult worden en zakt de echte rekensnelhied onder de 1 petaflops.
Wanneer deze supercomputer een sneller netwerk heeft dan de andere super computer kan deze sneller weer nieuwe data om te rekenen aanvoeren, ondanks dat de processoren zelf in totaal langzamer zijn.

Dus als een ambtenaar maar 1 brief per dag aangeleverd krijgt kan hij er maar 1 verwerken. Krijgt hij er 100, kan hij zijn maximale capaciteit volledig benutten en tussen de kopjes koffie door maar liefst 18 brieven verwerken!

Daarom heeft de ambtenaar altijd een stapeltje (buffer). De ambtenaar gaat langzamer werken als het stapeltje kleiner wordt, terwijl de supercomputer net zo hard doorwerkt tot het stapeltje weg is, en dan dus alsnog niks doet. Tot zover ok, maar als het stapeltje weer groter wordt heeft die ambtenaar geleerd dat langzaam werken hetzelfde salaris oplevert en veel meer koffietijd oplevert en dus niet meer op volle snelheid gaat werken, terwijl de supercomputer weer 100% draait.

Dat is ook de reden dat computers niet tè slim worden gemaakt. Je wilt niet dat hij ook ontdekt dat langzaam werken dezelfde betaling oplevert.

Toch mislukt dit regelmatig. We weten allemaal dat oudere (en dus wijzere) computers trager zijn dan nieuwe, gretige exemplaren.


Maat van me heeft 2 weken tijdens zijn stage als ambtenaar stilgezeten,
hij had per ongeluk zijn 3-weken schema in drie dagen gepropt...
Toen kreeg hij dus geen vervangend werk en "moest ie maar bij de koffie-
automaat gaan zitten..."

@Grimesy
Zulke ambtenaren zouden meer moeten rondlopen.
Dan zou het bij de gemeentes een stuk beter lopen.
Het zou dan ook minder kosten voor de gemeente op lange termijn.

Dat komt denk ik door gebruik van MAC en SIMD type instructies waarbij meerdere berekeningen parallel in een enkele instructie uitgevoerd worden. Dit is handig om bijvoorbeeld een FFT snel te berekenen, maar omdat de processor ook gewone instructies uitvoert, is de cpu niet continu op piek performance bezig.

een aantal zaken hebben hier mee te maken
1) efficiency van de programma code en compilers, goed geschreven code, met gebruik van de juiste compiler zal een beter presteren dat het zelfde programma met een onjuiste compiler (bijvoorbeeld de pathscale compiler zal je op het AMD platform zo'n 30-40% performance winst geven t.o.v. de GNU compiler, echter zal de pathscale weer minder presteren op een Intel platform.)
2) netwerk (met name de latency) bij een Gbit is de efficientie van een HPC cluster ongeveer 55% en bij een Infiniband omgeving zal dit rond de 85-90% liggen (vaak nog hoger). hier kun je dus veel winst mee behalen (op dit momnet is IB 4X d.w.z. 40 gbit <4ms latency)
3) verhouding CPU/RAM, te weinig RAM betekend SWAP, dus snelheidsverlies.
4) disk I/O: bij grote datasets duurt het inlezen van de data steeds langer (bijvoorbeeld CERN data voor NIKEF is ruim 500 Tb per dag) als de feed niet goed gevuld kan worden doordat het gebruikte filesysteem niet parallel kan feeden dan betkend dit verlies in snelheid. oplossingen hiervoor zijn bijvoorbeeld pNFS, Lustre en GPFS met vodloende bandbreedte op de interconnect laag.
5)efficiency van het gebruik van het cluster: vaak zie je dat sommige nodes de hele tijd druk zijn (of een groep nodes die fysiek dicht bij elkaar staan) terwijl anderen staan te niksen, het optimaliseren van je paralleel proces is heirbij een enorme winst in daadwerkelijke prestatie.

hiernaast kan ik nog wel meer redenen bedenken die van invloed zijn op de efficentie van een cluster, maar ik denk dat bovenstaande wel de belangrijksten zijn (overigens zijn bovengenoemde zaken tevens vaak de reden dat rekenen op GP/GPU of andere accelerators zoals FPGA's niet toerijkend zijn voor dagelijks gebruik: goed ik peak performance, maar in de praktijk vaak langzamer dan "traditionele" CPU architectuur. Bovendien kan je niet alles in CUDA programmeren, GPU heeft te weinig RAM, en geen ECC geheugen, grote struikelblokken voor programmeurs !

Waar haalt zo'n universiteit 100 miljoen dollar vandaan, dat is het enigste wat ik me af vroeg..

Donnaties van welgestelde mensen, subsidies,...

Patenten.

Veel dingen die daar uitgevonden worden zijn eigendom van de universiteit niet van de uitvinder. Daar kunnen ze dan weer patent op aanvragen geld mee verdienen en dit soort projecten me financieren.

Onderzoek en bedrijven die onderzoek willen sponsoren.

Ze doen wel eens een onderzoekje enzo ;)

Ze doen wel eens een onderzoekje enzo ;)
Onderzoek kost voornamelijk geld en levert lang niet altijd geld op (en heeft dat ook niet ten doel, als het goed is).

Heb jij wel eens gekeken wat het collegegeld is op een gemiddelde Amerikaanse universiteit? Reken maar op 50k per jaar per student, op zijn minst. Veel van deze universiteiten hebben vele duizenden studenten ieder jaar.

Kijk als grapje maar eens onder 'endowment' op die wikipedia pagina's van grote universiteiten, dan wordt duidelijk dat 100M echt niet zo heel veel is.

Volgens de link die je opgenomen hebt betalen niet alle studenten het volledige collegegeld (Harvard):

Undergraduate tuition for the 2009–2010 school year was $33,696 and the total cost with fees, room, and board was $48,868.[87] Under financial aid guidelines adopted in 2007, parents in families with incomes of less than $60,000 will no longer be expected to contribute any money to the cost of attending Harvard for their children, including room and board. Families with incomes in the $60,000 to $80,000 range contribute an amount of only a few thousand dollars a year. In December 2007, Harvard announced that families earning between $120,000 and $180,000 will only have to pay up to 10% of their annual household income towards tuition.

In amerika zijn de universiteiten veel commerciëler. Donaties van ex-studenten worden op prijs gesteld net zoals patenten en dochterondernemingen (voor uitoefenen van de patenten)

Verder doen ze betaald onderzoek.

Dat ze zo commercieel waren had ik niet verwacht. Ik heb me er ook nooit echt in verdiept.
Maar ik had verwacht dat de andere kosten/uitgaven van de school gewoon een stuk hoger waren.
Ik had niet verwacht dat bijvoorbeeld Harvard 27.4 miljard op de "rekening" heeft staan. (net gelezen)

Achja, weer een illusie armer.

Harvard is, net als bijvoorbeeld Apple, rijker dan de US zelf :-)

@ Scripted

De gemiddelde schuld van een masteropleiding student bij het afstuderen in de VS kan variëren van $ 30.000,-- tot 120.000,--

Daar betaal je gewoon wat je opleiding kost, in tegenstelling tot bijvoorbeeld Nederland.

[Reactie gewijzigd door serfbaws op dinsdag 9 augustus 2011 10:51]


De universiteit van Illinois heeft aardig wat geld via donaties. In 2007 ruim 4 miljard dollar en in 2009 ruim 1 miljard dollar. [Bron]

Universiteiten in de US hebben veel meer geld te besteden dan in Nederland. Kijk maar eens naar deze lijst van 2009 (hier staat de universiteit van Illinois op de de 49e plaats).

ontopic: Vergeet niet dat een groot deel van de computertijd gewoon verhuurd wordt. Ik denk dat de grote noodzaak een aankomende crisis in de VS en IBM de oorlogskas gevuld wil hebben.
Wel netjes dat ze het overheidsgeld gewoon terugbetalen. Hier in Nederland zou het gewoon in de put verdwijnen.

offtopic: De hoge kosten die een student maakt in de VS betalen we hier ook, alleen via belastinginkomsten. Het is dan vaak ook lullig als mensen hier hun opleiding doen en deze afgestudeerde in het buitenland gaan werken. Een soort concurrentiebeding tussen landen zou wel welkom zijn. Maar ja, de slappe ruggetjes in Den Haag snappen dit nog niet helemaal.

Dat werkt natuurlijk in 2 richtingen, er zijn ook meer dan genoeg Nederlanders die in België komen studeren omdat het hier nog goedkoper is.
Zolang het niet de spuigaten uitloopt vind ik dat daar geen probleem mee is.

Ze kunnen het ook met videokaarten doen, dan past het apparaat onder je bureau :)

[Reactie gewijzigd door _Thanatos_ op dinsdag 9 augustus 2011 10:26]


Ik zie in die link iets over 12 teraflops, om dan 1 petaflop te halen heb je 1000 / 12 = 84 van die dingen nodig, maar dan heb ik het nog niet over het netwerk dat er tussen zit om snel de gegevens van de andere nodes te kunnen lezen/schrijven.
Hoe groot dat netwerk deel is hoef ik niet eens te weten, die 84 kasten passen al niet onder mijn bureau :)

84 keer de aanschafprijs van de Fastra2 is nog steeds een fractie van een vergelijkbare supercomputer.

Als je je richt op 3D tomografie, dan wel ja ;) Die taken kun je parallel op een GPU veel sneller uitvoeren dan op een CPU. Dat wil niet zeggen dat je die supercomputer zomaar kunt vergelijken met het systeem in bovenstaand bericht ;)

Het gaat om de parallellisatie. Ieder algoritme dat op 1000 CPU's kan draaien, kan ook om een gecombineerde 60.000 (ik noem maar wat) shaderprocessors (of hoe die units ook heten) draaien.

Achterhaald.
Daar wil ik met mijn 4 GTX570's en 2 E5645's wel een wedstrijdje mee doen.

Natuurlijk, want het gaat heel hard met videokaarten. Als ze NU 7 van de nieuwste videokaarten pakken, halen ze alweer veel meer.

ach als je een heeel groot bureau bouwt kom je vast een eind ;)

Beter dan twee voetbalvelden volbouwen met primitieve schaakmonsters.

enige wat ik me afvraag is Waarom?
hoop tijd, geld en prestige verloren......wat zit daar achter?

Vermoedelijk beter nu een beetje prestige verliezen als straks een heleboel.
Of ze zitten op de centjes en zijn er achter gekomen dat dit project voor hun niet kostendekkend zou zijn, dat ze er mischien op zouden verliezen.

Nu plegen ze contractbreuk en moeten ze dus om te beginnen die 30 miljoen die ze ervoor ontvangen hebben terugbetalen. Van de andere kant lijkt het me dat de opdrachtgever, (NSF/universiteit) nu, als het project inderdaad niet op tijd klaar is de daaruit volgende schade op IBM moeten kunnen verhalen.

Het lijkt dat de imagoschade voor IBM al snel groter is als het verlies wanneer men het project gewoon zou afmaken, dus lijkt me dit niet zo'n goede zet, maar zo werken beslissingen in het bedrijfsleven vaak. Ik zou als opdrachtgever niet snel op zulke voorwaarden een contract met IBM aangaan.

Enigzins vreemd verhaal naar mijn idee. IBM wordt hier toch gewoon ingehuurd om de supercomputer te bouwen. Hebben ze misschien een bepaalde prijs afgesproken en kunnen ze daar nu niet voor leveren waardoor het contract verbroken wordt?

Er staat niet in het bericht dat IBM zelf een (financiele) bijdrage levert aan dit project..

Jawel ze krijgen geld en dat moeten ze terug betalen

Snap niet dat een grote speler als IBM zich terugtrekt.
Of het ze nou geld oplevert of niet meer, ik denk dat het gezichtsverlies best groot is.
IBM staat bekend om hun snelle megacomputers (zoals de publiciteitsstunt in jeopardy )

Is IBM niet alleen maar een grote speler omdat ze ooit een memorabel supercomputertje gebouwd dat kan schaken?.. :)

Uhm, nee. Ze hebben bijv. het moederbord bedacht, de IBM-PC, etc.

Het maakt niet uit wat je verzint, want IBM heeft het toch al 40 jaar geleden gedaan en beter.

IBM doet weinig met consumenten, omdat die toch alleen maar zeuren, maar verder is de bedrijfsstrategie om problemen te zien, voordat de rest deze ziet en al een oplossing klaar te hebben tegen de tijd dat mensen de oplossing nodig hebben.

Erg vreemd idd, dit is gewoon zwaar gezichtsverlies voor ze. De volgende universiteit die een supercomputer nodig heeft bedenkt zich wel een paar keer voordat ze voor IBM kiezen. Terwijl de supercomputer divisie best groot is volgens mij.

Moet IBM geen boete betalen voor de verloren tijd? 2012 gaan ze nu vast niet meer halen, en er zitten vast veel wetenschappers en projecten op de oplevering te wachten.

Die zal wel lager zijn/worden dan de ondersteuning die ze voor ... 10? 20? jaar moeten leveren.
Vreemd dat zo'n computer(stelsel) niet met klap op 1 zou komen te staan, ik vermoed dat het ontwerp nu al achterhaald is?

Waarom megasupercomputer in de titel? Alleen supercomputer is duidelijk genoeg toch?
Die Japanse K Computer is nog sneller, hoe zou je die dan moeten noemen? :P

ultrasupercomputer?
Gigasupercomputer?
8-)

Niet te geloven, zo veel humor op een artikel, echt geniaal. En volgens mij kan jou idee ook nog wel eens waar zijn.
«  1  2  »

Op dit item kan niet meer gereageerd worden.

Volgende 10:28 Take-Two: slecht kwartaal door tegenvallend Duke Nukem Forever
Vorige 09:04 HTC stelt OpenSense-sdk beschikbaar
VNU Media logo Hosted by True

© 1998 - 2012 Tweakers.net B.V. - Alle rechten voorbehouden - Contact - Jouw privacy - Algemene Voorwaarden

Uitgever van:

Website van het jaar 2011