CycleComputing bouwt AWS-cluster van 30.000 cores

CycleComputing heeft boven op de Amazon Web Services-clouddienst een virtueel cluster gebouwd, met ruim 30.000 virtuele cores en bijna 27 terabyte aan werkgeheugen. Het draaien van de clustercomputer kostte 1.279 dollar per uur.

Het cluster werd opgebouwd voor een van de vijf grote farmaceutische bedrijven, schrijft CycleComputing. De server bestond uit 3.809 virtuele instances, die elk acht virtuele cores bevatten, waarmee het cluster in totaal over 30.472 cores beschikte, evenals over 26,7TB werkgeheugen. Voor gegevensopslag was 2 petabyte aan opslagruimte beschikbaar. Cycle verspreidde het cluster over drie datacenters van Amazon: een in Europa en twee in de Verenigde Staten, aan zowel de oost- als de westkust. Het cluster werd gebruikt voor moleculaire berekeningen.

Het is onbekend wat de capaciteit van het datacenter gemeten in flops was. Evenmin is bekend hoeveel hardware nodig was om het cluster te draaien. Het cluster maakte gebruik van de Spot Instances-dienst van Amazon om ongebruikte rekenkracht goedkoop in te kunnen zetten. De Spot Instances-dienst, die krapweg twee jaar geleden werd aangekondigd, stelt gebruikers in staat om reserve-servercapaciteit te huren; Cycle zegt dat dat een besparing van 57 procent kan opleveren. Het draaiend houden van de servercluster kostte 1.279 dollar per uur, al is onduidelijk of de besparing dankzij Spot Instances in dat bedrag is meegenomen. Voor het beheer van het cluster gebruikte Cycle eigen software.

Reacties (31)

Quote uit artikel:

Het draaiend houden van de servercluster kostte 1.279 dollar per uur, al is onduidelijk of de besparing dankzij Spot Instances in dat bedrag is meegenomen.

Quote uit mijn bron:

The cluster, announced publicly this week, was created for an unnamed “Top 5 Pharma” customer, and ran for about seven hours at the end of July at a peak cost of $1,279 per hour, including the fees to Amazon and Cycle Computing.

bron: http://arstechnica.com/bu...t-on-amazon-ec2-cloud.ars]

edit: 'Quote uit artikel:' en 'quote uit mijn bron:'-tekst toegevoegd. Leek eerst net 1 grote quote ipv 2 losse.

[Reactie gewijzigd door Anoniem: 411619 op 21 september 2011 17:38]

Erg interessant, heb er vandaag bij mijn studie nog een presentatie over gehad! Toch blijven de kosten ervoor een flinke issue, maar verder is dit natuurlijk een geweldig stukje techniek. Deze cloud-diensten hebben aardig wat potentie voor in de toekomst.

De kosten zijn juist belachelijk laag, je moet je heel goed bedenken waar je het mee vergelijkt. Deze machines zijn 24/7 worden volledig gemonitord en onderhouden door een externe partij. Alle hosting kosten hardware vervangen, backups maken etc wordt allemaal voor je gedaan het enige dat jij hoeft te doen is het systeem te draaien.

Ter vergelijking als ik een zelfde soort dienst draai voor een x aantal servers dan kom is al snel op 200 euro of meer per machine per maand (exclusief BTW, en netwerk verkeer). Dat houd in dat ik dan betaal voor een team van mensen dat deze servers 24/7 onderhoud en in de gaten houd backups maakt en alle andere administratie rompslomp regelt. Als ik dan 3809 machines wil draaien dan kom is toch al gouw op een prijs van 1058 per uur uit, of ik het ding nu gebruik of niet... En dat is nog zonder het onderhouden van het cluster dat is aparte software er boven op dus reken maar uit wat dat gaat kosten.

1279 bij piek gebruik als alles helemaal 100% belast is is dan een schijntje zeker als je je bedenkt dat buiten de piek uren werken bij Amazon flink in prijs zakt en je dus al snel voor minder dan 2/3 van dat bedrag een uurtje kan draaien. Daar naast heb je bij Amazon het voordeel dat alles een spare heeft en je dus ook geen problemen hebt met hardware failure (dat krijg je er als het ware gratis bij).
Het is heel erg goedkoop om bij Amazon te hosten zeker als je een eerlijke berekening toepast...

Een eigen data center bouwen is voor een normaal bedrijf niet te betalen, zeker niet op de schaal zo als Amazon dat aanbied. Natuurlijk kun je als je alleen 1 of 2 machines nodig hebt en geen interesse hebt in 24/7 betrouwbaarheid etc veel goedkoper uit zijn door even een machine bij de PC boer op de hoek te kopen voor een paar honderd euro en daar lekker mee gaan spelen. Maar als je een professionele omgeving hebt waar je zo als in dit voorbeeld duizenden machines nodig hebt en niet kunt garanderen dat je de machine echt 24/7 volledig kunt belasten erg snel veel geld uitsparen. Want vergeet niet dat op het moment dat deze machine niets aan het doen is de prijs al snel naar maar een paar honderd $ per uur zakt en dat is echt een schijntje voor zo'n "super computer"

Het andere voordeel is de snelheid waarmee je zo iets kunt bouwen Wij zijn op dit moment met een project bezig waar de pilot alleen al snel 400 machines gebruikt en de volledige uitrol (dit is een midden groot land de andere +210 landen moeten daarna volgen) zal er nog heel erg veel meer gebruiken. De tijd die we nodig hebben om de hardware te bouwen in de racken te hangen etc... is enorm, bij Amazon kan ik zo iets bouwen met een paar muis klikken. Het scheelt enorm veel tijd en dus heel erg veel geld zeker als je de machines maar een paar maanden nodig hebt en dan gewoon weer terug gooit in de pool bij Amazon.
Nu kunnen wij helaas dit systeem niet buiten de muren van ons bedrijf draaien maar en dus moeten we het wel zelf bouwen, maar anders zouden we vrijwel zeker het hele gebeuren daar hebben ondergebracht simpel weg omdat voor een pilot/test fase dit veel minder investeringen vraagt en dankzij de vrijwel gratis decommisioning ook nog eens veel minder risico met zich mee brengt.

Als security een rol speelt zul je heel erg veel geld moeten besteden aan dingen zodat het allemaal enigszins secure wordt. Juridisch gezien heb je ook een groot probleem. Als de boel in de USA terecht komt moet je aan de wetgeving daar voldoen. Dat betekent dat je geld moet spenderen aan juristen met kennis van de Amerikaanse wetgeving en juristen zijn nou niet bepaald goedkoop.

Je creëert hier ook een single point of failure. Als er iets met de aanbieder gebeurd heeft dat invloed op de diensten die jij afneemt. Je hoeft bijv. geen datacentre te bouwen, je kunt je servers ook in den lande bij diverse aanbieders onderbrengen en deels door hun laten beheren. Daardoor heb je geografische spreiding en ook spreiding van aanbieders. Het is een manier om bepaalde gevolgen te minimaliseren.

Verder is er ook vaak een omslagpunt. Voor sommigen is het inderdaad goedkoper om zelf een server neer te zetten of elders te laten hosten dan gebruik te maken van de cloud services van o.a. Amazon. Gezien het feit dat men zich steeds meer op kleine bedrijven richt (VMware heeft laatste met de intro van vSphere 5 ook cloud computing voor kleine bedrijven geïntroduceerd; de bedrijven die van de gratis vSphere versie gebruik maken) lijken de aanbieders inmiddels ook door te hebben dat cloudcomputing voor deze doelgroep gewoonweg een brug te ver is qua kosten.

Ik vind dat er tegenwoordig veel te makkelijk en snel naar cloud computing van bijv. Amazon, VMware, Microsoft, etc. wordt gewezen. Vaak alsof dat het meest goedkope, snelste en beste oplossing is. Als je echter verder gaat kijken komen er toch heel wat dingen bij kijken en is het vaak helemaal niet zo'n goede oplossing. Dit is eigenlijk hetzelfde liedje als met outsourcing van je IT afdeling. Dat draait vrij vaak uit op een fiasco maar ook vrij vaak op een succes. De kans van slagen en mislukking ligt op 50%. Een percentage waarbij outsourcing dan ook een complete gok wordt. Dan moet je wel heel erg zeker van je zaak zijn en de boel heel erg goed onderzoeken om die gok te kunnen wagen. Nee, zo makkelijk is cloud computing niet.

Het single point of failure valt wel mee vind ik. Het voorbeeld waar het artikel over gaat is dat een farmaceutisch bedrijf 30.000 cores + toebehoren heeft 'gehuurd' van CycleComputing/Amazon. Deze 30.000 cores hebben het werk gedaan van 10.9 jaar computeren in minder dan 7 uur (tijd = ook geld). Mocht het tijdens deze 7 uren zijn misgegaan hadden ze vrij eenvoudig de data opnieuw kunnen invoeren om vervolgens nog 7 uren te wachten op de resultaten. En voor maximaal 1.279 Dollar per uur valt dat best wel te overzien voor 1 van de grootste farmaceutische bedrijven.

Dus voor dergelijke taken (heel veel data in korte tijd analyseren/verwerken) lijkt me deze dienst zeer geschikt en ook zeker niet duur mits je niet constant deze capaciteit nodig hebt.

bron (2e tabel in artikel): http://blog.cyclecomputin...ll-chef-monitoring-g.html

edit: Overigens zal de prijs voor dergelijke 'supercomputers' ook nog wel lager worden. Nog geen half jaar geleden werd de 'nummer 114 van alle supercomputers ter wereld' door CycleComputing 'gebouwd'. De kosten van een 8 uur durende test met slechts 10.000 cores waren toen nog 1.060 Dollar per uur. Dus nu nog geen half jaar later betaal je 30 procent meer en krijg je 3 keer zoveel cores tot je beschikking. En bij deze test werd overigens 9.1 jaar aan computeruren in zo'n 8 uur verwerkt. Dus ook dit is in slechts een halfjaar sterk verbeterd.

bron: http://www.cloudcomputing...percomputer-in-the-cloud/

[Reactie gewijzigd door Anoniem: 411619 op 21 september 2011 22:26]

Het single point of failure is de aanbieder. Als die een massive storing heeft (en dat heeft Amazon een paar keer gehad) ligt al snel je gehele infrastructuur plat. Dat betekent effectief dat je dan niets kunt doen. Voor sommigen kan een dagje platliggen tienduizenden euro's kosten. Dan worden andere oplossingen ineens een stuk goedkoper. Een ander punt is een faillissement zoals bij DigiNotar. Daar zien we dat de schade in de miljoenen loopt waarbij de overheid het grootste slachtoffer is. Dan moet je ook ineens op stel en sprong overschakelen naar een ander. De meeste infrastructuren zet je niet zomaar op stel en sprong over, daar gaat heel wat aan vooraf.

Waar Amazon verder wel heel erg goed voor is zijn inderdaad de nogal korte taken. Even snel een testbakje opzetten om iets te testen of een dingetje te ontwikkelen. Ook voor het uitrekenen van bepaalde zaken binnen een bepaald tijdslimiet kan iets als Amazon wel degelijk heel erg interessant zijn. Daarom nogmaals de herhaling: kijk heel goed naar wat je voor ogen hebt en of dit overeenkomt met wat Amazon kan bieden.

Ik ben het met je eens hoor. Al je data in de cloud staat zonder dat het redundant is opgeslagen of als je bedrijf staat of valt met de connectiviteit van de verbinding/uptime van een cloud-aanbieder (zoals in dit voorbeeld), dan ben je wellicht beter af met een andere oplossing.

En je laatste alinea ben ik het volkomen mee eens, ik denk dat je ook vooral daar de winst moet zoeken voor bedrijven als CycleComputing.

amazon voert de boel ook randunand uit (de servers staan op 3 plekken staat in het artikel)

clusters bouwen onderhouden en ook koelen krijg je echt niet voor die prijs! En dan nog randunand uitvoeren ook!

Een cluster is iets anders dan een server, als je 1000 en servers aan elkaar koppelt kun je het een cluster noemen. Maar je moet alles ook optimaliseren anders heb je kans dat 2dezelfde servers dezelfde berekening doen, en dat wil je niet!

De aanbieder heeft weliswaar redundantie in de infrastructuur maar jij als klant hebt geen redundantie in je aanbieders. De redundantie van Amazon levert nog een probleem op, eentje die je ook bij Google ziet: men spreid data over de servers. Dat betekent dat jouw data zomaar op een server in de USA of in India of waar dan ook terecht kan komen. Dat betekent echter ook dat jouw data onderhevig is aan de plaatselijke wet en regelgeving. Voor veel mensen is dat nogal een probleem, met name de wetgeving in de USA waarbij een beschuldiging al genoeg is om allerlei gegevens op te vragen (zie de situatie van wikileaks waarbij men zomaar gegevens van o.a. Rop Gonggrijp wilde opvragen...gelukkig ging Twitter daar niet in mee).

Een cluster kun je vertalen als een kluitje. Meer dan dat is het ook niet. Het zegt dan ook niets over de locatie van de servers. Een cluster kun je in hetzelfde rack doen (met alle gevolgen van dien ondanks redundantie...denk eens aan brand in het rack of stroomuitval van het rack), je kunt het over meerdere racks in dezelfde ruimte verdelen (wat als brand in ruimte, airco of ups die wegvallen, terroristische aanslag a la 9/11 of een kraan die omvalt?) en je kunt het over meerdere locaties in den lande verspreiden. Van dat laatste is iets waar o.a. het CERN veel gebruik van maakt. Het wordt zelfs toegepast om Europa's grootste radiotelescoop te creëren. Ook kwaadwillende maken hier gebruik van, dat is het hele principe van een botnet. Het is dan ook een volledige misvatting om te denken dat een cluster niet geografisch gespreid kan zijn!

De kosten voor wie?
Voor gewone bedrijven lijkt het me goedkoper dan je eigen datacenter bouwen.

waar gaat die 1000 dollar per uur dan heen? energie rekening?

Energie, afschrijving, verzekering, onderhoud door het personeel etc etc.

Met dit soort aantallen moet ik zeggen dat ik 1279 dollar per uur nog zeer laag vind eigenlijk.

tis toch een hele smak geld per uur.
en een geautomatiseerd systeem heeft niet zoveel onderhoud nodig per uur neem ik aan.
verzekeringen zijn toch maandelijkse, kwartale of jaarlijkse kosten? zeker niet per uur.

of alles is terug gerekend.

@rvantwisk,
dat systeem sluit niet zosnel af en boot ook niet zo snel lijkt me met al die hardware. dus het is niet ff een knop indrukken (neem ik aan)

Verzekeringen zijn er niet, die zijn voor Amazon, en dus niet voor het farmabedrijf.

En eigenlijk is het wel maar een knop indrukken, want Amazon instances kan je gewoon starten met een API call naar hun webservice. En dat zal zijn wat dat stuk software van hen doet, de volledige amazon api geautomatiseerd aanspreken.

Ze vermelden bv ook dat ze de spot instance dienst gebruiken, dit zijn machines die beschikbaar komen als de prijs/uur zakt onder een bepaald bedrag. Deze kan je dan ook gewoon automatisch in je cluster mee opnemen, on boot kunnen die parameters gaan ophalen (bv om te joinen in die virtuele farma cluster) en zijn direct aan de slag.

Ik vind het knap gedaan in ieder geval

Een smak geld per uur?, je bent denk ik niet bekend in de medisch/zakelijke wereld van BIGFARMA? Het gereserveerde budget voor het ontwikkelen van een belangrijk medicijn ligt al snel rond de 1 tot 5 miljard Euro (ik ben zelf ondernemer in de medische branche). Minder dan 10 K euro betalen om vervolgens al je data van bijvoorbeeld 2 miljard euro research uitgerekend te krijgen binnen 7 uur en zonder het gezeik van een eigen datacenter te onderhouden, want we zijn een farmaco business en geen ICT company, is een zo verwaarloosbaar nihil bedrag op het investeringsbudget. €1.000.000.000 (1 miljard) gedeeld door €10.000 is 1/100.000e van je investeringsbudget. Oftewel 0.0001%, daar knipperen we niet eens met onze ogen voor, waar heb je het in godsnaam over?? En nog eens oneindig veel minder in verhouding tot het 10 tot 50-voudige bedrag dat in de jaren erna over de gedane 5 miljard investering terugverdient gaat worden. Plus zoals hierboven al zo vaak gezegd, de snelheid van het proces is belangrijk, een paar muisklikken en telefonische afspraken en je hebt je supercomputingpower geregeld, voor een fractie van de tijd (veruit de belangrijktste reden) en voor veel lagere kosten (een veel minder belangrijke reden als we TOP 5 BIGPHARMA spreken!!) dan als je de supercomputer zelf ging bouwen en onderhouden (wat als farmaceutisch bedrijf niet je core business is). Want als farmaceutisch bedrijf heb je geen continue data stroom om zo een supercomputer vervolgens 365 dagen per jaar met analyses aan de gang te houden. Je hebt hem af en toe nodig.

[Reactie gewijzigd door Anoniem: 414400 op 23 september 2011 00:29]

Zag het ook en dacht zal wel een typfout zijn, want dat komt neer ruim 11 miljoen per jaar. Maar bij dergelijke bedrijven, wiki zet de top5 farmaceutische bedrijven in met omzetten van 40-60 miljard, valt zoiets nauwelijks op.
Waarschijnlijk is de dagelijkse verandering in aandelenkoers al groter dan dit bedrag.


Je vraagt je haast af waarom ze, naar verhouding, zo weinig geld in een datacenter steken.

Je vraagt je haast af waarom ze, naar verhouding, zo weinig geld in een datacenter steken.

Omdat als dit goed werkt je niet je eigen datacenter hoefd te maken en je dat risico geheel bij Amazon kan neerleggen. Wil je er weer vanaf dan schakel jet het zo uit, en dan stoppen de kosten. Heb je weer reken kracht nodig dan druk je weer de rode start button in.

Maar de hele grap is natuurlijk dat het uitvoeren van de berekeningen slechts $ 10.232,- heeft gekost. Voor die prijs hebben ze dus 10,9 jaar rekenwerk verzet ('Compute Years of Work'). Daar komen uiteraard nog de kosten die CycleComputing heeft gemaakt.

Nee, de prijs is inclusief de kosten van CycleComputing:

The cluster, announced publicly this week, was created for an unnamed “Top 5 Pharma” customer, and ran for about seven hours at the end of July at a peak cost of $1,279 per hour, including the fees to Amazon and Cycle Computing.

Bron: http://arstechnica.com/bu...t-on-amazon-ec2-cloud.ars

Per jaar?? Het gaat hier juist om het verkrijgen van supercomputercapaciteit voor een paar uur!! Dat doorrekenen naar een jaarbedrag slaat de plank/insteek van dit soort diensten juist helemaal mis.

Dan vraag ik me af wat een pharmaceutisch bedrijf moet met zoveel rekenkracht.. 30.000 cores kun je de binding van een bepaald verjongingsmiddel wel mee berekenen i guess?

Dit is IMO wel een van de pluspunten van Clouddiensten, de overige capaciteit kan gewoon weer ingezet worden.

Ik vraag me wel af hoe veilig je data is als je als bedrijf capaciteit huurt bij Amazon. Denk aan bedrijfsspionage bijvoorbeeld (of ze kunnen gewoon de stekker eruit trekken, zie voorbeeld van wikileaks).

Ja maar het gebruik van een compleet cluster is over het algemeen niet voor opslag, maar voor berekeningen.
De security is bij berekeningen geen issue.. je hebt ten slotte niets aan een stel uitgerekende cijfers als je de context niet weet..

Dat grote cosmeticabedrijf zal zijn geheimen wel ergens op een eigen fileserver hebben staan, wat waarschijnlijk een fractie kost..

Ik denk niet dat je die cores zo bij elkaar op kunt tellen, ze worden immers gedeeld. Het kan dus goed zijn dat je 10 instances op dezelfde CPU draait. Desalniettemin toch nog heel wat rekenkracht.

Nee, het zijn virtuele cores. Amazon reserveert een bepaalde hoeveelheid CPU voor elke instance. Je kunt dus wel die cores bij elkaar optellen.

Dat er meerdere op dezelfde fysieke CPU draaien maakt in de praktijk weinig uit.

Amazon noemt deze virtuele CPU's een EC2 Compute Unit

Transitioning to a utility computing model fundamentally changes how developers have been trained to think about CPU resources. Instead of purchasing or leasing a particular processor to use for several months or years, you are renting capacity by the hour. Because Amazon EC2 is built on commodity hardware, over time there may be several different types of physical hardware underlying EC2 instances. Our goal is to provide a consistent amount of CPU capacity no matter what the actual underlying hardware.

Amazon EC2 uses a variety of measures to provide each instance with a consistent and predictable amount of CPU capacity. In order to make it easy for developers to compare CPU capacity between different instance types, we have defined an Amazon EC2 Compute Unit. The amount of CPU that is allocated to a particular instance is expressed in terms of these EC2 Compute Units. We use several benchmarks and tests to manage the consistency and predictability of the performance of an EC2 Compute Unit. One EC2 Compute Unit provides the equivalent CPU capacity of a 1.0-1.2 GHz 2007 Opteron or 2007 Xeon processor. This is also the equivalent to an early-2006 1.7 GHz Xeon processor referenced in our original documentation. Over time, we may add or substitute measures that go into the definition of an EC2 Compute Unit, if we find metrics that will give you a clearer picture of compute capacity.

To find out which instance will work best for your application, the best thing to do is to launch an instance and benchmark your own application. One of the advantages of EC2 is that you pay by the hour which makes it convenient and inexpensive to test the performance of your application on different instance types.

Bron: https://aws.amazon.com/ec2/instance-types/

Ik ben benieuwd wat ze kunnen bijbrengen bij de DPC (Dutch Power Cows)
Dutch Power Cows



Iedereen die z'n processor wilt laten werken voor het goede doel, kom even langs!

Nou amazon verdient iniedergeval het tiendubbele per uur dus dat zit wel snor.
Vind het best een praktische oplossing op grote schaal, doorvoeren die hap

Wow:O Ben benieuwd hoeveel procent van de CPU gemiddeld wordt gebruikt...

1200 per uur - dat is 10M per jaar. Kun je al een klein datacenter + energie voor aankopen.

Inderdaad als het slechts 1x per jaar gebruikt wordt voor 2 of 3 uur is dit goed maar enkel de datatransfer voor 2PB zal al enkele weken indien niet maanden duren (en je moet bij Amazon de transfer ook betalen).

Misschien hadden ze gewoon eens moeten vragen bij de lokale Universiteit - die hebben meestal zo'n supercomputer staan en die kun je waarschijnlijk veel (denk ~10% van de prijs) goedkoper huren (en je kunt je PB aan data ook direct insteken). 30,000 cores is slechts 4000 machines, IBM verkoopt die onder de naam BlueGene (en bij Amazon is een core sowieso niet echt een volledige processor core) voor een miljoentje of 2

[Reactie gewijzigd door Guru Evi op 22 september 2011 06:40]

EN dan vervolgens al je hardware gaan moeten onderhouden terwijl je corebusiness farmaceutische producten betreft? Vergeet niet dat de kosten van het inhuren van deze computerkracht natuurlijk ook weer via allerlei boekhoudkundige constructies als investeringskosten kunnen worden doorberekend voor het uiteindelijke bedrijfsresultaat. Dus de nettokosten voor de inhuur liggen op zijn minst nog eens de helft lager dan de hier bruto genoemde bedragen. Tweakers (en ik ook) willen natuurlijk de hardware in huis hebben, want dat vinden we geweldig. Ik zou de hele dag tegen zo een IBM Bluegene aan staan te rijden met open gulp als Berlusconi tegen al zijn tienermodellen. Maar veel bedrijven zijn geen ICT bedrijven, en voor hun is een eigen datacenter vaak vooral een last. Het is nodig, maar als je het veilig kan uitbesteden, dat is wel eventjes heel wat mooier, om vervolgens door te gaan met je corebusiness.

[Reactie gewijzigd door Anoniem: 414400 op 23 september 2011 00:18]