Informatie over Microsofts Bigtop-gridsoftware

Bij Microsoft-Watch is wat meer informatie verschenen over Microsofts plannen op de gridcomputers-markt. Het zou hierbij gaan om een gedistribueerd besturingssysteem waaraan gewerkt wordt onder de codenaam Bigtop. Dit systeem zou ontwikkelaars toelaten verschillende, slechts licht gekoppelde componenten op eenvoudige wijze te combineren. In plaats van het heel nauwkeurig en strikt verbinden van enkele zeer snelle systemen, ziet Microsoft meer heil in het laten samenwerken van meer gewone krachtige computers. Volgens anonieme bronnen zou het eerste commerciële optreden van Bigtop een groot project zijn, hoogstwaarschijnlijk een grid-computing besturingssysteem.

Bigtop zou, volgens anonieme ontwikkelaars die stellen gebrieft te zijn door Microsoft, hiervoor bestaan uit drie C#-componenten. Highwire, het eerste onderdeel, is een technologie die de ontwikkeling van zeer parallelle applicaties, die het werk over verschillende systemen verdelen, moet automatiseren. Bigparts is ontworpen om goedkope systemen te laten functioneren als specifieke servers om real-time software van de pc naar een centraal beheerbaar web-services model te verplaatsen.

Bigwin ten slotte is volgens de anonieme bronnen het ultieme 'software as service'-idee, waarbij programma's niet meer zijn dan een samenwerking van verschillende diensten die in het besturingssysteem verwerkt zitten of bij externe bibliotheken opgehaald worden. Hoewel Microsoft weigerde te reageren op deze beweringen, wisten de bronnen ook nog te vermelden dat een previewversie van Bigtop tegen 2006 gelanceerd zou worden. Wel is bekend dat Microsofts research-team al geruime tijd bezig is met verschillende vormen van gedistribueerde verwerking en grid-computing.

Reacties (26)

[Verwijderd]

Mooi dat de heren van MS hier zich eindelijk ook eens mee bezig gaan houden.

Het bedrijf waar ik werk ontwikkelt software. We gebruiken nu zeer krachtige machines om builds op te draaien, als we dit proces bv met dit soort software over meerdere (normale) computers kunnen spreiden door hun idle tijd te gebruiken (zoals bij DPC) dan zou dat behoorlijk in de ontwikkelkosten kunnen schelen.

Moeten ze de licenties natuurlijk niet duurder gaan maken dan een paar krachtige machines.

offtopic:
Silent77, echt een kansloze opening....

[Verwijderd]

Voor compileren op een verzameling computers kun je distcc gebruiken: distcc.samba.org

[Verwijderd]

Of IncrediBuild: http://www.xoreax.com

[Verwijderd]

Er is allang iets beters en dat gaat nu ook eindelijk doorbreken: www.onjava.com/pub/a/onjava/2004/12/29/jini.html
(ook zonder Java zijn er nog Jini mogelijkheden)

gelukkig is MS z'n monopolie-positie heel langzaam, maar zeker aan het slechten, zodat ze straks gewoon op kwaliteit moeten concureren. Het standaardje jatten zit er niet echt meer in gelukkig.

[hiostu]

Wat heeft Bigtop in hemelsnaam met de "monopolie" positie van Microsoft te maken? Microsoft heeft helemaal geen monopolie positie in de Enterprise markt, al zijn ze daar wel ontzettend hard aan het groeien. Ze hebben alleen een groot aandeel in de desktop markt. De andere markten zijn nog vrij nieuw voor Microsoft.

En ik denk dat je er toch vrij ver naast zit als je denkt dat Microsoft veel marktaandeel aan het verliezen is. Alleen al op de enterprise markt veroveren ze erg veel marktaandeel op verschillende onderdelen.

[zakalwe]

Klinkt een beetje als Xgrid van Apple.
Zou het ook de open standaarden zoals 'Beep' ondersteunen?

[MacWolf]

Xgrid van Apple is geen gedistribueerd besturingssysteem, dus die vergelijking gaat niet op.

Xgrid is meer software die verschillende Mac's in staat steld om samen een probleem op te lossen, ofwel een "distributed computing" oplossing.

Xgrid: http://www.apple.com/acg/xgrid/

EDIT @Carbon: In dat geval is bovenstaand verhaal misleidend:

Het zou hierbij gaan om een gedistribueerd besturingssysteem waaraan gewerkt wordt onder de codenaam Bigtop.

[Carbon]

Bigtop consists of three components, all written in C#, according developers who said they were briefed by Microsoft. These are:...

Bigtop is dus geen gedistribueerd besturingssysteem maar net zoals Xgrid een "distributed computing" oplossing.

[VisionMaster]

Inderdaad, maar Grid Computing is een vorm van distrobuted computing. Zoals DPC, dat eigenlijk de variant Appliance Computing (soms ook gezien als Application Computing of High Performance Application Computing).
Xgrid is ook zoiets, al heeft het binnen het programmatje (of eigenlijk de daemon ervan) een open structuur die een hoop vrijheden kent waartegen je je uit te voeren programma in kan uitvoeren.

Wat MS met BigTop wilt doen is mij nog niet duidelijk. Alles wat gestart word vanaf computer A word geinitieerd, maar dat fysiek gerund wordt op computer B is nog niet direct Grid computing. Dat vind ik weer een misleidende manier van het gehypte woord Grid gebruiken (beetje de Oracle achtige methode van de 10g, waar de g voor Grid staat ... ). allemaal prachtige software, maar bij lange na niet per definitie Grid computing.

Misschien wil MS inderdaad richting de bestaande Grid omgevingen bewegen. Zodat je op computer A iets wilt doen, maar dat je eigenlijk geen benul (en intresse) hebt waar jou opdracht allemaal terrecht is gekomen om het zo snel mogelijk tot uitvoering te hebben gebracht.

[maxxware]

Eerst wel, daarna ontwikkelt MS z'n eigen extensies op dit protocol en vervolgens, wanneer een flinke installed base beschikbaar is, maken ze deze standaard proprietary.

[bstard]

OMG wie mod dit nou weer Overbodig? Juist zo inzichtvol als maar kan zijn. Pff...

[terabyte]

Op dit moment is Linux+Globus de defacto standaard op Grid Computing gebied.
En voor parallele computing is MPICH de (defacto) standaard. Beide oplossingen worden voornamelijk gebruikt door universiteiten en onderzoeksinstellingen.

Ik zie nog niet in wat er zo spectaculair is aan Microsoft's oplossing dat de universiteiten straks massaal zullen overstappen op deze closed-source variant (waar ze zelf niet aan kunnen sleutelen).

[n4m3l355]

voordeel van MS software is echter dat het ook MS software over de grid laat lopen. ik kan me best wel voorstellen dat er 3dmax of andere vrij extreme software dat alleen functioneerd onder windows hier wel baat bij hebben.
maar inderdaad het beproefde concept zal niet snel worden afgeweken zeker iets zoals een linux grid wat uitermate stabiel is tenopzichte van een onstabiele windows omgeving.
zeker een nieuw project van windows zal de eerst komende 6 jaar (vergelijk winNT) kleine problemen her en der hebben en in een grid kan een klein probleem wel tot grote problemen leiden

[terabyte]

Ik denk dat toepassingen zoals 3DMax beter zullen werken op een eigen cluster, ipv een grid dat bestaat uit clusters van andere instellingen. De communicatie overhead zal te groot zijn voor relatief simpele problemen zoals 3D rendering.

Wat wetenschappelijke rekensoftware betreft: alle wetenschappelijke rekensoftware om enorme rekenproblemen op te lossen dmv het grid zijn geprogrammeerd voor Unix achtige OS'en, dus niet alleen Linux. MacOS X, BSD, AIX, etc het werkt allemaal. Ook hier biedt een Windows-based closed source oplossing geen voordelen.

[VisionMaster]

Bedoel je nu dat MPICH een defacto standaard is in ieder cluster (even Supers buiten wegen laten)?

Een aantal cluster zijn opgezet met MyriNet of Infiniband en het werd verdomd weinig gebruikt. (ok ok sommige extreem veel)
Soms is een dedicated gigabit interlink voldoende voor het MPICH werk (if needed). In de fysica wereld is MPICH totaal overbodige luxe. De events die in de grote detectoren worden gemeten zijn dusdanig dat ieder event compleet op zichzelf staat. Dus dit is een voorbeeld (toevallig 1 van de grootst vragen voorbeelden voor) van Insane/Incredibly Parallel Computing.

[terabyte]

Bedoel je nu dat MPICH een defacto standaard is in ieder cluster (even Supers buiten wegen laten)?

Euhm.. nee, ik zei dat MPI(CH) de belangrijkste standaard is voor Parallel Computing en ik vroeg me eingelijk af wat voor voordelen Microsofts oplossing biedt boven MPI.

Vergeet niet dat de universiteiten nu vooral informatici afleveren die (alleen) MPI kennen.

[Verwijderd]

Bigwin ten slotte is volgens de anonieme bronnen het ultieme 'software as service'-idee, waarbij programma's niet meer zijn dan een samenwerking van verschillende diensten die in het besturingssysteem verwerkt zitten of bij externe bibliotheken opgehaald worden.

Dus net zoiets als DLL's? Maar dan nog meer functies via externe "services" laten lopen? We weten allemaal hoe fijn het kan zijn als een DLL geupdate is waardoor sommige programma's opeens niet meer werken?

Het idee is vast om dat nu beter aan te pakken, maar de praktijk met software is dat de derde partijen altijd fouten maken alsmede MS zelf.

Bovendien betekent nog meer onderdelen van een applicatie "uitbesteden" een versterking van de monopoliepositie van MS en een verslechtering van het inzicht in de code van de programmabouwers omdat de extra services vast niet open source zijn.

[Maanzaad]

Dus net zoiets als DLL's? Maar dan nog meer functies via externe "services" laten lopen? We weten allemaal hoe fijn het kan zijn als een DLL geupdate is waardoor sommige programma's opeens niet meer werken?

Waar ben jij de laatste 4 jaar geweest mike_mike? Misschien eens tijd om iets over Microsofts .NET te lezen.

[Verwijderd]

Verklaar je nader, het gaat hier niet om een "protocol" (wat .NET min of meer is) maar om complete door MS geschreven componenten, dat is meer te vergelijken met DLL's dan met .NET. Het is heel goed denkbaar dat updates van die componenten andere applicaties, die daar gebruik van maken, niet meer goed laten draaien.

[Verwijderd]

Waar het hier om gaat is dat je in plaats van een hardwarematige upgrade van je serverpark je dus voor een (hopelijk) goedkopere softwarematige oplossing kan kiezen.

Hoeveel bedrijven hebben wel niet van die dure werkstations bij de afdeling secretariaat staan en al die andere stafdiensten.

Komt nog eens bij dat toekomstige processors over twee cores zullen beschikken. Een core is beschikbaar voor hand en span diensten naar het netwerk terwijl de ander zich toewijdt aan de taken die verricht worden op die pc.

[terabyte]

Waar het hier om gaat is dat je in plaats van een hardwarematige upgrade van je serverpark je dus voor een (hopelijk) goedkopere softwarematige oplossing kan kiezen

Nee, daar gaat het helemaal niet om: je verwart clustercomputing met gridcomputing.

Het grid is niet meer dan het koppelen van verschillende heterogene clusters van verschillende instellingen. (De clusters zelf zijn vaak homogeen). Bovendien is het nog maar de vraag of de applicaties die door het gemiddelde bedrijf gedraaid worden wel goed te paralleliseren zijn. En vergeet de communicatieoverhead niet!

Er zijn maar een handvol bedrijven in Nederland die echt clusterpower nodig hebben om hun problemen op te lossen en die hebben dan hun eigen cluster staan of maken gebruik van clusters zoals in SARA aanwezig is.


Nee. Cluster en grid computing is niet bedoeld voor het oplossen van 'toy-problemen'.

[TinusH777]

Dit ligt wel erg voor de hand!
Met Indigo, (Microsoft's ESB) is de loose coupled, maakt-niet-uit-waar-het-draait, component-communicatie model daar.

Wat het grid nog toevoegd is: automatische distributie van de componenten zelf. En daar hebben ze ook al een deel van af: de ClickOnce deployment in .NET 2.0

Nu nog wachten op een distributed OS. Dat zal ook niet lang meer duren: 'gewoon' een distributed Virtual PC dus

[VisionMaster]

Dus Indigo is een MS-only specifieke Web Service implementatie, lijkt me erg onhandig in de wereld die om MS heen ontwikkeld (en die is groter dan de huis-tuin-keuken gebruikers)?

Automatische distrobutie van de componenten maken nog geen Grid. Dit is enkelt een deel van de mogelijke infrastructuur die het kan bieden voor die implementatie van een Grid. Ik snap niet echt hoe die distrobutie zelf werkt eigenlijk... (/me gaat searchen)

Virtual PC / VMWare / Xen zal binnenkort als operationele oplossing worden ontwikkeld in het kader van EGEE (ontwikkel project van LCG-2 grid software) worden getest. Diverse testen worden momenteel al gedaan. Tis wel tricky om het goed te doen. Want je moet wel per gebruikersgroep of per gebruiker een correcte Virtual Machine aanleveren, wie beheert ze, hoe distroburen... blablabla

[WinL]

Ik weet niet de ins en outs maar .NET heeft nu al een goede implementatie voor remoting. Dit gebeurt bijvoorbeeld met een SOAP message (is een standaard). En ik denk echt wel dat zij zich ook aan een standaard gaan houden in de toekomst (of bekijk de XML implementatie). Realiseer je dat Indigo meer dan een protocol is, het wordt een complete API! Microsoft mag zelf bepalen hoe goed zij deze opzetten.
Dat zij vroeger niet zo standaard getrouw waren met html, wil niet zeggen dat ze dat altijd doen. Ik heb er vertrouwen in: zet hem op Microsoft! (why not?)

[VisionMaster]

Als er voor het .Net platform in bijv. de C# taal de ondersteuning van Web Services volledig word geadopteerd (dat is iets dat zich in een hoop standaarden volledig staat beschreven), dan heb je hier iets dat daar op kan aansluiten. En dan heb je een nogal 'losse' interface die je kan gebruiken.