Microsoft onderzoekt distributed storagenetwerken

Softwarebedrijf Microsoft is een project gestart onder de codenaam Boxwood, zo schrijft EE Times. Het doel van dit project is het onderzoeken van de (on)mogelijkheden op het gebied van storage wanneer er gebruikgemaakt wordt van een groot aantal relatief goedkope servers, meerdere honderden, in een cluster. Volgens Michael Schroeder, assistant director bij Microsofts Mountain View onderzoekscentrum dat zich bezighoudt met distributed computing, is het geen eenvoudige taak om dit op een goede manier uit te werken. Schroeder heeft zich al bijna tien jaar met deze materie beziggehouden bij het voormalige Compaq. Hij heeft daar toen samen met zijn collega's een werkbaar systeem ontwikkeld. Dat systeem bleek echter te low-level te zijn omdat ontwikkelaars hun eigen storage allocation maps moesten schrijven. Boxwood is echter op een hoger niveau ontwikkeld waardoor het gebruik eenvoudiger zou moeten zijn.

Om dit te bereiken wordt er gebruikgemaakt van data-abstracties in plaats van logische of virtual disk-abstracties die gebruikt werden in eerdere projecten. Dit stelt de ontwikkelaars in staat om op een hoger niveau dan blokgroottes te specificeren hoeveel ruimte ze nodig denken te hebben. Deze techniek maakt het ook eenvoudiger om load balancing, data prefetching en caching toe te passen. De onderliggende techniek maakt gebruik van variaties op B-Tree-datastructuren genaamd B-Link-trees. Op dit moment heeft Microsoft Boxwood draaien op een klein cluster van 4 pc's. De code is nog niet geoptimaliseerd voor load balancing en fouttolerantie. De onderzoekers zijn nu bezig met een prototype van de software voor een veel groter cluster dat binnen een jaar operationeel moet zijn. Wanneer de onderzoeken positief verlopen zal de kennis uit dit project gebruikt gaan worden in nieuwe generaties van Microsofts storagesoftware.

Design en Implementatie van de techniek uit het Boxwood Project

Reacties (16)

[Iblies]

Die kennis zal waarschijnlijk al aanwezig zijn bij google maar waarschijnlijk wil microsoft het niet vragen omdat het antwoord al bekend is; nee vertellen we lekker toch niet

@70070540
Googles cache misschien, of index??

[Gé Brander]

Ik geloof niet dat Google al gebruik maakt van dit soort technieken. We praten hier over schijfruimte en niet over processorkracht.

[miw]

Het Google File Systeem (GFS) werkt al op verschillende clusters van 10.000 PC's binnen Google. Het filesysteem is geoptimaliseerd voor grote clusters van goedkope hardware en de applicaties die daar gebruik van maken.

[freaky]

Google heeft dit niet nodig. Die gebruiken databases en databases hebben al heel lang replicatie opties.

edit:
Hmm gezien de post hier boven zit ik er (iig gedeeltelijk) naast.

[vso]

waarom boduren ze niet verder op DFS ?
DFS is fault-tollerant

als ze DFS met bv een soort hogere level RAID opslag bv level 1+0 (stripe, mirror dus ) zouden ze denk ik al heel veel bereikt hebben.


Google heeft inderdaad een intressant systeem maar dan compleet Loadbalanced CPU en een diskopslag .. helaas dat ze het niet opensource c.q. "verkopen" het zou voor het bedrijfsleven bv zeer veel nut hebben .. hoeveel HD +CPU zouden ze in een bedrijf nu over hebben? als je van een desktop uitgaat ? met Terminal servers heb je andere problemen meestal teweinig CPU en RAM cappicitiet .. dus ..

[reddog33hummer]

Verander kleine servers in de werkstations en je hebt in feite een waar p2pfile systeem.

Ibm was hier al wat langer mee bezig. Dat was toen later uitgegroeid tot het Andrew File System.

Grote problemen hiermee waren zodra een server zich afmelde. Ben benieuwd of ze hier het wel mee lukt.

Het plaatje laat 2 knopen zien die links hebben naar iedereen. Deze opzet schaalt wel bij 4 Machines.. maar bij honderden.....

[freaky]

P2P is leuk, maar wat als je data real-time moet repliceren? Het is niet echt leuk als je op 2 verschillende plaatsen tegelijk een wijziging in een file hebt als dat niet goed word afgevangen. Of je moet van corruptie houden.

[TGEN]

Andrew File System is ontwikkeld door een onderzoeksgroep van MIT hoor.

[ocf81]

Ok ,misschien een beetje krom, maar ik geloof dat er een analogie met RAID 5 getrokken kan worden. Elke node fungeert dan als het equivalent van een schijf. (of heb ik het nou verkeerdbegrepen?)

[SED]

Wat nu?
Ik lees nog nergens dat Linux dit al jaren heeft en dat het van oorsprong van Apple is.

Hoe zit dat?

[Verwijderd]

Echte clustered distributed filesystems bestaan al meer dan 2 decennia op Unix (AFS sinds 1983).
Voor Linux bestaat er al jaren uitgebreide keuze: o.a. OpenAFS, Coda, Lustre File System, ...

En schaalbaarheid loopt bij sommigen van deze op tot 1000den nodes.

MS cluster van 4 PC's is dus een lachertje, en ik vraag me af waarom vaporware van MS belicht wordt, ipv vandaag bruikbare technologie.

[Verwijderd]

Het xsan systeem lijkt hier heel veel op. www.apple.com/xsan .
Het systeem in het midden van de pagina lijkt me overigens wel wat.

[VisionMaster]

Klinkt als Microsoft meets Grid technology.

Maar goed ... de Scientific Computing Grid's zijn veelal geent op een hoop hele grote files en is nog verweg van een echt file system dat je kan mounten. Vooral ... omdat je in de Grid situatie over verschillende administratieve domeinen babbelt die mee doen aan grote experimenten/projecten.

Deze techniek van MS ziet er een heel stuk leuker uit. Vooral even lettend op het load-balancing algoritme. Dat lijkt me interessant.
Ik vraag me alleen af of dit nu een techniek is dat leuk is voor 1 groot cluster, of dat het eigenlijk ook de doelstelling is om interdomein te kunnen werken met respect voor local restricties en regels...?

[Verwijderd]

Op dit moment heeft Microsoft Boxwood draaien op een klein cluster van 4 pc's.

Goed begin hoor.....NOT.

Alhoewel het nog in kinderschoenen staat denk ik niet dat het moeilijk is om vier pc's te administreren voor hun schijfruimte. Ze zouden temniste 30 computers moeten nemen om te testen.

[glashio]

Doel je hier op ?
[moderatie]
* 786562 glashio[/moderatie]

[DrClaw]

Het lijkt hier weer, alsof Microsoft achter het paard aanhobbelt. Als groot nieuws wordt verkondigt dat microsoft weer met iets revolutionairs bezig is. Maar als je goed leest en een beetje verstand van de dingen die gezegd worden hebt, dan zie je dat hun project nog helemaal in de kinderschoenen staat.

Het is natuurlijk wel leuk dat ze ook met deze ontwikkelingen mee gaan doen. Concurrentie is een goede zaak. Ze zullen wel moet als het gaat om de uitbreiding van hotmail storage space bijvoorbeeld: elke grote email provider doet dat nu, en hotmail kan niet achterblijven.

Maar feit blijft wel, dat innovatie van anderen komt, en dan uiteindelijk het grootschalig uitbrengen van dergelijke applicaties van microsoft. Want 1 ding hebben ze wel onder de knie: marketing.