MySQL wil mondiale p2p-database opzetten

Databasemaker MySQL heeft het plan opgevat om een wereldwijde gedistribueerde database op te zetten, zo heeft het bedrijf gisteren op de Web 2.0-conferentie in San Francisco laten weten. De gigantische database moet ontwikkelaars en ondernemers van gestructureerde data voorzien, op een manier die vergelijkbaar is met Google's aanbod van ongestructureerde gegevens. Bij toepassingen kan bijvoorbeeld gedacht worden aan het toegankelijk maken van alle databases van weersgegevens, vertelde MySQL-voorman Marten Mickos. Zijn bedrijf wil een geüniformeerde manier bieden om die gegevens te combineren en te analyseren. Daarbij zou de MySQL-dienst als een soort DNS-server fungeren, terwijl de feitelijke data via een peer-to-peermodel geleverd moet worden.

Gegevens voor de mondiale database zouden in een opensourcemodel vergaard moeten worden. 'De data wordt het platform', profeteerde Mickos, die nog wel een paar kleine drempeltjes voor zijn plan zag: bestaande dataleveranciers zouden hun gegevens gratis beschikbaar moeten maken, en ook de software zou door de opensourcegemeenschap gebouwd moeten worden. Het plan zal ongetwijfeld worden besproken tijdens het MySQL-kamp, dat vandaag nota bene in het Google-hoofdkwartier van start is gegaan.

Reacties (24)

[GH45T]

Ik denk dat een vergelijking met Wikipedia beter past.

maar dan decentraal opgeslagen. Ik vraag me echter wel af hoe ze dit willen gaan realiseren. Moet de data naar alle nodes door worden gestuurd of krijgt iedere node een apart stukje database.

Maar ja, het staat nog in de beginfase dus we zien wel.

[smokalot]

idd net wikipedia, maar nog een belangrijk verschil is dat het zo gestructureerd is dat je het volledig automatisch kan verwerken.

[Darude1234]

Ik denk dat ze ook weer ruzie krijgen met verschillende bedrijven en doodgewone burgers die gaan zeiken over hun privacy e.d. Een beetje hetzelfde idee als dat nu bij Google speelt, dat ze gewoon alle informatie van de wereld proberen te verkrijgen.

[benoni]

Het één sluit het ander niet uit. Stel dat je privacy-gevoelige informatie in de database zou willen bewaren, dan zou je dit op persoonlijk niveau kunnen encrypten. Als op de servers een veilig decryptie/toegangsprotocol draait dat aan derden door middel van authenticatie aan de hand van je persoonlijke toegangscontrolelijst de gegevens leesbaar of bewerkbaar kan maken, dan werkt dat prima. Bijvoorbeeld: je zou kunnen instellen dat onbekenden niet mogen rondsnuffelen in je software library, maar wel je collega's, en bepaalde zoekmachines.

[benoni]

Mmm... als zo'n database goed werkt voorzie ik juist anti-spam protocollen die daar gebruik van maken. Stel: je contacten hebben een private key waardoor ze bij je gegevens kunnen, en via een contract met de Nederlandse overheid hebben ook alle belangrijke instanties toegang tot je persoonlijke database-gegevens. Dan zou men een protocol kunnen ontwerpen dat bij het verzenden van e-mail automatisch een poging wordt gedaan om uit het beveiligde databaserecord van de ontvanger een controle-code op te vissen. Als dat lukt wordt die code boven de mail gezet. Bij het ophalen van de mail kan je computer controleren op deze codes en daarmee de mail uitsorteren

[Darude1234]

Ja dat op zich wel, maar denk eens aan spammers die op die manier heel makkelijk een niet encrypted database kunnen opzetten om zo over de hele wereld op eenvoudige wijze aan addressen te komen.

[SirBlade]

Gaan ze alleen databases opnemen die voor iedereen nuttig zijn? Als ik bv MBM iedere 5 seconden de waardes van alle sensoren van mijn hele serverpark naar een database laat schrijven voor statistieken en trendanalyse. Mag ik die enorme hoeveeldata ook op die p2p-database neerzetten?

Zijn die databases vrij te bewerken door iedereen? Wikipedia van onjuiste info voorzien kost tijd en moeite aangezien je zelf zal moeten typen als je niet wil dat alles er onzinnig uitziet. Een database kan je echter makkelijk met een scripte bewerken.

[smokalot]

wikipedia is ook te scripten, is gewoon http allemaal hoor. Er bestaat zelfs een wikipediafs!

op zich is dit niet zoveel anders dan wikipedia, of voor mijn part het internet als geheel. Ik kan me voorstellen dat voor het internet bestond, er mensen zich hetzelfde afvroegen: "mag ik daar dan ook mijn collectie fotos van pleeborstels op zetten?" en het antwoord is ja, sure, why not. Er is niemand die er last van heeft ofzo!

[-Lars-]

Ik ken het project wikipediafs niet, maar ik kan me voorstellen dat de performance niet kan opwegen tegen een goed relationeel databasesysteem.

Het is ongeveer hetzelfde als xml-bestanden gebruiken als database. Het kan, het werkt, maar het is niet netjes en traag...

[woutertjez]

MySQL is nog niet eens een relationeel databasesysteem. Dus die relaties zullen allemaal met de scriptingtaal worden aangelegd. Dus misschien nog niet eens zoveel sneller.

[Onbekend]

Ik maak uit het bericht op dat je via P2P data shared.
Net zoals KaZaA heeft jouw computer gegevens die anderen kunnen downloaden.

De gegevensstroom is dus afhankelijk van de upload en download snelheid van de zendende en ontvangende computer.

[-Lars-]

Dat zou er in ieder geval voor zorgen dat het erg oninteressant wordt. Ik neem dus aan van niet.

Het is wel interessant als het tabellen bevat met postcode-informatie, om bijvoorbeeld de korste route van A naar B te zoeken. Of tabellen met inwoneraantallen van alle landen, zodat je eenvoudig een query kunt schrijven die daar gebruik van maakt. Dergelijke tabellen staan nu bijvoorbeeld verspreid over Wikipedia, maar zouden in een relationele database beter tot hun recht komen, natuurlijk.

Probleem is echter: welk commercieel bedrijf zou zulke postcode-informatie vrij verstrekken, zodat hun eigen product nutteloos wordt?

[Rex]

Die postcodes zijn toch vrij beschikbaar? Ik heb ergens een MySQL tabel met daarin al de data. Desnoods zet ik het erop! (Zo denk ik ook dat wat ik net zei ook geldt voor andere soort data... Als mensen gewoon interessante data hebben, dan zouden ze het van mij ook op de p2p db mogen zetten.)

[-Lars-]

Ik bedoelde postcode-zut zoals beschreven in dit topic.

Van de onbetaalde tabellen die nu circuleren is het overgrote deel al weer verouderd, bovendien is de vraag of de tabellen (oorspronkelijk) wel legaal zijn verkregen. Niet bepaald iets om je producten van te laten afhangen als bedrijf, dacht ik zo . Een vrij alternatief zoals in het nieuwsbericht zou een oplossing kunnen zijn, of betalen natuurlijk...

[Heidistein]

Ja, al die gegevens mag je er in stoppen. Tenminste, zo snap ik het.
Ik dnek alleen niet dat het ver geshared zal worden. Ik vermoed dat het een soort freenet wordt waarin dus opgevraagde gegevens via deze nodes verzonden worden, meer dus niet.
Dus jou statjes van je parkje zal allen op jou p2p-sql dbtje komen te staan. Mischien minstens naar jou neighbours worden gereplicate.
Maar das just my 8 cents, of tenminste mijn idee van implementatie.

[TheekAzzaBreek]

Ik vind het een mooi idee.

Napster deed me destijds al over zo'n soort database nadenken, en het had er al wat trekken van. Het was zelforganiserend, wereldwijd cluster van 'databases', er zat vraaggestuurde replicatie in, het begin was er al. Als je daar een transactiemodel en een mechanisme om data als verouderd aan te merken aan toevoegt ben je al een heel eind.
Dat laatste lijkt me nog het lastigste, trouwens. Hoe bepaal je welke bron leidend is, en hoe distribueer je update signalen?

[benoni]

Hoe bepaal je welke bron leidend is, en hoe distribueer je update signalen?

Het lijkt me voor de hand liggend om de database net zoals bij DNS min of meer geografisch of staatkundig op te delen, met een top-down structuur die je vanaf de root-servers naar de 'master' server voor een bepaald record leidt. En voor zoekqueries kunnen traffic servers op de verschillende niveaus cachen en onderling uitwisselen...

[FSVZ]

"SELECT * FROM 'all connected p2p-databases'";

This query took: 8092349823.032 seconds

hmm... zie er eigenlijk het nut niet zo van in

[humbug]

Ik dacht meer aan DELETE * FROM "all tables"

Ben benieuwd hoe ze dat willen tegenhouden

[Verwijderd]

uiteraard met de nodige timeouts

[Onbekend]

Je zegt wel grappig dat het 8092349823.032 seconden duurt, maar dan komt dat wel uit op 256 jaar.

Ik hoop dan maar dat er een zeer goed ( en snel) zoeksysteem gebruikt kan worden. De hoeveelheid data die dan wordt aangeboden zal enorm veel zijn. Misschien moet data wel geïndexeerd en/of gesorteerd zijn voordat het aan het zoekalgoritme wordt aangeboden.

[FunzoneQ!]

SELECT weergegevens, geboortecijfers
FROM weergegevens w
LEFT JOIN geboortecijfers g ON g.tijdstip=w.tijdstip
WHERE land = 'NL' AND
TIME BETWEEN '1-1-2000' AND '1-1-2006';

Makkelijk wetenschappelijk onderzoek zeg

[Verwijderd]

Ik vind het een possitief initiatief. Al hoewel ik voor ben om gelijk te kiezen voor een hybrid-model.
Een mysql database zoals we ze nu kennen, en een p2p-database. Het 1e model kan als een fail-safe/master database functioneren. Ook om een snele results te garanderen. Ik wil niet een dag wachten op een result.
FYI: een apache p2p bestaat al, nederlandse universiteit. (mss een soort van merge?) Maar hoe zorg je ervoor in een p2p-omgeving dat de databases niet corrupt raken en consiqnent blijven?