Hoofdcategorieën
Device Settings

NASA beheert 1,8 Petabyte aan gegevens met AMASS

Door Harm Hilvers, woensdag 19 maart 2003 17:19
Bron: ComputerPartner, submitter: ac41964, views: 1.917

Het Duitse ComputerPartner maakt melding van het feit dat de Amerikaanse ruimtevaartorganisatie NASA in het Earth Observing System Data and Information System (EOSDIS) project al meer dan 1,8 Petabyte aan gegevens over de aarde heeft verzameld. Dagelijks groeit deze enorme hoeveelheid aan gegevens verder aan met drie Terabyte doordat satellieten nog steeds informatie doorsturen. Twee Terabyte aan gegevens wordt dagelijks verstuurd en gebruikt door onderzoekers over de hele wereld.

Om dit alles goed te laten werken wordt er gebruik gemaakt van een totaaloplossing van het Amerikaanse bedrijf ADIC. Deze oplossing omvat zowel de software om de data toegankelijk te maken voor de gebruikers als de hardware om alles goed te laten draaien. De software die gebruikt wordt heet AMASS en draait in een Unix-omgeving. De gegevens worden opgeslagen op harde schijven, die als cache fungeren, en op tape. Dit alles dient ervoor om de reactietijd zo laag mogelijk te houden. De hardware waar dit alles in draait staat in vier verschillende datacenters. AMASS brengt alle gegevens uiteindelijk weer bij elkaar en maakt de data toegankelijk voor de gebruikers:

Tape-Libraries gelten als sogenannter "Off-line"-Speicher. AMASS für Unix erlaubt einen direkten Zugriff auf die Informationen und macht sie verfügbar, als wären sie auf einem Online-Massenspeicher, wie zum Beispiel einem Festplattensystem abgelegt. Die ADIC-Software ermöglicht es Anwendern, Administratoren und Applikationen, Terabyte beziehungsweise Petabyte von Daten zu archivieren. Mit AMASS präsentieren sich automatisierte Tape- oder DVD-Libraries wie ein Standard Unix File-System, das aus Verzeichnissen und Dateien besteht. Die Software kann eine unbegrenzte Anzahl an Files managen.
Storage management
AMASS geeft toegang tot enorme hoeveelheden data.
Volgende 17:27 VIA Epia-M10000 Mini-ITX moederbordreview
Vorige 16:33 THG onderzoekt dode pixel garanties LCD-fabrikanten
Advertentie

Reacties

«  1  2  3  4  5  »

Dat wordt zoeken als je een stukje text zoekt tussen die 2 Petabyte :+

FF met Speeddisk het zaakje defrafmenteren.

Tegen die tijd zijn we zelfs President Bush vergeten }> .

speeddisk ? defragmenteren ?
nofi uiteraard, maar daarom draait het dus NIET op een MS OS. Voor zover ik wat weet van *nix filesystems, werken die een stuk beter dan FAT/NTFS of noem maar op.

Nog nooit van smilies gehoord zeker? :z

Ik gebruik over het algemeen teveel smilies, maar ontopic.
ik was eigenlijk heel serieus, ik heb zelf linux met ext3. deze gebruikt journaling (zijn wel andere en betere journaling FS's maar ok) ik kan het denk ik niet goed uitleggen maar het is gewoon een feit dat grote servers, en 1,8 petabyte vind ik best groot, altijd op een non-MS besturingssysteem draaien voor meer snelheid, betrouwbaarheid, schaalbaarheid enz. ik zie microsoft nog geen 1,8 petabyte aansturen...
again no flames intended, ik zit nu gewoon in win xp :)

Ik denk eerder omdat dat soort server vaker met een RISC processor geleverd worden, zodat windows er niet eens op kan.

Als je een x86 in zo'n ding kan prikken, is win2k Datacenter een hele goeie optie. Alleen de een vindt dan unix nog steeds beter en de ander heeft liever win2k.

uhm je vergeet een nog belangerijker punt dan fat/ntfs of ext partities

misschien dat de opslag medium optical disks en tapes zijn (kijk maar op het plaatje)
welke dus niet gedefragmenteerd worden


Vraag:
maar begrijp ik nou dat er 3 terabyte aan gegevens per dag bij komt?
Antwoord: Dagelijks groeit deze enorme hoeveelheid aan gegevens verder aan met drie Terabyte...

Dus ja, dat lijkt me correct... :P


Dat zeiden ze 10 jaar gelden ook over 1GB ;)
En over 10 jaar is die paar petabyte ook niks meer.

Damn... Da's een opslag.
Ik vraag me af wat voor opslag methode die gebruiken. Misschien gewoon ontzettend veel oplsagservers. Met het gevaar dat dat ontploft. Back-up mogelijk? Zou best informatie hierover willen hebben. 1,8 Peta. is dat niet 1.800.000 GB? Of zouden ze state-of-the-art opslag hebben. Schijf van 500 Terabyte?

Offtopic:
1,8 Petabyte opslag
-sniff- dat zou mooi zijn op een LAN-Party

1,8 Peta. is dat niet 1.800.000 GB?
Ff gegoogled, vond het volgende antwoord:
1 petabyte = 1.024 terabytes = 1.048.576 gigabyte

Dus je hebt ongeveer gelijk (1.887.438,8 GB om precies te zijn).
Bron:
http://pt3.hunter.cuny.edu/tutorials/computer_basic/memory.htm

Ik Google
Jij Googled
Hij Googled
Wij Googlen
Wij hebben GeGoogled

Volgens mij is het:

Jij googlet
Hij googlet

:)

Goed dat je al reageert....

Dat je reageert op spelfouten.... Zucht....

Maar als je dan ook nog zecht met een T ipv DT....Super Zucht ;)

Goed dat je al reageert....

Dat je reageert op spelfouten.... Zucht....

Maar als je dan ook nog zecht met een CH ipv G....Super Zucht nr 2. ;)

De g,l,e staan niet in t`kofschip dus wel met een D

he grapjas, dat geldt alleen voor voltooid deelwoord

(reactie op enchion)

Maar als je dan ook nog zecht met een T ipv DT....Super Zucht
Right... volgens welke regel dan? :? Het is gewoon "jij googlet", ik zie geen enkele reden om er ook een "d" bij te doen... het is een van oorsprong engels woord, en dan zet je er gewoon een "t" achter, geen "dt". Je zeg bijvoorbeeld ook "jij racet", niet "jij racedt"...

[edit]: Overbodig? De kwaliteit van de spelling hier op tweakers.net is zo laag dat iemand vertellen hoe die iets moet spellen absoluut niet overbodig is...

Jullie hebben het allemaal fout want het bestaat niet (nog niet tenminste) in de nederlandse taal.

Jij Googlet
Hij Googlet :z
edit:whoops, te laat, ik had het filter op +1 staan |:(

Je zeg bijvoorbeeld ook "jij racet", niet "jij racedt"...

Je zeg :?

Heel veel disken, heel veel tapes, That's The Key.

iaw, je maakt een viertal gebouwen een beetje stevig, je pleurt er een aantal machinetjes in een hoekje met een smak aan RAID-clusters.
Je clusterd deze machinetjes als je cache geheugen ( :P )
Je clustert achter deze cache structuur een aantal tape-robots. Deze zorgen voor de erg grote opslag.

En je heb veel plezier in je opslag leven.

Niks geen tapes! Gewoon een tweede server, dat is goedkoper en sneller bij die hoeveelheden ;)

ik ben een beetje laat met de reactie, maar niks geen tapes slaat nergens op :(
Tapes in een tape robot maakt de opslag enorm veel goedkoper.

Ik vraag me af wat voor opslag methode die gebruiken.

Als je nou eens even het artikel leest voordat je een fipo probeert te plaatsen:
De gegevens worden opgeslagen op harde schijven, die als cache fungeren, en op tape. Dit alles dient ervoor om de reactietijd zo laag mogelijk te houden. De hardware waar dit alles in draait staat in vier verschillende datacenters.

zouden ze op een Chello lijntje zitten :P
FAir use policy

Doe eens niet zo gek...

Da's gewoon PowerADSL!! :D

het zal nog wel even duren voor ze de yottabyte bereikt hebben :)

En na Yotta...
ZetaBytes was het toch? Vraag me af wat ze daarna voor belachelijke namen gaan verzinnen.

Raak je wel aan gewend... net zoals Kilo, Mega, Giga, Tera....

ff het rijtje:
gigabyte - terabyte - petabyte - exabyte - zettabyte - yottabyte

Nou nog de zotte bytes :D

ff het rijtje:
gigabyte - terabyte - petabyte - exabyte - zettabyte - yottabyte
What comes after yotta?
Hint: It's decimal name is nonillion.......

Overbodig, maar ik wilde het ff gezegd hebben.

Nu ben ik HEEL benieuwd waar die data uit bestaat. Niet uit documenten natuurlijk.

Gigantische foto's?
Gigantische textlogs met metingen?

En waarvoor wou je die data dan gebruiken? Om te extrapoleren voor simulaties ofzo? Wat voor MONSTERLIJKE software hebben ze dan wel niet die dit soort data kan verwerken voor zulke doeleinden???

Familieportretten van marsmannetjes :P

Maar sjesus, je zou kunnen zeggen dat je met zo'n opslagcapacteit het internet kan backuppen.

Op zich is 1.8 peta byte dan nog niet eens zoveel

open kazaa, en dan heb je acces tot een 7 peta byte aan data (6.668.928GB terwijl ik kijk)

veel data die elkaar overlapt natuurlijk, maar dat is bij NASA ook het geval.

Denk aan hubble foto's, al snel zo'n 200 stuks. Resoluties? ik denk wel zeker 100 Megapixels ofzo.... Dan heb je wel een plaatje van +10 gig... En je kunt best 1.8 petabyte volproppen. Als je bijvoorbeeld een satteliet telkens om de 10 seconden foto's laat maken vaan 1 GB en die je gewoon opslaat denk ik dat je het nog wel een keer vol krijgt....

Ik heb meer bewondering voor hoe ze dat opslaan er ordenen. Al die bestandsnamen en dir's. Je moet iets te grootte van het internet beheren en alles ook nog vindbaar maken...Sjees wat een werk voor een organisatie...En al die HD's en Tape's...pfff
«  1  2  3  4  5  »

Op dit item kan niet meer gereageerd worden.

Volgende 17:27 VIA Epia-M10000 Mini-ITX moederbordreview
Vorige 16:33 THG onderzoekt dode pixel garanties LCD-fabrikanten
VNU Media logo Hosted by True

© 1998 - 2012 Tweakers.net B.V. - Alle rechten voorbehouden - Contact - Jouw privacy - Algemene Voorwaarden

Uitgever van:

Website van het jaar 2011