NASA beheert 1,8 Petabyte aan gegevens met AMASS

Het Duitse ComputerPartner maakt melding van het feit dat de Amerikaanse ruimtevaartorganisatie NASA in het Earth Observing System Data and Information System (EOSDIS) project al meer dan 1,8 Petabyte aan gegevens over de aarde heeft verzameld. Dagelijks groeit deze enorme hoeveelheid aan gegevens verder aan met drie Terabyte doordat satellieten nog steeds informatie doorsturen. Twee Terabyte aan gegevens wordt dagelijks verstuurd en gebruikt door onderzoekers over de hele wereld.

Om dit alles goed te laten werken wordt er gebruik gemaakt van een totaaloplossing van het Amerikaanse bedrijf ADIC. Deze oplossing omvat zowel de software om de data toegankelijk te maken voor de gebruikers als de hardware om alles goed te laten draaien. De software die gebruikt wordt heet AMASS en draait in een Unix-omgeving. De gegevens worden opgeslagen op harde schijven, die als cache fungeren, en op tape. Dit alles dient ervoor om de reactietijd zo laag mogelijk te houden. De hardware waar dit alles in draait staat in vier verschillende datacenters. AMASS brengt alle gegevens uiteindelijk weer bij elkaar en maakt de data toegankelijk voor de gebruikers:

Tape-Libraries gelten als sogenannter "Off-line"-Speicher. AMASS für Unix erlaubt einen direkten Zugriff auf die Informationen und macht sie verfügbar, als wären sie auf einem Online-Massenspeicher, wie zum Beispiel einem Festplattensystem abgelegt. Die ADIC-Software ermöglicht es Anwendern, Administratoren und Applikationen, Terabyte beziehungsweise Petabyte von Daten zu archivieren. Mit AMASS präsentieren sich automatisierte Tape- oder DVD-Libraries wie ein Standard Unix File-System, das aus Verzeichnissen und Dateien besteht. Die Software kann eine unbegrenzte Anzahl an Files managen.

AMASS geeft toegang tot enorme hoeveelheden data.

Reacties (91)

[LauPro]

Moet je maar is gaan zoeken op die site, ze flikken het gewoon om je satalietfoto's te laten downloaden van ~1 GB .

En dan moet je je ook bedenken dat er nog veel grotere foto's bestaan, ik heb geloof ik een foto van ruim 16 GB (!) zien staan, was er dan wel een waar je al vrij goed dorpjes op kon zien .

Je moet die foto's overigens wel van tevoren aanvragen en dan krijg je de link via e-mail. De download verder komt niet onder de 200 KB/sec, 't mag wat kosten .

edit: wat linkjes
http://visibleearth.nasa.gov/

Foto van Nederland nodig? http://visibleearth.nasa.gov/cgi-bin/viewrecord?986

Nog wat bestanden:
ftp://visibleearth.nasa.gov/pub/EARTHVIZ/ * Klik * * Klik *

PS: de standaard Windows Viewer gaat bij een file van 1 GB over z'n nek

[Major 7]

Hm ik heb er hier eentje van de aarde, zo'n welbekende bol, van meer dan 40 MB, daar zie je echt nog niets van menselijke oorsprong. Maar er staan ook wel veel wolken op de foto.

BTW toen ik dat las 1,8 PB, dacht ik: dat is nou VET!

[jonggoud.nl]

Ik gebruik zelf vaak http://earth.jsc.nasa.gov/, het is iets spartaanser maar ook een stuk uitgebreider kwa zoekmogelijkheden

[Arx]

Doe ons eens een link! Dat willen wij wel eens even zien

[Anoniem: 81228]

Op zich is deze site wel een alternatief voor desktopbabes.com e.d....Wel weer wat anders.

Maar ik kan geen GB files vinden, 6 MB en zo wel, en de ftp is ook niet open.

[Wolfboy]

Volgens mij zijn dat vids, hier namelijk een 220mb vidje van de aarde.
http://visibleearth.nasa.gov/cgi-bin/viewrecord?11664

[vegterb]

Damn... Da's een opslag.
Ik vraag me af wat voor opslag methode die gebruiken. Misschien gewoon ontzettend veel oplsagservers. Met het gevaar dat dat ontploft. Back-up mogelijk? Zou best informatie hierover willen hebben. 1,8 Peta. is dat niet 1.800.000 GB? Of zouden ze state-of-the-art opslag hebben. Schijf van 500 Terabyte?

Offtopic:
1,8 Petabyte opslag
-sniff- dat zou mooi zijn op een LAN-Party

[fmb]

1,8 Peta. is dat niet 1.800.000 GB?

Ff gegoogled, vond het volgende antwoord:
1 petabyte = 1.024 terabytes = 1.048.576 gigabyte

Dus je hebt ongeveer gelijk (1.887.438,8 GB om precies te zijn).
Bron:
http://pt3.hunter.cuny.edu/tutorials/computer_basic/memory.htm

[vegterb]

Ik Google
Jij Googled
Hij Googled
Wij Googlen
Wij hebben GeGoogled

[Proxy]

Je zeg bijvoorbeeld ook "jij racet", niet "jij racedt"...

Je zeg

[Anoniem: 68106]

Volgens mij is het:

Jij googlet
Hij googlet

[Arx]

Goed dat je al reageert....

Dat je reageert op spelfouten.... Zucht....

Maar als je dan ook nog zecht met een T ipv DT....Super Zucht

[Anoniem: 63628]

Goed dat je al reageert....

Dat je reageert op spelfouten.... Zucht....

Maar als je dan ook nog zecht met een CH ipv G....Super Zucht nr 2.

[enchion]

De g,l,e staan niet in t`kofschip dus wel met een D

[Tonton]

he grapjas, dat geldt alleen voor voltooid deelwoord

(reactie op enchion)

[Anoniem: 68106]

Maar als je dan ook nog zecht met een T ipv DT....Super Zucht

Right... volgens welke regel dan? Het is gewoon "jij googlet", ik zie geen enkele reden om er ook een "d" bij te doen... het is een van oorsprong engels woord, en dan zet je er gewoon een "t" achter, geen "dt". Je zeg bijvoorbeeld ook "jij racet", niet "jij racedt"...

[edit]: Overbodig? De kwaliteit van de spelling hier op tweakers.net is zo laag dat iemand vertellen hoe die iets moet spellen absoluut niet overbodig is...

[Anoniem: 36866]

Jullie hebben het allemaal fout want het bestaat niet (nog niet tenminste) in de nederlandse taal.

[Exigence]

Jij Googlet
Hij Googlet
edit:whoops, te laat, ik had het filter op +1 staan

[Anoniem: 47182]

dussssss

[VisionMaster]

Heel veel disken, heel veel tapes, That's The Key.

iaw, je maakt een viertal gebouwen een beetje stevig, je pleurt er een aantal machinetjes in een hoekje met een smak aan RAID-clusters.
Je clusterd deze machinetjes als je cache geheugen ( )
Je clustert achter deze cache structuur een aantal tape-robots. Deze zorgen voor de erg grote opslag.

En je heb veel plezier in je opslag leven.

[berzelius]

Niks geen tapes! Gewoon een tweede server, dat is goedkoper en sneller bij die hoeveelheden

[VisionMaster]

ik ben een beetje laat met de reactie, maar niks geen tapes slaat nergens op
Tapes in een tape robot maakt de opslag enorm veel goedkoper.

[BamSlam_]

Ik vraag me af wat voor opslag methode die gebruiken.

Als je nou eens even het artikel leest voordat je een fipo probeert te plaatsen:
De gegevens worden opgeslagen op harde schijven, die als cache fungeren, en op tape. Dit alles dient ervoor om de reactietijd zo laag mogelijk te houden. De hardware waar dit alles in draait staat in vier verschillende datacenters.

[Miletos]

Nu ben ik HEEL benieuwd waar die data uit bestaat. Niet uit documenten natuurlijk.

Gigantische foto's?
Gigantische textlogs met metingen?

En waarvoor wou je die data dan gebruiken? Om te extrapoleren voor simulaties ofzo? Wat voor MONSTERLIJKE software hebben ze dan wel niet die dit soort data kan verwerken voor zulke doeleinden???

[typhon]

Denk aan hubble foto's, al snel zo'n 200 stuks. Resoluties? ik denk wel zeker 100 Megapixels ofzo.... Dan heb je wel een plaatje van +10 gig... En je kunt best 1.8 petabyte volproppen. Als je bijvoorbeeld een satteliet telkens om de 10 seconden foto's laat maken vaan 1 GB en die je gewoon opslaat denk ik dat je het nog wel een keer vol krijgt....

Ik heb meer bewondering voor hoe ze dat opslaan er ordenen. Al die bestandsnamen en dir's. Je moet iets te grootte van het internet beheren en alles ook nog vindbaar maken...Sjees wat een werk voor een organisatie...En al die HD's en Tape's...pfff

[memphis]

Familieportretten van marsmannetjes

Maar sjesus, je zou kunnen zeggen dat je met zo'n opslagcapacteit het internet kan backuppen.

[Epsilon]

Op zich is 1.8 peta byte dan nog niet eens zoveel

open kazaa, en dan heb je acces tot een 7 peta byte aan data (6.668.928GB terwijl ik kijk)

veel data die elkaar overlapt natuurlijk, maar dat is bij NASA ook het geval.

[VisionMaster]

Ik ben eigenlijk geinteresseerd in hou die data met 3 TB per dag daarnaartoe wordt gepompd?

Glasvezeltje zou je zeggen, twee zou je zeggen... Maar ... je moet het toch ergens naar toe gooien.
En glasvezeltje van hier naar amerika moet toch via een hele hoop banen gaan om uiteindelijk in Duitsland te komen.
Er is gewoon geen directe link via glas van de USA naar Duitsland.

Ik zou nu zelfs verwachten dat het direct van de satelieten af komt, wat wel zou kunnen, al heb ik dan toch zo'n vermoeden dat 3 TB ook voor die krengen best veel is

[The Evil Brain]

Ehm... wie zegt dat het naar Duitsland gaat, al die informatie? Er staat alleen dat het door een Duits blad is gepubliceerd, en door een Amerikaans bedrijf wordt gehost.

En ik denk inderdaad dat het direct van de satelliet af komt ja...

[Anoniem: 18161]

Heeft iemand enig idee hoe je aan een file viewer komt die dit soort plaatjes kan opknippen in kleinere vierkantjes ofzo?

want het lijkt me leuk om zo'n foto-tje te bekijken, maar om nou een pc met 2 gig ram ervoor aan te schaffen, zelfs dan wordt het nog een onmogelijke zaak denk ik...

[MicroWhale]

valt wel mee...

dat zal gespecialiseerde sofware zijn. Die maakt dan eerst thumbnails van resp. 0,5, 1, 4, 16 mp. ofzo van -delen- van de foto en daarna wordt elk deel pas geladen als het nodig is. Tiles dus, anders is het niet te doen.

[THC]

Reactie op enchion:

Je hebt waarschijnlijk een veroudert binas ofzo.

Volgens Binas 4e druk:

Tabel 2 Vermenigvuldiginsfactoren: (ik sla wat over)
Tera = 10^12 (T)
Peta = 10^15 (P)
Exa = 10^18 (E)
Zetta = 10^21 (Z)
En dan zelfs
Yotta = 10^24 (Y)

We hebben nog even te gaan, en als onze processoren een paar YHz zijn, dan zijn er altijd nog genoeg letters in het griekse alfabet.

[Anoniem: 81228]

Rond die tijd schrijven we in unicode

[Blue_man]

Nog effe en ze komen aan mijn pc
ik heb hiero nog een siteje waar je allerlei geg over de aarde kan nalezen, mss al bekend, maar goed genoeg om heroepen te worden;-)
http://www.osearth.com/resources/worldometers/worldcrew.shtml

[zork]

http://gathering.tweakers.net/forum/list_messages/726635

Kijk hier eens

[Blorgg]

Reactie op KMile.

Veel van de bestanden die op de boven genoemde ftp server staan kan je openen met ER viewer. Als je er bewerkingen op uit wilt gaan voeren moet je toch al snel een professioneel pakket als ARCview gebruiken. Overigens vallen de systeem eisen voor het bewerken van deze beelden erg mee. Een pII 350 met 128MB en voldoende swap ruimte kan er al redelijk mee omgaan. De bottleneck is dan welliswaar de HD, maar het zal niet ondoenlijk traag zijn. En GB's ram heb je al zeker niet nodig

De satelliet beelden die je de laatste tijd op het nieuws ziet, kun je bv heel erg gemakkelijk maken met de nieuwste versie van ARCview. Dr zijn nu een paar slimme jongens die met slechts enkele uurtjes werk bakken met geld verdienen aan die beelden

[aKra]

Dat wordt zoeken als je een stukje text zoekt tussen die 2 Petabyte

[FireStarter]

FF met Speeddisk het zaakje defrafmenteren.

Tegen die tijd zijn we zelfs President Bush vergeten .

[Mon]

speeddisk ? defragmenteren ?
nofi uiteraard, maar daarom draait het dus NIET op een MS OS. Voor zover ik wat weet van *nix filesystems, werken die een stuk beter dan FAT/NTFS of noem maar op.

[blobber]

Nog nooit van smilies gehoord zeker?

[_Thanatos_]

Ik denk eerder omdat dat soort server vaker met een RISC processor geleverd worden, zodat windows er niet eens op kan.

Als je een x86 in zo'n ding kan prikken, is win2k Datacenter een hele goeie optie. Alleen de een vindt dan unix nog steeds beter en de ander heeft liever win2k.

[Anoniem: 24471]

uhm je vergeet een nog belangerijker punt dan fat/ntfs of ext partities

misschien dat de opslag medium optical disks en tapes zijn (kijk maar op het plaatje)
welke dus niet gedefragmenteerd worden

[Mon]

Ik gebruik over het algemeen teveel smilies, maar ontopic.
ik was eigenlijk heel serieus, ik heb zelf linux met ext3. deze gebruikt journaling (zijn wel andere en betere journaling FS's maar ok) ik kan het denk ik niet goed uitleggen maar het is gewoon een feit dat grote servers, en 1,8 petabyte vind ik best groot, altijd op een non-MS besturingssysteem draaien voor meer snelheid, betrouwbaarheid, schaalbaarheid enz. ik zie microsoft nog geen 1,8 petabyte aansturen...
again no flames intended, ik zit nu gewoon in win xp

[Anoniem: 47182]

[ctrl] + [f]