Studie: meer digitale informatie dan opslagruimte

Een onderzoek van IDC naar het 'digitale universum' wijst uit dat in 2011 maar de helft van de totale hoeveelheid geproduceerde data door consumenten en bedrijven daadwerkelijk wordt opgeslagen.

Volgens het onderzoek van IDC, gesponsord door opslagspecialist EMC, groeit het digitale universum - door het onderzoeksbureau omschreven als: informatie die is geproduceerd, opgeslagen of gekopieerd in digitale vorm - elke vijf jaar met een factor tien. IDC heeft becijferd dat in 2007 de omvang van dit universum 281 exabytes bedroeg en dat in 2011 deze is uitgegroeid tot bijna 1800 exabytes. In 2007 bedroeg de hoeveelheid data iets meer dan de beschikbare hoeveelheid opslag, maar in 2011 zal maar de helft van jaarlijkse dataproductie opgeslagen zijn.

De data-explosie is toe te schrijven aan een aantal factoren. Ten eerste zorgt de hogere resolutie van foto- en videocamera's en digitale tv voor meer behoefte aan opslagcapaciteit, terwijl ook luchtfoto's en satellietbeelden gedetailleerder worden. Consumenten delen ook vaker foto's en video met elkaar. Daarnaast groeit het aantal verschillende apparaten die data produceren.

Ook groeit de digitale 'voetafdruk' per persoon vanwege de informatie die óver personen worden opgeslagen of opgenomen zoals het geval is bij beveiligingscamera's, medische beelden en financiële gegevens, maar ook de zoekhistorie op internet en vluchtgegevens. Zo slaat de Cleveland Clinic per week gemiddeld 3TB aan röntgenfoto's op en is China voornemens om in 660 steden en 28000 kolenmijnen beveiligingscamera's te installeren.

Daar staat tegenover dat de opslagcapaciteit ook sneller groeit dan verwacht, onder andere door de behoefte aan het veilig stellen van persoonlijke informatie, zoals onvervangbare foto's. Daarnaast komen er meer mobiele apparaten met eigen opslag op de markt, die ook via netwerken data zullen verspreiden. De eigen digitale voetafdruk is overigens ook zelf te meten.

Reacties (40)

[Verwijderd]

Je moet wel onthouden dat heel veel van deze "Gecreerde" informatie helemaal niet echt het opslaan waard is. Er is heel veel "replicated data bij".

als nu op F5 druk creer ik nog een halve MB aan data, kijk een filmpje op youtube, nog 10mb aan data gemaakt. Download een DVD, 6gb data gemaakt.

[Klaus_1250]

Nog wel meer. Zodra je iets download word dat in allerlei logboeken/databses opgeslagen. Bij je ISP, bij YouTube, en afhankelijk waar de downloadlocatie zich bevindt, op nog een aantal plaatsen. Daarvan worden ook weer backups gemaakt.
Datamining haalt op zijn beurt ook weer allerlei data uit die gegevens, die opnieuw ergens worden opgeslagen, gebackupped en eventueel naar derde partijen worden gestuurd.

[Verwijderd]

Ik denk dat 10TB per seconde een onderschatting is. Zelf afkomstig uit de medische informatica heb ik drie zekenhuizen helpen overstappen naar digitale rontgen apparatuur. Als je ziet wat de nieuwste generatie scanners aan data kan versturen en hoe weinig compressie er daarin acceptabel is zal die 10TB al snel niet erg belachelijk lijken.

Recentelijk heb ik geholpen bij een bedrijf dat 12 high def TV studios had staan, 3 high def camera's in elk, dus 36 databronnen die enorme datastromen kunnen genereren (de ruwe beelden zijn veel onvangrijker dan de uitgezonden data). Zelfs met enorme investeringen was het op dit moment amper mogelijk om alle studios op volle snelheid te laten draaien. Backup is een nachtmerrie.

Data opslag is een absoluut probleem in veel bedrijfstakken. In mijn eigen bedrijf (nu games en simulatie) maken we een kleine 500 gb per dag, 7 dagen in de week, 256 dagen per jaar. Kost een vermogen om op te slaan en we weten dat backups niet geheel in orde zijn.

[miw]

Kinderspel vergeleken bij de hoeveelheid informatie die hoge energie experimenten genereren. Per botsing genereren de sensoren tientallen Megabytes aan informatie. Elke 25 nanoseconde vindt een dergelijke botsing plaats Dat is dus honderden GBytes/sec aan ruwe data die bekeken en/of opgeslagen dient te worden.

[El Cid]

Toch kun je je afvragen of de hoeveelheid informatie in de toekomst nog zo hard zal groeien. Er zijn natuurlijke bovengrenzen. Men is al bezig met de opvolger van HDTV. Maar de resolutie van het menselijk oog is natuurlijk ook niet oneindig. Net zoals het aantal frequenties dat je kan waarnemen met het oor.

[Klaus_1250]

Maar de resolutie van het menselijk oog is natuurlijk ook niet oneindig.

Dat word gecompenseerd door grotere beeldschermen :-) Veel beelden zijn eveneens nog in 24 - 25 fps en een verdubbeling daarvan is zeker zichtbaar. Ook hogere bitrates (e.g. minder compressie) leveren nog een verbetering van de kwaliteit op. Bovengrenzen zijn er, maar die hebben we nog lang niet bereikt. Misschien over 20 jaar.

Net zoals het aantal frequenties dat je kan waarnemen met het oor.

Waarnemen van geluid zit hem niet alleen in het oor en niet alleen in frequenties. Denk bv aan plaatsing van geluid.

[morten]

" Dat word gecompenseerd door grotere beeldschermen :-)"

Dat heeft ook zo zijn grenzen, op een gegeven moment loont een grotere monitor/t.v. zich niet meer. en nemen mensen genoegen met een kleiner beeldscherm/tv voor een lagere prijs..

" Bovengrenzen zijn er, maar die hebben we nog lang niet bereikt. Misschien over 20 jaar."

Technische grenzen misschien, maar in de huidige markt is er echt voorlopig geen behoefte te vinden aan hogere kwaliteit beeld dan 1080P.

" Waarnemen van geluid zit hem niet alleen in het oor en niet alleen in frequenties"
omdat geluid hier ook ter sprake komt: goed voorbeeld, hoe groot is de HD audio markt? veel mensen nemen genoegen met audio of mp3 kwaliteit geluid.

We kunnen gewoon stellen dat technische mogelijkheden hun grens nog niet bereikt hebben en dat dit waarschijnlijk ook niet snel gaat gebeuren - wellicht ook over 20 jaar nog niet - eenvoudigweg omdat hier ook een te kleine vraag naar is..

[Verwijderd]

Ik zie voor mij, een videomuur, in 3d, VR of Holo.

Dat vreeeeeeeeeet geheugen

[francisp]

Technische grenzen misschien, maar in de huidige markt is er echt voorlopig geen behoefte te vinden aan hogere kwaliteit beeld dan 1080P.

Behoeften worden gecreëerd door de fabrikanten die iets aanbieden. Toen de DVD uitkwam was er echt geen behoefte aan 1080p, iedereen was al blij met de hogere kwaliteit tov VHS. En als er nooits iets beter op de markt was verschenen had niemand de 'behoefte' gehad. Elementaire economie, sociologie en psychologie. De mens is in dat opzicht redelijk voorspelbaar.

Inspelen op een bestaande behoefte is één manier om een markt te creëren, een nieuwe behoefte creëren is een andere.

[Reactie gewijzigd door francisp op 26 juli 2024 19:25]

[Verwijderd]

Er zit aan bijna alles een limiet maar daar zitten we nog ver van. Tegen we grotere foto's hebben dan ons ogen kunnen zien, zijn we al lang cyborgs met ingeplante mechanische ogen.

[RagingR2]

Er zit misschien een limiet aan de resolutie van film- en fotobestanden voor wat betreft nog nuttig is, omdat je boven een bepaalde resolutie het verschil toch niet meer ziet.
Maar dat wil niet zeggen dat er een limiet zit aan de totale hoeveelheid data die we produceren. Het áántal foto´s en filmbestanden dat je produceert is toch virtueel oneindig? Mensen gaan bijv. steeds meer foto´s maken, en dat blijft voorlopig nog wel zo, dus als al die foto´s ook bewaard moeten blijven, dan neemt de totale hoeveelheid data tot in het einden der tijden toe.

En bijv. Excel- en Word-bestanden worden met elke volgende versie van Office ook steeds complexer en groter.
En zo kan ik nog wel een aantal zaken noemen die ervoor zorgen dat de hoeveelheid geproduceerde bestanden in principe oneindige door kan groeien. De enige vraag is wat is belangrijk genoeg om oneindig te bewaren.
Logbestanden, mail-databases, digitale archieven van bedrijven en overheidsinstanties, etc.

[Darude1234]

http://www.emc.com/digital_universe

Ongeveer 10 TB per seconde!! aan data die online gegenereerd wordt.
Niet zo raar dan dat er op een gegeven moment niet genoeg opslagruimte meer is.
De vraag is ook of de bezem er niet is doorheen gehaald moet worden. Er staat zoveel rotzooi op internet. Volgens mij kan er zo 30% van de data verwijderd worden waar niemand wat aan heeft.

[link0007]

Tja.. Wat is rotzooi?

Als ik oude info over Turbo Pascal (van 1990) moet zoeken, ben ik blij als ik het kan vinden.

Als je dat allemaal weg gaat pleuren maak je mensen boos.

[Darude1234]

Tja wat is rotzooi. Daar heeft iedereen natuurlijk een andere mening over, maar sowieso vallen daar bij mij alle websites onder die proberen om spyware of virussen te installeren en dat zijn er heel wat.

http://webwereld.nl/artic...ltaten-bevat-malware.html

[Klaus_1250]

Toch snap ik het niet helemaal. Opslag-capaciteit groeit met een factor 2 per 12 maanden met gelijkblijvende kosten. Er is dus niet zozeer een technisch probleem, maar meer het probleem dat er te weinig geld word uitgetrokken voor opslag.

Daarnaast vraag ik me af in hoeverre de data die word opgeslagen daadwerkelijk noodzakelijk is en hoe efficiënt deze word opgeslagen.

[miw]

Volgens de grafiek bij het nieuwsartikel, groeit het 'slechts' met een factor 1.5 per 18 maanden. Zowel HDD als CMOS geheugens (flash e.d.) goeien riuwweg volgens de wet van Moore (factor 2 per 18 maanden). Een kleine vertraging treedt op door het afschrijven van oudere opslag media. Toch is de schatting in de grafiek aan de lage kant.
Verder wordt de vraag (HDTV, HD camera's, webcam's) in belangrijke mate bepaald door wat kosteneffectief kan worden opgeslagen. Als de prijs maar laag genoeg is, zal er altijd wel een toepassing zijn die deze opslagcapaciteit zal gebruiken. Een tamelijk onzinnig onderzoek dus.

[Johnny]

Er staat nergens dat het een probleem is, voor veel informatie is er geen behoefte om het permanent op te slaan.

[alt-92]

EMC heeft daar uiteraard ook zo belangen bij zitten om die eigen digitale footprint te laten meten.
Gepast advies behoort zeker tot de mogelijkheden?

[bbob]

Als je goed leest is het logisch dat de vraag naar dataopslag zal toenemen. HD video vreet nogal wat gb's.

Het grappig is dat dit wetende dat de vraag naar opslag zal groeien de tijd van hdd's nog lang niet voorbij is. sdd's zijn een leuk alternatief voor kleine opslag maar voor veel gb's of tb's zijn hdd's nog steeds het enige snelle alternatief.

[Vaagharses]

De andere vraag is, is zoveel informatie nog wel informatie. Ik denk
dat we vrij snel op een punt komen waarbij het evenveel energie kost om een feit uit de opgeslagen data te extraheren als uit de werkelijkheid.

I

[Cobb]

Alle digitale content wordt toch opgeslagen? Als je geen ruimte meer hebt dan kun je het toch niet creëren of dupliceren?

[_Thanatos_]

Toen jij deze pagina downloadde, heb je em toen opgeslagen? Ja in je cache, maar hoelang blijft die houdbaar? Juist, iets van 30 minuten, of totdat je op F5 ramt.

Internetpagina's worden zelden permanent opgelagen. Kijk maar es hoeveel data dat bij elkaar is. Dan kom je er wel.

[Reactie gewijzigd door _Thanatos_ op 26 juli 2024 19:25]

[checkpointx]

Internet archief....

http://www.archive.org/

Ik kwam hier zelfs een oude pagina tegen die ik had gemaakt...
Ik denk zelf dat er veel meer wordt bewaard dan de meeste mensen zich realiseren..

[Patriot]

Het punt is denk ik een beetje dat elke keer als een internetpagina samengesteld wordt, hij in die zin opnieuw gecreëerd wordt. Dus elke keer als je een pagina bezoek wordt de informatie gecreëerd, maar deze is redelijk snel weer weg.

[pietje63]

Of als er per jaar 2x zoveel wordt gemaakt als er opslagruimte is dan kun je het gemiddeld een half jaar bewaren.

[Abom]

De vraag is natuurlijk: is alle digitale data relevant genoeg om op te slaan...Helaas voor EMC, waarschijnlijk niet.

[thegve]

De titel van het bericht is dan ook 'Meer digitale informatie dan opslagruimte', dat geeft al aan dat er meer informatie geproduceerd word dan er opgeslagen kan worden.

[Verwijderd]

Bijna:

Exabyte = 1000 PB
Petabyte = 1000 TB
Terabyte = 1000 GB

281 Exabyte = 281.000.000.000 GB (281 miljard)

[Reactie gewijzigd door Verwijderd op 26 juli 2024 19:25]