Amazon meldt sterke groei van data op S3-cloudopslag

Amazon meldt dat zijn onlineopslagplatform S3 in het afgelopen jaar een aanzienlijke groei heeft doorgemaakt. Het aantal opgeslagen bestanden op S3, door Amazon 'objects' genoemd, bedroeg in het vierde kwartaal 762 miljard.

In het vierde kwartaal van 2010 bedroeg het aantal 'objects' op de cloudsystemen van Amazon S3 nog 262 miljard, waardoor het groeicijfer voor 2011 uitkomt op 192 procent, zo meldt Amazon Web Services. Verder schrijft de cloudaanbieder op zijn blog dat het op piektijden 500.000 requests per seconde afhandelt op zijn onlineopslagplatform.

Volgens Randy Bias, werkzaam bij Cloudscaling, tonen de door Amazon Web Services vrijgegeven cijfers aan dat het opslagplatform niet alleen aanzienlijk groeit, maar dat de groei ook steeds sneller gaat. Verder becijfert Bias voor Readwriteweb dat Amazon bij een aanname van slechts 1KB per object 7222 servers met elk 100TB opslag nodig heeft. Bij een replicatiefactor van 3 zou Amazon S3 circa 260PB aan data hebben opgeslagen. Bovendien zou Amazon met deze cijfers met S3 een omzet behalen van naar schatting 26 miljoen dollar per maand.

Amazon meldt zelf dat de enorme groei aan opgeslagen data deels is te verklaren door nieuwe mogelijkheden om bestanden naar het platform te uploaden. Dit kan onder andere via het multipart object-mechanisme en AWS Direct Connect, een dienst die het voor bedrijven mogelijk maakt om via een dedicated netwerkverbinding data op S3 te plaatsen.

Reacties (23)

Zou het nou echt een stuk goedkoper zijn dan content zelf hosten? Stel je hebt een grote website, dan kun je zelf statische content gaan hosten, of Amazon S3 kiezen. Eventueel nog een fotoalbum of iets dergelijks, maar je betaald voor de data die je gebruikt.

Ik kan er hier zo geen gebruiksmogelijkheid voor verzinnen, behalve dan de statische data van websites die we hier hebben. Je moest gewoon makkelijk kunnen zien hoeveel je nou werkelijk kwijt bent, dan blijft lastig inschatten bij de clouddiensten op dit moment.

Je kan het allemaal hier berekenen: http://calculator.s3.amazonaws.com/calc5.html

Prijzen van zelf hosten moet je zelf even opzoeken

stelje hebt een site met veel content en evel gebruikers, met hele hoge piek belastingen. Als je alles zelf host, zal je genoeg capaciteit moeten hebben om de pieken aan te kunnen en dat is duur, zeker als je voor 95% van de tijd maar 5% van de capaciteit nodig hebt.

Verder kan Amazon, doordat het evel endpoints heeft heel snel je content dichtbij de aanvrager afleveren.

Natuurlijk kan je dat allemaal zelf maken, maar dan moet je toch wel op redelijk grote schaal bezig zijn, en een paar flinke zakken geld hebben

Veel sites gebruiken Amazon AWS voor hun storage needs (Twitpic bijv), maar vaak hebben ze geen delete functionaliteiten ingebouwd. Dan verwijder je een afbeelding, maar die blijft vrolijk op de AWS staan. Probleem is dat je daar als eindgebruiker niets tegen kunt doen. Wellicht verklaard dit ten dele het hoge aantal buckets (er verdwijnt relatief minder data dan onder normale omstandigheden). Hoe dan ook is het wel een privacy- en auteursrechten issue (immers heb je vanuit rechtswege autoeursrecht op zelf gecreëerd werk).

[Reactie gewijzigd door Rick2910 op 31 januari 2012 16:16]

|Maar dit is toch gewoon nadelig voor applicaties zoals Twitpic omdat die dan nog steeds wel moeten betalen voor het gebruik van Amazon hd space?

Dit is niet per se de fout van de applicatie. Deletes op S3 zijn niet real-time.

Ook kun je een bucket niet verwijderen zolang er nog files in staan.

EDIT:
Linkje: http://aws.amazon.com/s3/...del_does_Amazon_S3_employ

Amazon noemt dit "eventual consistency". Kort gezegd worden deletes en overwrites pas uitgevoerd op een volgens het systeem efficient moment.

[Reactie gewijzigd door wupper op 31 januari 2012 21:43]

Op het moment dat het om grote hoeveelheden data gaat, enorm veel gebruikers of juist schaalbaarheid, zijn dit soort oplossingen veel kostenefficienter dan zelf hosten.

met de ontwikkelingen omtrent Megaupload vind ik cloud service toch wel een risico

als mensen te veel illegale dingen erop zetten haalt FBI hem zonder rechter offline en dan is het de vraag nog maar of je de date terug krijgt ...

Ehm... je houdt toch wel altijd het origneel bij je hoop ik? Die clouddingen horen alleen als backup te dienen.

Wil je wat meer zekerheid dat er niet aan jouw data gerommeld wordt, dan kan je ook crashplan gebruiken welke alles encodeert voordat er geupload wordt.

Ik denk dat er genoeg (thuis-)gebruikers zijn die dat niet doen. Denk bijvoorbeeld iCloud. genoeg mensen die al hun data van hun mobiele telefoon alleen op de cloud zetten.

Fabrikanten stimuleren het gebruik van cloudsystemen en dat kan resulteren in het terugdringen van opslagruimte in apparatuur. Straks zit je met een laptop met een kleine ssd en alle gegevens in de cloud. De gemiddelde thuisgebruiker kent de risico's niet en denken juist dat het daar veiliger staat dan thuis.

Feit is dat je data op meerdere servers staat en daarom automatisch gebackupt is. Totdat de FBI zich ermee ging bemoeien dacht ik inderdaad dat de cloudsystemen veiliger waren dan de laptops van de gemiddelde thuisgebruiker.

Dan heb je het dus op de telefoon en in icloud, oftewel op 2 locaties. Lijkt mij prima.

Je hebt cloudstorage en cloudstorage, dat staat of valt met een betrouwbaar bedrijf erachter. Laten we wel zijn, MegaUpload was zo overduidelijk bezig met illegale shit hosten dat je wel gigantisch naief moest zijn om daar je data te stallen.

Met iCloud is het juist zo dat jouw bestanden op zoveel systemen komen dat je het haast niet kwijt kan raken.

Alles wordt immers gesynched naar alle pcs+macs+iDevices. Dus als iCloud er uit ligt, dan kan je nog prima verder.

Zelfde geld ook voor dropbox.

Gmail en google docs daarentegen...

Waarom? Je kan toch een SLA afspreken dat zij jouw data backuppen?
Je huurt een paar servers bij Amazon en stored de data in S3, geen probleem toch?

afspraak is een afspraak maar failliet is failliet.

Als het OM roept stekker eruit gaat die eruit. Misschien gaat die stekker er een maand later weer in maar clouddiensten blijven een groot onderschat risico.

Het risico is zo groot als je het zelf maakt natuurlijk. Je kan niet achteraf gaan klagen wanneer jij jou risico management niet goed op orde hebt. Het gebruik van cloud diensten KAN zonder risico

Er is duidelijk een verschil tussen Cloud opslag en Megaupload.

Cloud wordt niet voor het overgrote deel gebruikt voor het verspreiden van auteursrechtelijke beschermde werken. Cloud opslag is daarnaast ook niet direct bedoelt om bestanden met andere te delen.

En als je gebruik maakt van bijvoorbeeld dropbox, dan wordt er online alleen een copy opgeslagen en zal er ook nog een bestand op de HD staan. Je raakt het dus alleen kwijt als de servers in beslag worden genomen op het moment dat je HD het begeeft.

Je maakt hier 3 aannames:

1) Dat Clouds voornamelijk legale content bevatten.
2) Dat Megaupload voornamelijk illegale content bevatte.
3) Dat deze "balans" uberhaupt iets uitmaakt voor FBI en vrienden.

Hoewel aannemelijk dat je gelijk hebt zou ik er niet al mijn data op verwedden.

Dit vind ik een ongegrond bezwaar. MegaUpload was een website met als core business het verspreiden van auteursrechtelijk beschermde materialen. Daar is bij Amazon geen sprake van. Het zou natuurlijk wel zo kunnen zijn dat de Amerikaanse overheidsdiensten toegang krijgen tot jouw cloud en dit offline laten halen door Amazon. Nadeel is dus dat je gebonden bent aan Amerikaanse wetgeving, dus het zal voor Europeanen verstandiger zijn om te kiezen voor een Europees bedrijf met Europese servers welke niet op een .com domeinnaam zitten.

Laatst nog was er ook zo iets aan de hand met Microsoft Office 365 cloud. De zelfde bezwaren gelden voor Amazon Cloud. nieuws: Microsoft: Office 365 voldoet aan EU-privacyregels

Datagraaien VS
Immers, het is Microsoft zelf geweest die eerder dit jaar openbaarde dat het zich heeft te houden aan de Amerikaanse wet, waaronder de Patriot Act. Die wet schrijft voor dat Amerikaanse bedrijven data moeten overdragen aan de Amerikaanse regering als die daar om vraagt. Ongeacht waar die data opgeslagen is. Een Microsoft-datacenter in het Ierse Dublin is dus niet veilig voor de graaigrage Amerikaanse veiligheidsdiensten.
_{bron: http://webwereld.nl/nieuw...-vanwege-patriot-act.html}

[Reactie gewijzigd door ChicaneBT op 31 januari 2012 15:57]

Vandaag staat in de Telegraaf dat er een hele andere reden is voor het neerhalen van megaupload, niet hun illegale maar legale activiteiten werden door de muziek industrie gevreesd. Ze waren namelijk bezig om een download dienst voor artiesten op te zetten: Megabox geheten.

Die reden zou zijn dat MegaUpload op het punt stond een internetservice te lanceren die het voor artiesten mogelijk maakt om zelf hun muziek of films aan te bieden.Met deze dienst, MegaBox, zou er geen rol meer zijn voor de traditionele Amerikaanse film- en muziekindustrie, die de macht heeft over het verkopen en distribueren van het materiaal.

Meer informatie:

“Universal weet dat we het tegen ze op gaan nemen via ons eigen muziekkanaal”

Wie heeft er niet ooit eens een bestand gedownload via MegaUpload of een video bekeken op MegaVideo? Nu is er ook MegaBox, een cloud service waarop je een muziekcollectie kan uploaden en daarna overal ter wereld via internet beluisteren. Kim Dotcom van MegaMedia, het moederbedrijf van MegaBox, liet onlangs aan Torrentfreak weten dat het gaat om “een site waarop binnenkort artiesten de mogelijkheid hebben hun werk direct aan de gebruikers te verkopen en zo 90 procent van de inkomsten zelf te houden.”

Volgens Dotcom is dat ook de reden dat Universal onlangs een video van MegaUpload verwijderde van Youtube. “Universal weet dat we het tegen ze op gaan nemen via ons eigen muziekkanaal. Ze hebben besloten opzettelijk onze campagne te saboteren in plaats van de situatie te analyseren en in te zien dat de oplossingen voor al hun problemen voor hun neus liggen.” In de video waren verschillende artiesten te zien, waaronder Kanye West en Diddy, die zeggen MegaUpload te gebruiken. Universal verwijderde de video vanwege copyrightschending, maar direct werd geconstateerd dat dit niet het geval was.

Maar het meest opvallende statement dat Dotcom maakt, is dat MegaBox artiesten gaat betalen wiens muziek gratis te downloaden is. “We hebben een oplossing genaamd MegaKey, waarmee artiesten inkomsten genereren van gebruikers die gratis muziek downloaden. Het MegaKey businessmodel is getest met meer dan een miljoen gebruikers en het werkt. Je kunt het komende jaar meerdere aankondigingen verwachten van MegaBox, waaronder exclusieve deals met artiesten die graag weg willen van de verouderde businessmodellen van de platenmaatschappijen.” Wat MegaKey precies inhoudt, is niet bekend.

Het blijft allemaal dus vrij vaag rondom MegaBox en hun verdienmodel MegaKey. Maar wat is er nu wel bekend?
- MegaBox is een streaming site, waarmee je eigen muziekcollectie beluisterd kan worden op iedere op internet aangesloten computer
- Het is gratis
- Er zijn previews van dertig seconden te beluisteren van alle nummers die anderen hebben geüpload, met een linkje naar de Amazon MP3 Store en de ook in Nederland te gebruiken MP3-winkel van 7digital.

Het lijkt er op dat MegaBox niets illegaals aanbiedt, of het moeten de previews van nummers zijn. Wat de site echter aanbiedt voor artiesten en hoe die artiesten de site kunnen gebruiken, is verder nog compleet onduidelijk. Daar zal waarschijnlijk het komende jaar meer duidelijkheid over komen. Dan zal ook duidelijk worden of het een doodgeboren kindje is of de komende tijd gaat uitgroeien tot een vergelijkbaar imperium als dat van grote broers MegaUpload en MegaVideo

bron: hier

[Reactie gewijzigd door Magalaan op 31 januari 2012 17:26]

FBI host Megaupload nu bij Amazon, de eerste dagen was de jpg zelfs gehost op de S3 service. Mi laten ze Amazon wel met rust.

Oeps, per ongeluk een loopje open laten staan in onze applicatie

Oh, en daardoor is het dataverbruik op Amazon eneens toegenomen? Hahaha, dat gaat je geld kosten! Mystery solved!