Cloudflare komt met S3-concurrent R2 Storage zonder egress fees

Cloudflare begint een eigen cloudopslagdienst voor enterprise. R2 Storage moet voornamelijk concurreren met Amazon Web Services S3-opslag, met name op de prijs. R2 kost 1,5 cent per gigabyte per maand, en klanten betalen geen egress fees.

De opslagdienst is er op dit moment nog niet, schrijft Cloudflare, maar geïnteresseerden kunnen zich wel alvast aanmelden. 'Binnenkort' begint een open bèta. Cloudflare zet R2 Storage in de markt als tegenhanger van S3 van Amazon Web Services, maar ook van andere cloudproviders. Met name de prijs wordt lager. De standaardopslagprijs ligt bijvoorbeeld lager dan bij S3; klanten betalen 0,015 dollar per gigabyte per maand voor opslag. De europrijs is niet bekend.

De prijs voor access requests wordt dynamisch, al hangt Cloudflare daar geen prijskaartje aan. Onder een bepaalde grens wordt die zelfs helemaal gratis. Cloudflare heeft het over minder dan tien requests per seconde. Meer dan dat gaat wel geld kosten, maar het is niet bekend hoeveel. Cloudflare zegt het oneerlijk te vinden dat ontwikkelaars bij andere opslagdiensten dezelfde prijs betalen ongeacht het aantal requests dat ze indienen.

Opvallend is dat egress fees helemaal verdwijnen. Volgens Cloudflare is dat meestal de grootste kostenpost voor bedrijven, mede omdat de kosten daarvan moeilijk vooraf te voorspellen zijn. Aan egressbandbreedte zit in R2 helemaal geen limiet. Klanten hebben dus een onbeperkte request rate. Met name door het elimineren van deze kosten probeert Cloudflare zich af te zetten tegen AWS. Dat komt niet helemaal onverwacht. Cloudflare heeft zich al vaker uitgesproken tegen egress fees. Het bedrijf startte eerder ook al de Bandwidth Alliance, samen met enkele andere hostingproviders zoals Alibaba. Die stichting heeft als doel om de variabele kosten van cloudopslag te drukken. Onderdeel daarvan is bijvoorbeeld een rekentool om egress-fees te voorspellen.

Om migratie vanuit andere cloudproviders makkelijker mogelijk te maken krijgt R2 verschillende migratietools. Zo maakt de dienst gebruik van de S3-api voor Object Storage. Daarmee kunnen klanten van iedere opslagdienst die gebaseerd is op S3 hun content migreren.

Cloudflare garandeert een betrouwbaarheid van 99.999999999%. De dienst host bestanden op meerdere locaties in verschillende regio's wereldwijd om die betrouwbaarheid te garanderen. Dat is alleen in de beginperiode. In de toekomst krijgen klanten de mogelijkheid regio-specifieke opslag te kiezen als ze dat willen.

R2 is geïntegreerd met Cloudflare Workers. Gebruikers kunnen daardoor een 'worker' koppelen aan een specifieke bucket. Ook werkt de dienst samen met andere Cloudflare-producten zoals Durable Objects.

Reacties (68)

Klein overzicht: van S3 Providers:

• Rackspace Cloud Files $0.10 /GB
• DreamObjects $0.025 /GB
• Amazon S3: $0,023 /GB
• Google Cloud: $0.02 /GB
• Vultr Object Storage: $0.02 /GB
• DigitalOcean Spaces (S3) $0.02 /GB
• Microsoft Azure: $0.017 /GB
• Alibaba Cloud Object Storage Service $0.0185 /GB
• ScaleWay: €0.01/GB
• Cloudflare R2: $0.015 /GB
• BackBlaze B2: $0.005 /GB
• Wasabi: $0.0059 /GB

[Reactie gewijzigd door walkstyle op 30 september 2021 13:09]

Deze vergelijking is nou juist niet zoveel waard toch? - gezien er veel meer kosten verbonden zijn en dat nou net een onderdeel is waarin Cloudflare zegt zich positief te onderscheiden van de rest. Ze claimen dus veel goedkoper te zijn in de praktijk dan vele competitors.

Wasabi rekent ook geen egress kosten en is dus veruit het goedkoopste. Onder andere storage voor Veeam wordt perfect ondersteunt. Gebruik het al een paar jaar nu naar volle tevredenheid.

Bij Wasabi heb je alleen wel een extra fee voor data die je maar kort opslaat. Alles wat je korter dan 90 dagen opslaat betaal je de volle 90 dagen voor. Voor backup geen probleem, maar voor ander gebruik wellicht wel.

Wasabi hun egress is overigens beperkt op je totale storage / maand. Van Cloudflare niet.

De laatste keer data ik Wasabi probeerde hadden ze geen EU locatie beschikbaar:

Because of strong storage space demand from our customers coupled with significant tightening of the worldwide disk drive market, we are temporarily limiting new customers from using our us-east-1 and eu-central-1 storage regions.
Please utilize the following Wasabi storage regions as an alternative: us-east-2 (N. Virginia), us-central-1 (Texas), or us-west-1 (Oregon).

Is dat inmiddels opgelost?

Wasabi heeft een egress cap van je gebruikte storage per TB. Dus als je 1TB daar afneemt dan mag je 1TB egress dataverkeer hebben, 10TB storage is 10TB egress.

Wasabi’s free egress policy is designed for use cases where you store your data with Wasabi, you access this data at a reasonable rate, and your use case does not impose an unreasonable burden on our service. To better understand the definition of ‘reasonable rate’ and ‘unreasonable burden’ in this context, please consider these guidelines.

If your monthly egress data transfer is less than or equal to your active storage volume, then your storage use case is a good fit for Wasabi’s free egress policy
If your monthly egress data transfer is greater than your active storage volume, then your storage use case is not a good fit for Wasabi’s free egress policy

For example, if you store 100 TB with Wasabi and download (egress) 100 TB or less within a monthly billing cycle, then your storage use case is a good fit for our policy. If your monthly downloads exceed 100 TB, then your use case is not a good fit.

If your use case exceeds the guidelines of our free egress policy on a regular basis, we reserve the right to limit or suspend your service.

Totaal niet te vergelijken met de dienst die CloudFlare aanbiedt

[Reactie gewijzigd door GrooV op 30 september 2021 21:50]

Jammer dat niemand Scaleway noemt. Teminste een europese partij (Frankrijk) en geen extra kosten als je de data door CF laat lopen. Prijs €0.01 /GB voor hot en €0.002 /GB voor cold storage.

https://www.scaleway.com/en/object-storage/

[Reactie gewijzigd door mmjjb op 30 september 2021 12:03]

Je kunt ook in Nederland terecht, bij Serverius, Leaseweb, True, etc.

Er zijn meerdere Open Source oplossingen om S3-compatible storage mee aan te bieden. Een hoop providers doen dat dan ook inmiddels.

Het is ook maar een Klein overzicht

Cloudflare garandeert een betrouwbaarheid van 99.999999999%.

Een uptime van `99.999999999%` betekent maximaal 30 millisecondes downtime per jaar volgens mijn berekening. Dat is echt een te bizar getal. Heb ik die berekening goed uitgevoerd? Een garantie van dit soort getallen is echt ongeloofelijk, zelfs voor de allergrootste en duurste enterprisebedrijven.

Edit: het gaat over betrouwbaarheid van je dataopslag, heb ik nu gevonden:

R2 will provide 99.999999999% (eleven 9’s) of annual durability, which describes the likelihood of data loss. If you store 1,000,000 objects on R2, you can expect to lose one once every 100,000 years — the same level of durability as other major providers. R2 will be resistant to regional failures, replicating objects multiple times for high availability.

Edit 2: Dank aan @handy112 die dit ook heeft gevonden, zie ik nu

[Reactie gewijzigd door Helium-3 op 30 september 2021 10:15]

Het gaat hier over betrouwbaarheid niet over server uptime. Het voorbeeld in de blogpost van Cloudflare:

If you store 1,000,000 objects on R2, you can expect to lose one once every 100,000 years

Nope, dat is niet downtime. Het gaat hier namelijk niet over uptime, maar over betrouwbaarheid. Betrouwbaarheid kan ook betekenen dat 0.000000001% van je bestanden verdwijnt en/of corrupt raakt. Dat is natuurlijk verwaarloosbaar, totdat je het gaat hebben over een miljard bestanden en meer.

Dat kan je eigenlijk alleen maar berekenen voor ongevallen en natuurrampen. Software/hack problem kunnen centraal data vernietigen hoe gedistribueerd het ook is opgeslagen, en de waarschijnlijkheid daarvan lijkt mij onmogelijk te berekenen als de opslag niet met hoge zekerheid WORM is op afstand.

Is dit op bestand of op byte niveau? Anders valt er 1 byte om per GB/jaar

9 keer 9 na de komma uptime... Dat is dus basically 100% uptime want dat halen ze al niet meer als er 1 seconde downtime is op een jaar volgens mij?

Geen uptime maar betrouwbaarheid, als in hoe vaak verdwijnt er een bestand dat ik heb opgeslagen. Daar kan een extra cijfer achter de komma wel degelijk schelen

Wasabi is als 1 van de weinigen die ik heb kunnen vinden redelijk open over de methode waarop ze hun betrouwbaarheid berekenen:

https://assets.wasabi.com...ility-Tech-Brief-2019.pdf

Helaas lijkt op de geschetste methode wel wat aan te merken; Een situatie waarbij 100 data elementen worden beschermd door zeg 4 redundantie elementen is in hun methode even "betrouwbaar" als die waar 1 data element wordt beschermd door 4 redundantie elementen.

Als je daarvoor compenseert, dan scheelt het wel een paar "9"-s...

Bij Backblaze heb ik er ook ooit een blog over gelezen: https://www.backblaze.com/blog/cloud-storage-durability/

Aha! Die uitleg helpt zeker. Dan is de uitspraak in ieder geval wel relevant. Thx!

Uptime van cloud storage bij de grote spelers (wanneer je voor multi region gaat) is gewoon 100%. We zitten met veel grotere problemen dan de bereikbaarheid van je files wanneer er iets zou gebeuren dat die setup onbeschikbaar maakt.

Dat is niet waar, Akamai had laatst een globale outage door config-errors aan hun kant.

Akamai noem ik dan, met alle respect, ook niet één van de grote spelers op het gebied van echte consumer gerichte cloud storage. Dat is een CDN in die zin.

Echte cloud storage oplossingen zoals google cloud storage, en s3/azure blob storage hebben er naar mijn weten nog nooit helemaal uitgelegen.

Ook S3 heeft outage gehad, bijvoorbeeld https://aws.amazon.com/me...ubtag=[]vg[p]14556483[t]a

In een regio. Daarom dat ik dan ook expliciet "wanneer je voor multi region gaat" erbij schreef ;-)

Waarom is dit dat niet een concurent voor Azure (Cold) Storage ?

Archive zit op €0.00080
Cold zit op €0.0086
Hot zit op €0.0186

per Gb
https://azure.microsoft.c...ng/details/storage/blobs/

[Reactie gewijzigd door Scriptkid op 30 september 2021 09:17]

Dit is een hot storage CDN, bedoeld voor veel geraadpleegde bestanden. Coldstorage is daar niet voor bedoeld en bij Archive kan je helemaal niet snel bij je bestanden en kost het flink wat geld. Een Synology backup terugzetten vanaf Archive storage heeft mij bijvoorbeeld meer dan 100 dollar gekost alleen al om het te verplaatsen uit Azure Archive storage, dan komt daar de bandbreedte nog bij van het downloadenm

ik mention toch ook expliciet Azure hot storage die in de zelfde prijs klasse zit,

En cold storage is alleen tervergelijking (Cold != archive) ,


Als je zo het artikel leest is het meer reclame artikel dan een constructief artikel wat meerdere cloud diensten mee neemt in de vergelijking ipv alleen Amazone

Ongetwijfeld ook. Het is een hot storage oplossing, dus alleen te vergelijken met Hot.

Omdat archive/cold storage bedoeld is voor archiveringsdoeleinden en niet verwacht wordt dat je die data regelmatig raadpleegt. Data opslaan in cold storage is goedkoop, eruit halen kan in de papieren lopen als je dat te vaak doet.
Dat staat ook in je linkje uitgelegd onder "Operations and data transfer"

Ik zou die service eerder vergelijken met Amazon Glacier voor $0.0245 tot $0.0018 per GB dan met S3, met lagere kosten dan bij Azure om daadwerkelijk bij je data te komen in veel gevallen. Beide hebben natuurlijk hun voor- en nadelen.

Als je bedrijf veel geld kwijt is aan egress, is het niet logisch om op archive storage over te gaan. R2 concurreert niet met archive storage en Cloudflare is eigenlijk ook geen logisch bedrijf om die concurrentie aan te gaan.

Dan is 't dus goedkoper want het is geen concurrent voor archive of cold storage waarvoor de access latencies veel hoger liggen dan wat CloudFlare beoogt.

CloudFlare gaat om snelheid; een data-archiefdienst is niet waar ze op inzetten.

Wasabi S3 lijkt me dan toch nog voordeliger te zijn ?

Gebruik hier alvast al enkele jaren Wasabi S3 voor m'n synology backup en heel tevreden van.

Hmm wel interessant. Wasabi is $5,99/TB, Backblaze B2 is $5/TB. Maar B2 heeft dan weer egress fees ($0,01/GB downloaded), al heb ik die voor een Synology backup nog nooit nodig gehad. Wasabi lijkt weer een minimum van 1TB aan te houden.

B2 prijzen zijn trouwens ex BTW, maar ik gok dat dat ook voor Wasabi geldt?

[Reactie gewijzigd door .oisyn op 30 september 2021 10:41]

Je kan Cloudflare voor BB B2 zetten en dan betaal je niet voor bandbreedte. Met Firewall rules in CF kan je het nog afschermen en dergelijke ook

Cloudfare voor BB voor mijn Synology backup? Die moet je even uitleggen, want volgens dit artikel is dat dus 3x zo duur . Ik bedoel, het is interessant als je vaak bij je data moet, maar dat gaat natuurlijk niet zo op voor een backup. Die hoop je eigenlijk gewoon nooit nodig te hebben (wat in mijn geval in de praktijk ook zo is, al 8 jaar).

Als ik specifiek kijk naar BB ivm Wasabi, dan betaal ik bij BB $0,99 per TB minder, maar als ik het download moet ik $10 voor die TB betalen. Dat prijsverschil heb ik er dan in 10 maanden niets downloaden uit. Nog even afgezien van het minimum van 1TB dat Wasabi rekent (mijn backup zit momenteel op 909GB).

[Reactie gewijzigd door .oisyn op 30 september 2021 10:27]

Hoe het binnen Synology werkt weet ik niet (ik gebruik Azure voor mijn backups) maar het koppelen van een publieke bucket aan CF is een fluitje van een cent https://help.backblaze.co...2-with-the-Cloudflare-CDN

Synology gebruikt de S3 interface. Wat jij zegt functioneert als CDN, dat zijn dan reguliere http requests neem ik aan.
En is CF dan gratis? Kon weinig vinden over de pricing.

Billing
Select the desired Cloudflare billing plan that's appropriate for you. The free website option works with B2 and can be used.

Hey man

Ik denk dat GrooV het hierover heeft:

https://www.backblaze.com...ovide-free-data-transfer/

Als particulier of als zakelijk?

Vergeleken met hun pay-go pricing valt dat nog vies tegen. Aannemende dat R2 geen reserveringen doet, en daarmee niet tegen het goedkope gedeelte van Wasabi S3 concurreert, denk ik dat het prijsverschil nog wel uitkan. Het prijsverschil is wellicht een factor twee, maar Cloudflare heeft waarschijnlijk veel betere access times door de duizenden nodes die ze over de wereld verspreid hebben staan vergeleken met de tientallen van Wasabi.

Wasabi rondt ook af naar de eerste terabyte per maand, wat natuurlijk een impact kan hebben op de prijs, al is die niet heel groot.

Ik denk dat Wasabi en R2 zich niet helemaal in dezelfde markt bevinden, al overlappen de use cases wel meer dan die van andere goedkope cloud storage.

Ik weet niet helemaal wat je vergelijkt maar Wasabi is wel zeker goedkoper. Minimaal 3x goedkoper dan andere aanbieders. Onze jaarlijkse besparing was door een overstap naar Wasabi 7k.

Het ligt eraan hoe lang je je data opslaat. Wasabi rondt af naar 90 dagen, dus als je data voor een week opslaat, betaal je drie tot 21 keer de normale prijs (afhankelijk van hoe fijnmazig je S3-provider rekent). Naar hun eigen zeggen zijn ze ook duurder dan AWS, die soortgelijke kosten heeft, als je de data minder dan 23 dagen opslaat.

Voor veel bedrijven is S3 een soort /dev/null die eens in de zoveel tijd wordt opgeschoond, in dat geval is die minimumtijd geen probleem. De besparingen van één bedrijf zeggen echter weinig voor algemene gevallen.

[Reactie gewijzigd door GertMenkel op 30 september 2021 11:05]

Dit was al het geval als je Cloudflare en Backblaze combineerde https://www.backblaze.com...ovide-free-data-transfer/

Ben benieuwd wat daar mee gebeurt of dat ze onderwater samen werken

Dat zal haast wel, lijkt me niet dat Cloudflare ineens zelf storage clusters gaat bouwen wereldwijd. Backblaze kost $0.005 per GB. Als Cloudflare dan $0.015 rekent blijft er 1c marge over, 0.5 cent extra voor BB 0.5 cent naar CF.

[Reactie gewijzigd door Marve79 op 30 september 2021 09:30]

1c 😉

Ah ja duh, het is nog vroeg

Het is S3 compatible maar toch gebruiken ze een "2" in de naam ipv een "3". De enige andere die dat heeft gedaan is Backblaze, met B2. Geen bewijs, maar komt op mij over als een hint / knipoog.

Waar bestaan die egress fees precies uit?

Data transfer.

De exacte definitie verschilt nog wel eens per cloudprovider en kan veranderen op basis van hoe je je infrastructuur opzet, maar doorgaans zijn de egress fees in dit geval de kosten die je betaalt wanneer data die je hebt opgeslagen gedownload wordt.

Bij sommige providers telt opslag die je vanaf je eigen cloud downloadt niet of minder mee in de egress-prijs, bij anderen is er een vast bedrag dat je per GB en per download van een blok data betaalt.

Egress is het tegenovergestelde van de ingress, welke kosten gaan over de data die je naar blokopslag stuurt. Die is vaak veel goedkoper of zelfs gratis, omdat dit bedrag niet de kosten voor opslag bevat, en je in veel gevallen maar één keer uploadt en vaak herhaaldelijk downloadt.

Dus cloudflare geeft een blanco cheque aan hun klanten v.w.b. egress fees. Riskant. Zowel qua kosten als qua capaciteit. Als je kosten hebt voor bepaalde functionaliteit zal je je applicatie zo slim maken dat je bepaalde zaken zo min mogelijk gaat gebruiken. Als er geen kosten aan zitten ga je daar niet over nadenken. Dat kan dan vervolgens een bottleneck worden voor de provider.

Dus cloudflare geeft een blanco cheque aan hun klanten v.w.b. egress fees. Riskant.

Niet echt, want dat doen ze al voor hun CDN dienst.

[Reactie gewijzigd door CyBeR op 30 september 2021 10:44]

De klant zit nog steeds met bandbreedte/verkeer-kosten aan zijn eigen kant, misschien iets minder disciplinerend maar toch.

Die egress fee is een game changer net zoals dat dit multi-regio storage is. AWS heeft dit laatste niet en de egress fees lopen snel op.

Zelfs als de kosten per request vergelijkbaar zijn met S3 is dit goedkoper...

S3 multi-region replication
https://aws.amazon.com/ab...nts-replicated-data-sets/

Heeft geen garanties over wanneer het echte gekopieerd is én je hebt geen url voor beide regio's.

GCP doet dit wat beter: multi-regio is synchroon (met de throughput nadelen die daarbij horen).

R2 kan dit net wat leuker doen (bv eventually consistent met happens before relatie die heel blijft over alle bestanden heen is vaak genoeg) en veel regio's is goed voor latency.

De single URL voor meerdere regios is tegenwoordig ook beschikbaar:
https://aws.amazon.com/ab...nts-replicated-data-sets/

Met automatische failover als je een regio kwijt raakt.

Het is inderdaad de keuze tussen synchroon en asynchroon (beiden met bijbehorende durability, latency en throughput), dus "beter" hangt af van je wensen ;-)

Ik denk dat CloudFlare goed aan de weg timmert en langzaam dichter op schuift naar de grote jongens.
Dat laatste kan ik alleen maar toejuichen omdat gezonde competitie voorkomt dat de rest in slaap valt ;-)

Bedankt voor die link!

Dat is wel op basis van global accelerator waardoor IPv6 niet mogelijk is (wat voor mijn use case essentieël is gek genoeg) én de verkeers-kosten hoger zijn.

Wat werkt en het beste is hangt allemaal af van je use case en wensen :-). Ik ben wel ook blij met de ontwikkeling buiten de grote drie (en de politiek lastige drie: Alicloud, Huawei en Yandex).

Klinkt goed, ik erger mij al jaren aan het prijs-model bij AWS.

Begrijp me niet verkeerd, ze maken erg mooie dingen. Maar juist omdat ze zulke mooie dingen bouwen, en voor goede prijzen aanbieden, raak je verzeild in hun ecosysteem. Je wilt je database toch dicht bij je servers houden, en toch makkelijk om je files dicht bij je CDN te hebben, etc. etc.

Maar nu begin je te groeien, krijg je meer klanten, en betaal je een belachelijk bedrag om je data het internet op te sturen. De fees zijn 85-90 dollar per TB om überhaupt data naar je bezoekers te krijgen. Enkel voor het dataverkeer.

Bij een $5 server van Digitalocean krijg je al een gratis TB. TransIP, €30 voor 5 TB, inclusief een server. CDN? $5 per TB bij Bunny. Dataverkeer hoort gewoon veel minder te kosten. Natuurlijk zijn deze diensten niet te vergelijken, AWS doet zo veel meer. Maar voor iets basics als dataverkeer betaal je wel gewoon 1600% meer dan nodig.

AWS (maar ook google/azure) voelt gewoon als een 'gratis' cruise, waar je vervolgens aan boord wel €10,- voor een glaasje water mag wegtikken.

Ben zelf ook aan het weg migreren van AWS. Voor 95 euro draai je een server met 64TB bij de goedkopere providers. Plak je er een gratis Cloudflare account voor en het is wereldwijd goed bereikbaar voor een fractie van de kosten.

Zelfs als je bovenstaande 3 keer doet, bij 3 verschillende providers ter redundantie, en er een betaald Cloudflare account met Load Balancing voorzet, ben je nog steeds veel goedkoper uit. AWS is een mooi systeem, maar alles wat je aanklikt kost je weer extra geld.

Dit zal ook wel de reden zijn dat Cloudflare dit gaat aanbieden. Zelfs als ze dit tegen kostprijs doen levert ze het intern aanzienlijke besparingen op ten opzicht van klanten die nu een S3+Cloudflare combo gebruiken om de kosten te drukken.

[Reactie gewijzigd door NielsFL op 30 september 2021 12:40]

Je zit er een orde-grootte naast: 850-900 dollar/TB (en dat tikt aan)...

Ik ben een groot fan van overdrijven, en zit er ook vaak naast, maar volgens AWS zelf is het echt $90 per TB

(0,09 per GB, 1TB is 1.000Gb, 1.000 * 0,09 = 90)

https://imgur.com/a/emykxSq

Hah oeps: ja ik zit met de prijs per 10TB in mijn hoofd 😂.

Het tikt in ieder geval aan - bij $dayjob meer dan wat we aan de andere diensten betalen (en dan doen we niet aan media distributie oid).