Amazon ontwikkelt MySQL-compatibele database-engine Aurora

Amazon heeft op zijn AWS-cloudplatform een relationele-database-engine beschikbaar gesteld die MySQL-databases beter zou laten presteren en gemakkelijker laat schalen. De engine, Aurora geheten, is niet opensource, maar wel compatibel met MySQL 5.6.

Volgens Amazon kan Aurora tot vijfmaal beter presteren dan standaard-MySQL-implementaties die op zijn AWS-cloudplatform draaien, terwijl de database-engine volledig compatibel blijft met Oracles opensource-databasesoftware. De prestatiewinsten zijn te danken aan gevirtualiseerde opslagsystemen op basis van ssd-opslag, samen met softwarematige optimalisaties in de engine.

Amazon belooft dat Aurora ook zeer betrouwbare databasediensten oplevert dankzij fouttolerantie-mechanismes en 'zelfhelende' opslagsystemen. Zo zouden databases beschikbaar blijven als er diskfouten ontstaan. Ook claimt Amazon dat een database-crash automatisch wordt gedetecteerd en dat Aurora binnen zestig seconden weer beschikbaar is zonder dat een recovery-procedure uitgevoerd hoeft te worden of de database-cache opnieuw opgebouwd moet worden. Verder kan automatisch naar een back-up-server worden overgeschakeld mocht een hele Aurora-instance vastlopen. Databasedata wordt binnen drie AWS-regio's tot zesmaal gerepliceerd.

Een AWS-gebruiker kan Aurora via zijn AWS-managementconsole activeren en beheren. Volgens Amazon hoeft een systeembeheerder nog maar weinig taken zelf uit te voeren. Zo zou een database van enkele gigabytes kunnen uitgroeien tot terabytes zonder dat de database tijdelijk uit de lucht gehaald moet worden om meer opslagruimte beschikbaar te maken.

Aurora is niet opensource en momenteel uitsluitend voor AWS-gebruikers beschikbaar in een preview-versie, naast de bestaande platforms MySQL, PostgreSQL, Oracle en Microsoft SQL Server. Net als andere AWS-clouddiensten betalen afnemers op basis van het daadwerkelijke gebruik van de databaseservers.

Reacties (42)

[BugBoy]

Gisteren tijdens de keynote werd het groots aangekondigd. Ben benieuwd hoe het schaalt in de praktijk.

Amazon AWS wordt wel erg dominant. Naar eigen zeggen hebben ze 5x meer computing power dan de nummers 2-15 van de cloud providers bij elkaar! Dat is dus inclusief Microsoft Azure, Google AppEngine,...

[Verwijderd]

Dat zal dan inderdaad naar eigen zeggen zijn, aangezien de providers daar zelf erg geheimzinnig over zijn. Ik denk dat een aanbieder als Google zeer gemakkelijk een tandje bij kan schakelen.

Ik denk niet echt dat er sprake is van dominantie. Hetgeen Amazon vooral groot in is, is de S3 en dat is vrij "dom" bestandjes schuiven. Vaak zijn ze dan de achterkant van een applicatie als Imgur of Pinterest. De eindgebruiker heeft geen enkele binding met Amazon en als een andere aanbieder goedkoper is, zijn ze de grootgebruikers kwijt.

Ik denk bovendien dat de concurrentie op gebied van applicaties en rekenkracht veel levendiger. Hierin zijn Google, Microsoft en IBM vrij groot, maar ook partijen als Heroku en Salesforce.

Bovendien voelt Amazon zich (terecht) ook niet onaantastbaar. Aldus ook een voormalige werknemer:

As far as serious threat? Well, no, I don't consider Azure a threat to AWS, but I consider Google a threat to AWS. Google's cloud has been outperforming AWS since very private beta and performance means a lot in the cloud.

http://www.reddit.com/r/I...sk_me_anything_about_the/

Meer on the topic: ik zie niet goed waarom je een preview versie voor je database zou gaan gebruiken. Bovendien gebaseerd op MySQL en niet eens op Postgres en nog niet eens open source.

[Dreamvoid]

Aldus ook een voormalige werknemer: [...] I don't consider Azure a threat to AWS

Dat was ruim een jaar geleden, dingen veranderen snel in de cloud biz nu. Amazon zal Azure met de huidige prijs en performance wel serieus moeten nemen.

Los van MySQL, ik ben ook wel benieuwd hoe Oracle in de toekomst met hun speciale database-optimized silicon (de nieuwe SPARC's) een deuk kan slaan in het marktaandeel van de Amazon/Google/Microsoft giganten, het zal ze zeker aan de compute-kant van de cloud in theorie in elk geval een aardig voordeel moeten kunnen geven.

[Reactie gewijzigd door Dreamvoid op 23 juli 2024 08:56]

[Cergorach]

Azure is voornamelijk erg fijn als je Windows servers wil draaien, als je daar support voor nodig heb ivm. performance issues dan kan support daar een heel stuk dieper in duiken dan Amazon dat kan. Er wordt rustig iemand van het Windows Server team bij getrokken als het issue maar dringend genoeg is.

Dat betekend zeker nog niet dat het perfect is. Maar het gaat flink de goede kant op en is effectief goedkoper dan eigen hardware neerzetten (behalve in een aantal uitzonderingsgevallen). Zeker als het snel schaalbaar moet zijn. Een hoop systeembeheerders hebben liever 'eigen' hardware draaien, maar in veel gevallen wordt daar alleen maar in het eigen straatje gepraat en wil er nog wel eens wat kostenposten vergeten worden in een vergelijking...

[Kajel]

Amazon heeft ook een PostgreSQL compatible database: RDS. Met Aurora erbij kunnen ze een nog diverse bestand aan klanten met verschillende toepassingen helpen.

[Reactie gewijzigd door Kajel op 23 juli 2024 08:56]

[Cartman!]

RDS is niks anders dan Relational Database Server waar ze oa. PostgreSQL op aanbieden, dat is niet een compatible engine maar gewoon echt PostgreSQL net zoals ze ook MySQL aanbieden.

Zelf gebruik ik op t werk sinds een jaar RDS (MySQL) en ben zeer tevreden, hopelijk komt het snel in de europese regio's beschikbaar

[kozue]

Bovendien gebaseerd op MySQL en niet eens op Postgres

Logisch toch? Er zijn meer applicaties die mysql ondersteunen en je wilt een zo groot mogelijke doelgroep aanspreken. Dat is ook uberhaupt de reden dat het mysql-compatible is. Niet omdat ze nou zo graag mysql nabouwen.

Ik zou het verder ook niet gebruiken hoor, maar ik moet uberhaupt niks van cloud hebben. Geef mij maar gewoon een stuk dedicated hardware, dan weet je waar je aan toe bent.

[capsoft]

Toch grappig dat Microsoft zegt dat ze de grootste VM hebben en het meeste aantal regio's

G-type:
http://blogs.microsoft.co...ft-cloud-platform-system/
The new series of VM sizes, called the G-series, will provide more memory and more local Solid State Drive (SSD) storage than any current VM size in the public cloud. The largest G-series will offer 448 GB RAM and 6.5 TB of local SSD storage.

Regio's
http://azure.microsoft.com/nl-nl/regions/

[Reactie gewijzigd door capsoft op 23 juli 2024 08:56]

[BugBoy]

Netflix, Dropbox, Spotify draaien allemaal al in AWS. Ik zou maar weinig diensten kunnen opnoemen die in Azure draaien.

[GrooV]

Ik heb laatst nog de SSD instanties van aws en azure gebenchmarked, azure is echt een stuk sneller voor de zelfde prijs. Daarnaast ligt Azure echt voorop kwa globale DC's, tot voor kort had aws alleen Dublin voor heel Europa en Afrika.

Dropbox gebruikt trouwens vooral S3 van aws wat vrij weinig computing power verbruikt.

[BugBoy]

Amazon heeft vandaag op AWS re:Invent nieuwe instanties aangekondigt die 2x sneller zijn met bandbreedte dan de vorige oplossing (link). Ook hebben ze nu provisioned IOPS die een stuk sneller zijn dan standaard. Het zal wellicht stuivertje wisselen zijn

Maar ik denk dat je de keuze niet alleen moet laten afhangen van performance van een VM. Vooral de extra services (S3/Blob Storage, RDS/Azure SQL, ...) zullen vaak de doorslag geven.

[Reactie gewijzigd door BugBoy op 23 juli 2024 08:56]

[sfranken]

VM != computing power. Met andere woorden: MS mag misschien meer VM's en regions beschikbaar hebben, dat wil nog niet zeggen dat ze meer computing power hebben

[capsoft]

ik heb toch nooit gezegd dat een vm computing power is ik geef alleen aan dat microsoft juist berichten naar buiten brengt waaruit lijkt dat juist microsoft de grootste aanbieder is. (wij van wc eend etc.)

[Cergorach]

De een zegt ik heb meer appelen, de ander zegt de grootste appel te hebben. Die twee statements sluiten elkaar niet uit.

[Dreamvoid]

Amazon AWS wordt wel erg dominant. Naar eigen zeggen hebben ze 5x meer computing power dan de nummers 2-15 van de cloud providers bij elkaar! Dat is dus inclusief Microsoft Azure, Google AppEngine,...

Toch draaien ze niet schokkend veel omzet met al die computing power:
http://www.forbes.com/sit...venues-analysts-estimate/

[Cartman!]

Dat komt door de filosofie die ze hebben bij Amazon wat ze het "flywheel" noemen, uitgelegd op deze afbeelding:

http://image.slidesharecd...-11-638.jpg?cb=1399656321

[Dreamvoid]

Lage prijzen, meer klanten, das leuk, maar waar zit het geld? Dat flywheel doet me meer denken aan de aloude South Park grap.

[Reactie gewijzigd door Dreamvoid op 23 juli 2024 08:56]

[Cergorach]

Het punt is scaling, er zijn een hoop kosten die je maar eenmaal uitgeeft ongeacht hoeveel server, dingen zoals software ontwikkeling, maakt niet uit of ze er 100 of 100,000 hebben draaien. Meer hardware in een keer aanschaffen betekent dat je betere prijzen kan krijgen. Meer hardware, hoe beter je je hardware failure rate kan inschatten, waardoor je minder reserve onderdelen op de plank hoeft te zetten. Meer servers, hoe meer personeel je in dienst heb, hoe meer personeel, hoe minder backups je nodig heb (voor het personeel). Etc.

Op een gegeven moment is de rek eruit, maar gezien de huidige ontwikkelingen, de vraag op de markt en de concurrentie vermoed ik dat de rek er voorlopig bij AWS er voorlopig nog niet uit is.

ps. Ik weet niet of Amazon hiermee winst draaid, ik weet hun beleid niet, maar je kan prima prijzen verlagen terwijl je nog steeds winst maakt.

[bbob]

Wat heeft MS met dit artikel te maken ?

Laat me raden ze knippen en plakken er alles nog in elkaar.
Als je iets roept zoek dan een bron nu is het gewoon iets roepen waar je niets van waar kan maken.

[borft]

haha, you could not be more wrong... Je kunt instances booten met meer dan 32 cores, met meer dan 100GB memory, met TB's aan ssd storage, met meerdere GPU's, met 10Gbit connectiviteit... En dan heb ik het alleen over EC2. Ik weet niet hoe jouw huis, tuin en keuken pc eruit ziet, maar ik wil er dan wel een

[mcDavid]

Als ik het zo lees is het niet zozeer de database-engine die bijzonder is, maar gewoon de manier waarop die geinstalleerd is? Gooi MySQL/MariaDB op een gevirtualiseerd, redundant SSD-opslagsysteem en de performance schiet ook als een malle omhoog.

[borft]

Mijn ervaring is, met de meeste systemen, dat als je gaat virtualiseren, de performance omlaag schiet. Ik zie niet in hoe virtualisatie de performance van een database, die doorgaans io-limited is, kan verbeteren

[Cartman!]

Virtueel kun je van laag naar hoog opschalen en tevens zonder downtime bij AWS, met hardware wordt dat een stuk ingewikkelder.

[borft]

ik zie niet in hoe dat voor hogere performance gaat zorgen als je op dezelfde hardware niet gevirtualiseerd draait, heb je volgens mij altijd betere performance!

[Cartman!]

Dat doet er niet heel erg toe als je virtueel wilt, virtueel kun je schalen (zowel horizontaal als verticaal) zonder je bezig te hoeven houden met hardware. Kun jij van een hardware machine die draait t aantal cores/memory/io verhogen zonder downtime?

[borft]

Dat kan ik niet. Maar met bv Amazon's cloud oplossing EC2 kan dat ook niet. Maar dit spelletje kan ik ook Kan jij op je VM in de cloud een custom config bouwen met bv 30TB aan local ssd storage?

Sowieso doet het er wel toe, de hele thread ging over performance, niet over schalen. Ik ben het met je eens dat je makkelijk kunt schalen met cloud based oplossingen. Mijn punt gaat over het verschil in performance tussen gevirtualiseerde oplossingen vs bare-metal.

[Reactie gewijzigd door borft op 23 juli 2024 08:56]

[Cartman!]

Kan jij op je VM in de cloud een custom config bouwen met bv 30TB aan local ssd storage?

Bij AWS kan je gewoon 30TB storage maken hoor, geen probleem.

Mijn punt gaat over het verschil in performance tussen gevirtualiseerde oplossingen vs bare-metal.

Ik mis je punt volledig in een onderwerp wat gaat over een bedrijf wat gevirtualiseerde diensten aanbiedt.

[borft]

Amazon claimt een MySQL compatibele oplossing aan te kunnen bieden op een gevirtualiseerd platform, die 4x sneller is dan vanilla MySQL. Naar mijn mening is er altijd een performance penalty voor virtualisatie, tevens ben ik van mening dat een van de grote bottlenecks van databases ligt in io.

Mcdavid, waar ik op reageer, doet de uitspraak dat performance omhoog zou gaan door virtualisatie, ik zie niet in hoe het kan.

Verder, de grootste instance, i2.8xlarge (http://aws.amazon.com/ec2/instance-types/), heeft 8x800GB aan ssd storage, in raid0 kom je dan op 6.4TB, dat is een heel stuk minder dan 30TB. Waar jij die claim vandaan haalt is mij een raadsel. Als je meer storage nodig hebt (op ec2 dus), dan zal je EBS moeten gaan gebruiken, en dan verlies je locality, en dus lage latency, en dat is redelijk killing voor een database.

[Reactie gewijzigd door borft op 23 juli 2024 08:56]

[Cartman!]

I stand corrected, local storage heeft beperkingen maar 6.4TB local is vrij loos imo. EBS performt met 4000 iops, vlammend snel. Verder zou ik zelf gewoon RDS pakken met provisioned IOPS en als je iets wil gebruiken waarbij dat niet goed genoeg is zou ik uitwijken naar ElastiCache of DynamoDB, gebruik de juiste techniek bij je probleem. Virtueel is veel sneller te maken omdat je vrijwel onbeperkt kunt schalen en alle diensten van AWS hebben zo'n bizarre lage latency dat veel dingen werken alsof het local is.

[Janoz]

Nou, zo lees ik het niet. Het zal allicht zo zijn dat de standaard implementatie installeren op een virtuele snelle omgeving voor snelheidswinst zorgt. Wat ze hier echter gedaan hebben is een complete rewrite die specifiek op hun platform geschreven is. Ik neem aan dat je kunt begrijpen dat de performance winst en managebility dan nog een stuk groter is. Dit alles echter wel ten koste van portability. Die is nagenoeg 0 aangezien het enkel op hun specifieke infrastructuur draait. Van buiten is de interface vervolgens compatibel met MySQL waardoor gebruikers zelf geen wijzigingen in hun software hoeven aan te brengen.

[bbob]

M.a.w je hangt gewoon aan hun systeem vast.
Een deel van de snelheidswinst zit dus wel degelijk in de hardware.

Wil je echt uitspraken doen over snelheid zul je beide echt naast elkaar moeten zetten, gelijke hardware en dan kijken wat het verschil is.

Wat je ook aangeeft je hangt vast aan amazon. Laten veel bedrijven dat nu niet echt willen en ook in de cloud willen veel mensen toch naar meerdere aanbieders gebruiken.

[Janoz]

De snelheidswinst zit hem er in dat de hardware en de software exact op elkaar afgestemd zijn. Ik durf de weddenschap wel aan dat deze oplossing sneller is dan exact dezelfde hardware met een standaard MySQL implementatie.

En hoezo zit je aan Amazon vast? Doordat het compatible is met MySQL heb je geen vendor lock-in. Je kunt immers overstappen naar elke andere aanbieder die een MySQL database aanbied (cloud of geen cloud)

[Kettrick]

Het bijhouden van een cluster RDS instances over een aantal verschillende AZ's was nogal onhandig. Hoewel ik me er nog niet echt op ingelezen heb is het RDS on steroids en worden dat soort zaken voor je geregeld.

Het gaat dus om omgevingen waar een setup waar jij het over hebt het niet meer trekt

[KoalaBear84]

Er zullen vast wel voordelen zijn aan wat ze zelf gemaakt hebben.

Ben geen database expert! Was MariaDB geen optie? Zie veel bedrijven hier naartoe overstappen vanwege performance en dan alles wat Oracle overneemt 'kapot' maakt (Java, MySQL)

[_JGC_]

Oracle maakt MySQL niet kapot, maar omdat de diverse forks betere prestaties en meer features bieden worden die vrij populair.
Verder is er ontevredenheid ontstaan in de opensource community omdat Oracle delen van de testsuite achter houdt, vandaar dat veel distributies inmiddels zijn overgestapt.

[Tazzios]

Je eerste statement komt niet echt overeen met de rest van je reactie.
Oracle investeert blijkbaar te weinig in MySQL waardoor ze voorbij gestreefd worden. Verder werken ze niet goed samen met de community en veel distributie.

[_JGC_]

Bij Oracle wordt wel degelijk geïnvesteerd in MySQL. ze zijn alleen nogal conservatief. Kijk bijvoorbeeld naar Percona, die sleutelen aan MySQL om performance en schaalbaarheid te verbeteren. Veel van dat werk doen ze zelf, maar veel werk is ook gewoon gebackport uit een nieuwere versie.

Betere performance is altijd leuk, maar als je beleid het niet toestaat dat soort ingrijpende aanpassingen in de huidige stabiele versie te doen, dan zullen je klanten moeten wachten op de volgende upgrade.

Houd er verder rekening mee dat Oracle geen stuiver verdient aan de community versie, de Enterprise versies halen ze het grote geld mee binnen. Uiteindelijk valt het werk van percona en mariadb onder opensource licentie, dus dat werk komt wel weer terug bij Oracle.

[CyBeRSPiN]

Geen database expert en dan zo'n vooringenomen (en onjuist) standpunt mbt Oracle en Java en MySQL posten?
Bij sommige voormalig Sun OS projecten is het wat onhandig gegaan, maar mbt Java en MySQL kun je ze toch echt weinig verwijten.. En ja, het is een commerciele partij, dus geef ze eens ongelijk dat ze ook niet-gratis opties en support erbij aanbieden..

[rctgamer3]

Aurora, Toevallig, of juist niet?
Mozilla heeft net besloten om Aurora te rebranden naar Developer Edition, en 3 dagen na release komt Amazon met een product met de oude naam.

[ReLight]

Lijkt me niet dat je je product wilt identificeren per definitie met een pre-beta release kwaliteit van een ander. Kan 1 van vele naam relaties zijn, maar ook geen. http://nl.wikipedia.org/wiki/Aurora

[kozue]

Er zijn wel meer hondjes die Fikkie heten. Bovendien was Firefox Aurora geen product maar een codenaam.