Oracle voorziet clouddienst van Nvidia A100-gpu's

Oracle maakt Nvidia's A100-gpu's beschikbaar via zijn Oracle Cloud Infrastructure. Gebruikers kunnen bij rekentaken voor high performance computing opschalen naar meer dan vijfhonderd gpu's, door een netwerk via Mellanox RDMA op te zetten.

De GPU4.8-instances van de Oracle Cloud Infrastructure bestaan uit acht A100 Tensor Core-gpu's, gecombineerd met een AMD Rome-processor met 64 cores en een kloksnelheid van 2,9GHz, 2048GB ram en 24TB nvme-opslag. De instances kunnen onderdeel uitmaken van Oracles Cluster Network. Klanten kunnen hiermee clusters vormen van meer dan vijfhonderd gpu's via Nvidia's Mellanox RDMA, dat gebruikmaakt van Converged Ethernet, of RoCE.

Mellanox RDMA maakt het mogelijk geheugen aan te spreken zonder dat de taken van de cpu onderbroken hoeven te worden en dankzij GPUDirect kan dat ook bij gpu-geheugen. RoCE biedt de mogelijkheid dat RDMA-verkeer via ethernet te laten verlopen. Het gaat hierbij om directe peer-to-peer-verbindingen tussen het gpu-geheugen van de A100-kaarten, met lage latency en waarbij de cpu ontlast wordt.

Los daarvan krijgen klanten de komende maanden de mogelijkheid een, twee of vier gpu's per virtuele machine in te zetten. Oracle richt zich met het aanbod onder andere op bedrijven in de automotive-industrie en vliegtuigindustrie, die de grafische rekenkracht in kunnen zetten voor simulaties en complexe modellen.

Oracle is niet de eerste die de Nvidia A100 integreert in zijn cloudarchitectuur. Google kondigde afgelopen zomer zijn A2 VM-familie van instances aan, met tot aan zestien A100-gpu's. Nvidia kondigde de A100 in mei aan. Het was toen de eerste gpu op basis van Nvidia's Ampere-architectuur. De A100 is bedoeld voor high performance computing, kunstmatige intelligentie en andere datacentertoepassingen.

Reacties (32)

[TheekAzzaBreek]

Gebruikt iemand hier eigenlijk Oracle Cloud?
Ik zie ze wel alles op cloud diensten zetten (met verwaarlozing van hun andere spullen), maar ik ben eigenlijk nog nooit een afnemer tegengekomen in het wild.

Edit: dit was geen verzoek om Oracle-bashing, dat kan ik zelf prima. Ik bedoelde de vraag puur praktisch: wie komt er er in de praktijk Oracle cloud toepassingen tegen?

[Reactie gewijzigd door TheekAzzaBreek op 23 juli 2024 16:17]

[Umbrah]

Er ligt een hoop stigma op Oracle momenteel. Aan de ene kant vanwege hun afpers-praktijken (https://www.computable.nl...-van-32-miljard-euro.html -- het ging dieper, soms van niveau: draai ontwikkel DB op één VM in rack, draag licentie gelden af voor heel rack), hun "achteraf aanpassen afspraken" met o.a. het commercieel gebruik van Java, maar ook nu rondom het politieke speel veld. Er is een tijd geweest dat de overheid actief adviseerde om niet op Oracle in te gaan, en "uitfaseren Oracle" voor andere producten/alternatieve tech is iets wat bij veel grote organisaties als DOEL is bestempeld voor een hoop IT. Er gaat een IT "geintje" rond momenteel:

ORACLE = One Rich Asshole Called Larry Ellison

De man zelf is overigens ook niet onomstreden...

[BlackZ]

Precies dit.

Wij hebben 1DB op Oracle draaien op een VM, opgestart in 2014 met licentie voor 8 cores en nu willen ze audit doen om license aan te dringen voor elke Core in de VM cluster.

Na calculatie kwamen we aan een extra licentie bedrag van 1.5M ... . Gekke bedragen en vage contracten, we hebben nu deal om naar de cloud te migreren met uitstel voor audit. Zeer agressief en harde met legal van legal. Moet wel zeggen dat hun support tot nu toe wel goed is en de tools er vrij simpel en doordacht uitzien, we wachten het eindresultaat af.

Na de move naar cloud kunnen ze geen audit doen daar al de locale Oracle servers in de cloud zullen zijn. En met Oracle cloud kan je na 6 maand vertrekken met 30 dagen notice, we zijn nu wel gedwongen geweest om naar hun cloud te gaan, ons doel is wel volledig weg te stappen van Oracle in het komende jaar.

Blijf er weg als je nog geen contract met hen hebt.

[Bob de Slager]

Het effect van hun sales strategie werkt ook ver op de werkvloer door, heb managers gehad met nauwelijks IT achtergrond (op zichzelf niet perse een probleem) die overal Oracle bij wilden halen en bij wijze van spreken VI (unix teksteditor) zouden gaan vervangen met OracleVI als dat had gekund.

Dat gaat natuurlijk niet oneindig goed als je zoveel weerzin opwekt.

[K-aroq]

Dan had jouw manager geen goede mensen in zijn team die hem goed konden adviseren.

[Bob de Slager]

Dan had jouw manager geen goede mensen in zijn team die hem goed konden adviseren.

Ja, nu jij het zegt... Dat zal het zijn!

We hadden onze koppen bij elkaar moeten steken en zelf die man een sponsordeal moeten aanbieden voor een of meer van z'n dure hobbies.

Bedankt voor je inzicht!

[Division]

Enkele maanden met oracle gewerkt. Laat ik stellen dat het gras wel degelijk groener is aan de andere kant

[gitaarwerk]

Kan ik onderschrijven

[Yarisken]

Klopt , ik moet echt kotsen van Oracle. Op mijn vorig werk zijn ze overgeschakeld op postgres en op mijn huidig werk zitten ze er nog mee ... .
Oracle is voorlopig wel het enigste bedrijf dat het zo brutaal doet dat ik weet.
Vroeg of laat betalen ze daar wel is een prijs voor ...

[Niemand_Anders]

IBM is anders ook geen braaf jongetje hoor..

Op een aantal platformen hebben wij de Percona varianten van MySQL en MongoDB draaien. Dit zijn 'gratis' volledig open source 'enterprise' edities. Wij maken elke maand 100 dollar per server over aan de Percona organisatie..

[fdh]

ja, wij hebben verschillende klanten die hierop draaien.
Gen1 was crap, Gen2 is een deftig stabiel platform.

Verwacht geen 100den services zoals bij AWS, maar hun infrastructure basis is wel compleet en vaak goedkoper (zonder onverwachte bijkomende kosten). Zeker op netwerk en storage vlak zijn hun prijzen lager.
Daarnaast hebben ze hun middleware platformen ook naar hun cloud gebracht.
Zeker op analytics hebben ze sterk ingezet (al dan niet samen met hun autonomous DWH).
Voor andere zaken (bv WAF en DNS) hebben ze overnames gedaan.

Ze hebben hun voordeel gedaan door te kijken welke lessen de andere cloud spelers zelf hebben moeten leren. En zo een deel van hun achterstand ingehaald.

Disclaimer: wij zijn een Oracle partner (maar hebben ook klanten met databases op Azure en AWS)

[mocem]

Wat ik ooit heb gehoord is dat ze grote Oracle klanten forceren naar hun cloud doormiddel van wurgcontracten (bijna afpersing).

[Crazy Harry]

Bijna afpersing of daadwerkelijk afpersing maar omdat het een 'legitiem' bedrijf is met een flinke juridische afdeling durft niemand het zo te noemen?

[mdijkens]

O.a. 2 zeer bekende grote nederlandse corporates migreren hun hele datacenter naar de Oracle Cloud

[Antipater]

welke zijn dat?

[K-aroq]

Oracle Cloud richt zich op wat meer niche gebruikers. En niet op de mass market zoals de anderen.

[chroman]

niet zozeer op individuen/projecten/teams die 1 of enkele instances nodig hebben, maar meer op bedrijfsbrede inzet c.q. migratie naar de cloud

[Blokker_1999]

TikTok binnenkort

Oracle is op cloud gebied zeker nog geen grote speler. Maar ik verwacht dat ook zij steeds meer in die richting gaan bewegen.

[JoostMM]

Oracle komt sterk op met de nieuwe generatie clouddiensten die worden geboden en heeft inmiddels honderden cloud klanten in Nederland, van zorgverzekeraards tot banken en telecom bedrijven.

Uit recent onderzoek blijkt in tegenstelling tot onderstaande berichten dat klanten juist heel tevreden zijn over de cloud diensten van Oracle. Met name op prijs-kwaliteitverhouding scoort Oracle goed.

[ocf81]

Moet je dit nog wel een GPU noemen? Ik denk dat het woord coprocessor meer op zijn plaats is.

[De Nelis]

Het blijft een grafische chip dus ja, ondanks dat deze als 'co-processor' gebruikt word verander je daar weinig aan.

[Blokker_1999]

Hangt er van af waarvoor je het gaat gebruiken natuurlijk. Al kan je aan de term GPU ook andere betekenissen geven. Toen Nvidia voor het eerst met CUDA af kwam spraken we dan ook van GPGPU waarbij de eerste stond voor General Purpose. Je kan dat perfect doortrekken naar vandaag.

[M2M]

Generic processing unit dan misschien? Kunnen we de afkorting behouden 😀

[CyBeRSPiN]

3 dollar / GPU / uur. Dat lijkt me best goedkoop eigenlijk als alternatief voor een supercomputer in je eigen datacenter aanschaffen en draaiende houden. En je kunt de boel waarschijnlijk uitzetten als je het niet gebruikt om de kosten te drukken.

[dylan111111]

Het is inderdaad goedkoop als je een kleine gebruiker bent en onzeker is hoelang je het gaat gebruiken. Voor grotere bedrijven moet er wel wat met de prijs gebeuren, dan is eigen hardware in het rek goedkoper op de lange termijn.

[the_shadow]

Dat hangt uiteraard van de business case af, net als dat het geval is met alle andere cloud diensten. Als je nagenoeg 24/7 data hebt om verwerkingen te blijven doen, ben je al vrij vlot goedkoper uit om het spul gewoon te kopen, maar gaat het om incidenteel (= niet continu), of tijdelijke capaciteitsuitbreiding qua rekenkracht, dan is dit natuurlijk een erg mooi alternatief.

[DropjesLover]

Dat weet jij, dat weet ik. Maar in de financiële wereld is minder eigen assets hebben altijd goedkoper.
Denk aan de praktijken van verkopen en (duur) terughuren.

[Verwijderd]

Als je het niet uitzet is het de moeite niet waard, dan kun je net zo goed een stapel van die dingen zelf kopen en ergens ophangen. Dat is namelijk 26K/jaar, bovenop dat je OCI moet gebruiken naast je normale cloud provider. -koude rillingen-

[chroman]

Volgens mij richt Oracle zich hiermee op heel andere doelgroepen:
Bedrijven die hier 10-tallen van gebruiken en daar 1 of meerdere miljoenen aan kwijt zijn.
De kosten van aan/uit zetten zijn daarin verwaarloosbaar.
Dan gaat het veel meer om beheer/beveiliging/afschrijving vervanging etc.

Itt AWS, Azure zit Oracle niet zo zeer in de business van instances voor dollars, maar meer in complete datacenter-migraties naar de cloud

[Thomzh]

Zijn er al prijzen bekend van zo'n instance?

[Bene]

...ook AWS is EC2 instances met A100 tensor cores aan het voorbereiden, de aankondiging daarvoor kwam in mei kort na die van Nvidia. Mocht je je niet kunnen vinden in de infrastructuur en support van OCI dan is het de moeite waard daarop te wachten met je proeftuin.