IBM gebruikt Watson-code voor nieuw 'software-defined storage'-product

IBM heeft een nieuwe opslagtechnologie op basis van 'software-defined storage' aangekondigd. De software krijgt de naam Elastic Storage en is deels gebaseerd op technologie die door de Watson-supercomputer werd gebruikt.

Bij software-defined storage wordt de softwarelaag losgeweekt van de hardware die nodig is voor het opslaan en toegankelijk maken van data. Met behulp van de softwarelaag moet het eenvoudiger worden om op grote opslagsystemen mogelijkheden als deduplicatie, replicatie en back-ups te draaien. Met de groei van virtualisatie en cloudcomputing speelt software-defined storage een steeds belangrijkere rol.

Kort nadat EMC zijn ViPR 2.0-product voor software-defined storage heeft uitgebracht, komt IBM met zijn Elastic Storage-lijn. Volgens IBM is zijn product, dat het als een iaas-dienst op SoftLayer verkoopt, compatibel met OpenStack, een populair opensource-cloudplatform, waardoor zowel privé- als publieke clouds ondersteund worden. Ook is Elastic Storage compatibel met de Hadoop-api.

Volgens de it-reus reduceert zijn software-defined storage-product de kosten voor opslagsystemen. De besparingen zouden tot 90 procent kunnen oplopen, doordat Elastic Storage bijvoorbeeld automatisch minder gebruikte data op snelle maar dure opslagmedia als ssd's naar goedkopere maar minder snelle opslagsystemen kan verplaatsen, zo schrijft PCWorld.

IBM stelt dat de Elastic Storage-technologie gebaseerd is op software-defined storage-code voor zijn Watson-supercomputer. Zo werd de technologie gebruikt toen Watson de strijd aanging met twee menselijke tegenstanders in de quizshow Jeopardy. Daarbij wist de opslagtechnologie binnen enkele minuten 5TB aan data naar Watsons werkgeheugen te kopiëren. Elastic Storage zou datavolumes van duizenden yottabytes aan data kunnen adresseren. Een yottabyte is gelijk aan 1 miljard petabyte.

Reacties (15)

[Snow_King]

Eigenlijk komt het er op neer dat iedereen de druk van het Open Source project Ceph begint te voelen.

[Squixx]

Cool project. Soort van top-layer over ZFS dus?

Zag dit van IBM ook al vooral als competitie voor ZFS.

[atze]

Ceph is niet een top layer over ZFS. In Ceph heb je allemaal blokken waar je data heen kan schrijven. 1 blok is iha 1 schijf. Deze schijven verdeel je over een set van machines.
Je kan aan groepen data meegeven hoe vaak het gerepliceerd moet worden en op welke plekken. Ook zorgt ceph er voor dat de data altijd netjes uitgebalanceerd is over al je blokken.
Verder wordt in Ceph berekend waar je data staat. Je file systeem hoeft dus nooit naar de data te zoeken. Dit is vooral handig als je miljarden bestanden hebt. De meeste 'bestandssystem' vinden dat niet leuk maar voor Ceph is het geen probleem.
Verder bied Ceph Objectstorage (Amazon S3 achtig), Blockstorage (klasiek fs/iscsi achtig) en een eigen filesysteem (NFS/ dropbox achtig).
Ceph is heel erg goed uitgedacht en ik kan me goed voorstellen dat veel storage aanbieders er wel van gaan zweten.

[cyberstalker]

Ceph is conceptueel echt prachtig. Met Ceph zou je eenvoudig zelf een distributed VSAN kunnen maken. Helaas is (i.i.g. de laatste keer dat ik het uitgezocht heb) de performance van Ceph nog ondermaats.

We gebruiken nu zelf glusterfs om een filesystem te hebben dat is uitgespreid over meerdere hosts, in onze tests kwam hier een betere performance uit dan bij Ceph. Als deze performance issues zijn opgelost zou ik nog steeds heel geinteresseerd zijn in Ceph.

[atze]

In welke zin performance? Op een SAN alleen het woord performance is een beetje vaag. Op welk vlak performed Ceph dan minder dan Glusterfs?
Wij hebben Ceph in productie draaien en het performed op alle vlakken erg goed.

[Loen]

Met de juiste use-case is Ceph perfect. Voor filesysteem is Gluster volgens mij beter schaalbaar en sneller. Daarnaast is inrichting en beheer van Gluster veel makkelijker dan Ceph. Daarbij komt echter wel dat Ceph inderdaad mooier in elkaar steekt met rebalancing, healing, en al dat soort dingen en is support voor Ceph in OpenStack veel beter. CERN heeft wel een interessante vergelijking gemaakt, al is die na een paar maanden eigenlijk ook al weer achterhaald:
https://indico.cern.ch/ev...332/material/slides/0.pdf
CERN is trouwens Ceph gaan gebruiken

Mooi dat IBM ook zelf in de boot stapt, al verwacht ik inderdaad niet dat ze qua featureset en marktpenetratie snel Ceph zullen overtreffen. Maar IBM is groot in de oude enterprise wereld dus daar zullen ze nog wel e.e.a. af gaan zetten met mooie praatjes

[mxcreep]

Ceph performed beter dan GlusterFS in veel gevallen heb ik na veel uitzoeken gemerkt. Zeker writes zijn bij GlusterFS niet altijd even vlot vanwege het feit dat de client de data naar de diverse plekken wegschrijft voor redundantie. Ceph daarentegen trekt de volle performance uit je hardware.

[storeman]

Duizenden Yottabytes. Een term die ik nog niet in perspectief kan plaatsen. Wat wellicht vroeger zo was met giga/terabytes.

Hoeveel unieke data zou er nu wereldwijd zijn? Als we hier voor het gemak alleen uitgaan van het bronmateriaal, dus geen rips, recodes, etc. Gewoon de 4K films, studio files. Alle data wereldwijd op 1 storage en iedereen zijn eigen index?

[kippy]

Als je usenet wel mee rekent valt het eigenlijk wel mee.
De grootste group a.b.boneless is maar rond de 2PB groot
http://en.wikipedia.org/wiki/Usenet

Wat ik me meer af vraag zijn alle server parken en zo. Zoals er laatst een artikel was van IMB die het brein van een kat simuleert met 144TB aan geheugen (hardisk ruimte niet meegerekend). Hoe veel data zit daar wel niet in, en in alles wat bewaard wordt, of moet worden.

Ik denk dat we op de wereld wel in de Yottabytes zitten.

[Hellboy!]

De storage leveranciers lopen achter de feiten aan. Red Hat is al veel verder met Gluster (Red Hat Storage Server) en ze hebben het bedrijf achter Ceph gekocht.

IBM en andere grote it bedrijven kunnen niet tegen de snelheid op van open source ontwikkeling. Ook de kwaliteit en service laat vaak te wensen over.

[vali]

IBM en andere grote it bedrijven kunnen niet tegen de snelheid op van open source ontwikkeling. Ook de kwaliteit en service laat vaak te wensen over.

Een nogal gedurfde uitspraak. Hoe verklaar je dan de reden dat Microsoft 154% groeide met hun cloud dienst (Amazone blijft nog steeds de grootste) en ook flink wat marktaandeel inhaalt van Apache Web server ?

Blijkbaar hebben ze hun zaakjes goed op orde, anders zou er niet zo'n grote groei plaatsvinden. Ik vind het alleen maar goed dat ze onderling nieuwe technieken verzinnen en implementeren om hun cloud diensten te verbeteren. Zou houd je de concurrentie scherp.

[Reactie gewijzigd door vali op 25 juli 2024 00:40]

[Verwijderd]

De titel van dit bericht doet vermoeden dat er gebruik wordt gemaakt van kunstmatige intelligentie, maar bij nader inzien valt dat een beetje tegen. Wel leuk natuurlijk dat een deel van die software wordt hergebruikt op andere terreinen. offtopic: Overigens ben ik benieuwd wanneer de eerste open-source Watson-clonen opduiken

[klakkie.57th]

Ik probeer me dit nog steeds voor te stellen. Hoe dit storage goedkoper maakt ? Tiered storage is nu niet bepaald een nieuw concept.

1. Steeds meer storage.
2. Storage moet steeds sneller zijn.
3. Meer security.

Als je dit dan leest : Daarbij wist de opslagtechnologie binnen enkele minuten 5TB aan data naar Watsons werkgeheugen te kopiëren
Als er nu stond 5TB binnen een seconde was ik misschien nog onder de indruk maar nu ...
nah

[Reactie gewijzigd door klakkie.57th op 25 juli 2024 00:40]

[slane147129]

Een deel van de kosten (voor bedrijven) van storage zit hem ook in licentiekosten in technologie als replicatie, metro mirroring, dedupe etc.

Door deze "intelligentie" los te koppelen van de hardware (disken) kun je ook op dat vlak gaan concurreren op prijs.

[Reactie gewijzigd door slane147129 op 25 juli 2024 00:40]

[oeps]

Uit dit nieuws bericht:
Kort nadat EMC zijn ViPR 2.0-product voor software-defined storage heeft uitgebracht, komt IBM met zijn Elastic Storage-lijn.

Uit onderstaande link:
EMC (NYSE:EMC) kicked off its annual EMC World event in Las Vegas today by unveiling its new Elastic Cloud Storage (ECS) appliance,
http://www.channelpro.co....ail&utm_source=newsletter

Wie heeft er nu storage van elastiek?