Hoofdcategorieën
Device Settings

Marvell werkt aan pci-e-kaart om netwerkopslag te versnellen

Door Joost Schellevis, maandag 4 april 2011 15:11, views: 16.689

Marvell werkt aan een pci-express-kaart die gegevens moet cachen en sorteren voordat ze naar een storage-server worden gestuurd. Dit moet het aantal benodigde schrijfbewerkingen voor het opslaan van informatie verminderen.

De DragonFly Virtual Storage Accelerator, een pci-express-kaart die waarschijnlijk ergens in deze herfst in de winkelschappen komt te liggen, heeft als taak netwerkverkeer te cachen en sorteren voordat het over het netwerk naar opslagservers wordt gestuurd. Gegevens kunnen daardoor sequentieel worden weggeschreven, wat sneller gaat dan wanneer random-data moet worden weggeschreven. Redundante data zou helemaal niet weggeschreven hoeven worden, wat de write-amplification ten goede komt.

De kaart gaat waarschijnlijk rond de duizend dollar kosten, meldt Computerworld. Aan boord heeft de kaart niet-volatiel dram-geheugen en nand-flashgeheugen als respectievelijk L1- en L2-geheugen. Een ingebouwde processor is verantwoordelijk voor het sorteren van de gegevens. Vervolgens worden de gegevens naar een nas- of san-array gestuurd. Het gebruikte protocol maakt daarbij niet uit.

Doordat het aantal schrijfbewerkingen wordt verminderd, kan ook de levensduur van opslagapapparatuur worden verlengd. Vooral bij ssd's is dat belangrijk, doordat deze een bepaald aantal erase-write-cycles hebben. Na 10.000 tot 100.000 van die cycli gaat de integriteit van de opslag achteruit.

Marvell Dragonfly VSA

Volgende 15:33 Quantumregister van 14 qubits geproduceerd
Vorige 14:49 'Sony gestopt met productie Alpha SLT-A33-camera'
Advertentie

Reacties

«  1  2  »

Dus voor maximaal resultaat dient elke client die data op een storage server kan zetten deze kaart te hebben?

Beetje dure grap voor 1000$ per kaart.

Nee ik denk dat de kaart de data sorteert op een manier dat makkelijker is voor de NAS om te verwerken. Als een andere client deze geschreven data weer opgevraagd van de NAS, krijgt hij dezelfde data terug, het maakt immers niet uit hoe je data op een HDD zet. Het zal waarschijnlijk sneller gaan omdat het opslag systeem makkelijk bij de geschreven data kan komen.

Ik zie het voordeel wel in! Mijn NAS staat nu in RAID-1 en heeft moeite met random stukjes data weg te schrijven. Dit al wel helpen!
Al zal de prijs niet mals zijn voor dit Niche product....

Dat is inderdaad wat de kaart doet. Data ordenen zodat het sequentieel opgeslagen en uitgelezen kan worden. Alleen doet het dit voor dat het verstuurd wordt over het netwerk. Dus de verzendende kant moet de data maar mooi gaan sorteren.

Met een filesystem als ZFS met SSD's voor caching en write logging is dit hele systeem niet nodig.

Met een filesystem als ZFS met SSD's voor caching en write logging is dit hele systeem niet nodig.
Precies. I/O optimalisatie doe je op de storage server/SAN/NAS.

Ik snap misschien ook niet de werking van het product. Hoe kan het nou onafhankelijk van het gebruikte protocol een voordeel brengen voor de storage server als dat ding op de client staat?
Alleen doet het dit voor dat het verstuurd wordt over het netwerk. Dus de verzendende kant moet de data maar mooi gaan sorteren.
Een client weet niets van de fysieke locatie van de data op de volumes. Hoe kan je nou zonder die informatie I/O optimaliseren?
Daarnaast is het dus nog een protocolonafhankelijk...? Wat nou als je een variant van NFS, iSCSI 2012 (fictief) will gaan gebruiken? Kan die dan toveren en de network I/O toch nog allemaal optimaliseren?

Wat ik me daarentegen wel van voorstellen is dat dat ding iSCSI/NFS/etc. offloading kan doen voor het OS. Maar dat doen al veel netwerkkaarten zoals Broadcom NetXtreme kaarten in servers en de duurdere Intels ook als ik me niet vergis. En voor een veel lagere prijs.

Nee ik geloof hier niet in zonder deugdelijke technische achtergrondinformatie en uitleg.

@backspace219: ja ik zit nu ook te denken... 1 april?

[Reactie gewijzigd door gertvdijk op maandag 4 april 2011 17:26]


ik zie de mogenlijkheden van de kaart wel.
het is een beetje klein ik geef toe maar in het volgende segment zal dit zeker werken.

stel je hebt 7 servers zonder hardeschijf en 1 luxe nas.
je laat de servers booten via iscsi via zoon netwerkkaart.
dan levert dat best wel wat snelheids wins op.

ingeval van een client die een nas via cifs(smb) of nfs probeert te bereiken zal het eerder vertraging geven of zelfs niet kunnen. volgens mij.
ik zou in ieder geval niet weten hoe je de file lock zou moeten oplossen.

stel je hebt 7 servers zonder hardeschijf en 1 luxe nas.
je laat de servers booten via iscsi via zoon netwerkkaart.
dan levert dat best wel wat snelheids wins op.
Ooh? Hoe krijg je dan die snelheidswinst? Daar gaat het nou juist om!
ingeval van een client die een nas via cifs(smb) of nfs probeert te bereiken zal het eerder vertraging geven of zelfs niet kunnen. volgens mij.
Nee, men belooft zelfs protocolonafhankele winsten in I/O via netwerk...
ik zou in ieder geval niet weten hoe je de file lock zou moeten oplossen.
Heeft niks met de kaart te maken imo. Leer wat meer over NFS, CIFS, OCFS, iSCSI. File locking zit namelijk allemaal in het protocol (bijv. NFS4 wel, en niet in iSCSI).

in geval van iscsi is de target die je aanmaakt maar voor 1 client schrijf en leesbaar.
op dat moment kun je lees en schrijf cache gebruiken, zo veel als technisch haalbaar is.
je hoeft geen rekening te houden met andere gebruikers.
(eigenlijk kun je op zoon netwerk kaart ook een gewone harddisk gebruiken in plaats van een ssd)

in geval van cifs en nfs3/4 spreek je vaak met meerdere computers de share aan.
als je dan schrijf cache gebruikt blijft de file lock langer staan,
en lees cache kan niet want een ander zou die file al eens aangepast kunnen hebben.
dus is eerder vertragend dan versnellend. (er zijn wel een paar uitzonderingen in nfs3/4 heb ik in dit verhaal niet mee genomen.)

ocfs nog nooit mee gewerkt zal hem straks effe googelen.
(heb hem net gegoogeld. valt in princiepe onder een schared disk file system dus zelfde probleem als cifs en nfs maar er zijn wel mogelijkheden om te versnellen voor zoon kaart.)

ik vind het tweakers.net verhaaltje er ook niet echt duidelijk over.
maar ik denk echt dat marvel alleen het iscsi protocol + nog een aantal ander protocollen bedoeld en niet alle protocollen.
maar goed het is ook een marketing verhaaltje en geen technisch document.

ik kan me ergens een project herinneren die precies het zelfde deed als deze kaart maar dan als software en een lokale harde schijf. kom er effe niet zo snel op.

[Reactie gewijzigd door migjes op maandag 4 april 2011 20:10]


ik kan me ergens een project herinneren die precies het zelfde deed als deze kaart maar dan als software en een lokale harde schijf. kom er effe niet zo snel op.
Defrag? :+

Hoe weet deze kaart nou wat voor data waar hoort ? Er zijn zoveel soorten databases. Dit ljkt meer op een late 1 april grap (of ik snap hier gewoon iets niet).

Niet echt, het idee is dat meerdere 'virtuele clients' 1 (of meer) kaart (en)op de server delen. Dus ipv. tientallen Virtuele Machines die hetzelfde proberen weg te schrijven, maar 1x.

Dus thin clients/terminals > applicatie server > Dragonfly > storage server?

Super

Wel jammer dat ze zo duur zijn.

Na 10.000 cycli, met 25nm nand geheugen is dat ondertussen toch slechts 2500tot 3200 cycli.

Dat gaat over consumenten SSD's, enterprise hardware is over het algemeen degelijker uitgevoerd (met bijv. SLC geheugen) en kunnen dus vaker beschreven worden.

Er zit dan ook een groot verschil tussen consumenten hardware en bedrijfs modellen ;)

De consument is blij als het ding ongeveer 3 jaar mee gaat omdat men dan toch een nieuwe computer koopt en een betere, grotere, snellere schijf etc... maar veel bedrijven draaien machines die makkelijk 6 jaar lang niets anders doen dan een zelfde applicatie hosten en op zijn meest zo af en toe eens een patch voor het OS of de applicatie toe passen maar hardware upgraden hoeft vaak niet. Dit geld ook voor NAS/SAN. Je koopt een SAN oplossing steekt er 5TB aan disks in en je kunt makkelijk een jaar of 6 de zelfde SAN oplossing gebruiken misschien dat je tegen het einde van de 6 jaar in plaats van de originele 5TB er 7TB in hebt hangen maar veel meer veranderingen zullen er niet plaats vinden.
Juist om dit mogelijk te maken met SSD's moet je wel naar een oplossing over waar bij je zo veel mogelijk bespaard voor writes en reads. Daar naast als je kijkt naar de meeste SSD's die een doorvoer snelheid halen van +300MB dan zie je al snel dat ze bij random writes vaak nog niet boven de 70 tot 100MB uit komen iets dat op deze manier voor een groot deel opgelost kan worden.
Daar naast en dat is ook niet onbelangrijk als je dubbele data kan voorkomen en een update die keer op keer op nieuw wordt weg geschreven kunt cachen en simpel weg kunt bevestigen zonder daadwerkelijk een nieuwe schrijf actie nodig te hebben dan kun je ook de "snelheid" van het geheel nog eens flink op krikken.

Al met al denk ik dat dit soort oplossingen nog wel eens snel zouden kunnen groeien in populariteit. Al lijkt het me dat de SSD fabrikanten als dit echt aan slaat SSD's gaan maken die dit soort functionaliteit ook kunnen leveren. Om op die manier nog sneller te werken. Een SSD heeft al een wear leveling algoritme, encryptie en compressie dus waarom niet ook een caching oplossing die dit soort werk op SSD niveau uitvoert en op die manier de achterliggende hardware nog meer bespaard.
Het lijkt me dat het voor een SSD helemaal niet zo moeilijk is om te onthouden dat die ene cel in het afgelopen uur al eens beschreven is met een 1 en dat het dus zinloos is om dit weer te doen. Op die manier kun je aardig wat nutteloze acties besparen en de SSD virtueel veel sneller maken dan het ding nu is.

Consumenten en bedrijven gebruiken in de praktijk ongeveer dezelfde afschrijftermijn gemiddeld. Alleen gedurende die periode is de kans groot dat de hardware meer gebruikt word in een bedrijfssituatie en is uitval een stuk duurder voor bedrijven, vandaar dat die duurdere hardware met meer zekerheid kopen en vaak gaat zekerheid nog voor prestatie.

Ronde de 1000,- dollar is toch een flinke prijs, maar zo beginnen alle nieuwe producten natuurlijk.
Zal nog wel even duren voordat we hem in Nederland in handen kunnen krijgen om te testen of het echt wel een grote vooruitgang is qua snelheid.
In ieder geval blijft de techniek niet stil staan.

Vroegah toen er nog een aparte PhysX kaart bestond ;) : nieuws: Ageia PhysX-kaart getest. De tijd zal het leren en inderdaad vanuit hier zullen er weer andere merken er misschien nog iets anders op verzinnen/voortborduren.

Vind het wel grappig dat mensen zeggen "Oh wat duur", maar er zijn toch mensen die het kopen en het nut er van inzien. Zo wordt techniek betaalbaar (ook voor particulieren, maar het duurt misschien wat langer ;))

idd, dit soort dingen zullen, als ze zich eenmaal bewezen hebben, vanzelf in (server) moederborden en, zoals je dat tegenwoordig ziet, in CPU's geintegreerd worden tegen een fractie van de prijs.

En hoe zou je dit aan kunnen sluiten op je NAS? RJ45, SAS - SATA of weer heel wat nieuws?

FC

waarom wordt Mentox naar beneden gemod? want fibre channel lijkt mij toch ook logisch?

dus iedereen weet wat FC is? Ik niet, dus de comment van goestin was interessanter.

Niet iedereen weet wat FC is maar dit is Tweakers.Net en dan mag je toch veronderstellen dat iedereen weet hoe je op FC googled of hoe je wikipedia gebruikt. De afkorting FC is binnen de IT gangbaar voor Fibre Channel en dus makkelijk te vinden, daarmee is de comment van mentix wel ontopic, maar helaas blijft het foutief wanbt FC word voornamelijk gebruikt voor SAN (welke afkorting Ik niet uit ga leggen) en niet voor NAS. Dus denk dat de aansluiting gigabit is met misschien een 10 g optie.



artiek? een typo kan ik begrijpen, maar dit gaat te ver.

Dit gaat niet over internet. Het gaat om een kaart die gegevens opslaat voordat deze de gegevens op het netwerk zet. Denk bijvoorbeeld aan grote cat tekeningen, of photoshop bestanden. Tuurlijk voor je 10mb foto is dit niks, maar als je een paar gig+ over moet pompen.. Bestanden gaan 1 voor 1, niet alles in één keer dus, en zoals je leest met minder verschillende schrijfbewerkingen. Voor grote organisaties kan dit best een vooruitgang zijn!

Applicaties zorgen zelf voor de ordening van data binnen hun eigen bestanden. Juist bij heel grote bestanden zou zo'n data-ordenings-kaart niet nodig zijn. Wel weer bij heel veel verschillende soorten bestanden.

Heb jij het artikel uberhaubt wel gelezen of zie je alleen de woorden 'netwerkverkeer' en '1000 dollar'? anders zou je toch weten dat het om een heel ander apparaat gaat.

Het wordt allemaal maar sneller en groter qua opslag.

Maar dit is iets waar je veel meer baat bij hebt, omdat je bijvoorbeeld in een bedrijfsituatie met veel werkplekken je data kunt verzenden/ophalen in een snellere tijd kunt produceren.

Zelf denk ik dus dat dit wel toekomst is, maar waarom Marvell die hiermee uitkomt?

als je op elke client zo'n kaartje moet gaan stoppen dan wordt je ook niet vrowlijk hoor,

ik denk dat dit soort kaartjes vooral nuttig zijn voor clusters waarbij bijv de webserver niet zelfs ook de data bevat. en zaken zoals vmware nodes waar je virtuele schijf ook op een san staat. in dat soort toch al dure machines zijn dit soort kaartjes vrij goedkoop en leveren door de hoge data-druk ook veel potentiele snelheidsverbeteringen.

Is dit apparaat niet juist bedoeld voor de computer die als NAS fungeert? Dat lijkt me de beste plek om te cachen voor je hardeschijf :).

Omdat netwerktechnologie Marvell's core-business is? Gokje ;)

niet vanwege Marvel's spiderman's netwerken dus.

Zitten we op zo een toepassing te wachten? Het aantal toepassingen lijkt me alvast beperkt, want het lijkt me niet echt van toepassing voor kritische applicaties. Neem bijvoorbeeld een transactie op een database. Je programma kan allerlei stappen uitvoeren terwijl die kaart je acties in cache steekt. Vervolgens crasht het netwerk en kan je kaart de gegevens niet meer wegschrijven naar de databaseserver. Moet je programma het gebruik van zo een kaarten in rekening gaan brengen?

Neem bijvoorbeeld een transactie op een database. Je programma kan allerlei stappen uitvoeren terwijl die kaart je acties in cache steekt.
tot hiertoe kan ik je nog prima volgen maar dan
Vervolgens crasht het netwerk en kan je kaart de gegevens niet meer wegschrijven
en dan vraag ik me af hoe je zonder dit kaartje nog wel data had weggeschreven over een gecrashed netwerk.

volgens mij heb je op dat moment zowiso grotere problemen ... als zowel je primaire als je backup verbinding naar je 'bedrijfscritische' database weg is, heb je wel dingen om je meer druk over te maken dan die laatste paar kb die out of sync is.

Eigenlijk vroeg ik me af wat er zou gebeuren als alles volgens je applicatie alles ok is, maar dat het stukje data nog in cache zit op de netwerkkaart op het moment dat het netwerk uitvalt.

Een database transactie is misschien een slecht voorbeeld omdat die nog een succes of failure moet terugsturen, maar er zijn misschien andere voorbeeldjes.

Dit is een non probleem; als het al zo werkt dat de data wordt opgevangen door je netwerkkaart en nog niet is verstuurd, dan heeft je applicatie dus ook nog geen received status gekregen. Dit probleem kan zonder de kaart ook optreden (bijvoorbeeld: pakket is onderweg en netwerk crasht). Wat doe je dan? dit is op verschillende lagen in het netwerk allang opgevangen, dus het lijkt me niet dat hier een nieuwe situatie is neergezet die aanpassingen op applicatie niveau vereist.

Dergelijke kaarten zijn battery backed up, uitval betekend dat je veelal 36uur de tijd hebt om de boel te laten wegschrijven. Op de HP P800 kan je er zelfs meerdere parallel aansluiten (offline accu vervangen zonder dataloss). Op de P600 zit er ook nog op de RAM cache module een individuele BBU.

Iemand een idee hoe dit precies werkt? Een soort hardwarematige filesystem wat I/O sequentieel schrijft maar random weer terugleest?

Met ZFS en SLOG disk kun je hetzelfde doen: sequential I/O maken van random I/O. Kost je helemaal niets. :)

Vraag is, als 1000VPS'en die op 1 server draaien allemaal hetzelfde naar de NAS willen schrijven, of andere oplossingen dit ook kunnen beperken tot 1 actie, zoals deze Marvell-oplossing. Geen flauw idee of zoiets reeds in ZFS (of OCFS e.d.) zit?

Idee is wel aardig, en er is immers ook hardware/software RAID, voor beiden is een markt.

zfs moet de SLOG/ARC op 1 machine hebben, niet op een andere node in het netwerk.

En elke journalled file systeem (inclusief ZFS) raakt corrupt als de writes zomaar georderd worden t.o.v. van de write journal. Het gaat pas fout als de stroom ervan af gaat.....
«  1  2  »

Op dit item kan niet meer gereageerd worden.

Volgende 15:33 Quantumregister van 14 qubits geproduceerd
Vorige 14:49 'Sony gestopt met productie Alpha SLT-A33-camera'
VNU Media logo Hosted by True

© 1998 - 2012 Tweakers.net B.V. - Alle rechten voorbehouden - Contact - Jouw privacy - Algemene Voorwaarden

Uitgever van:

Website van het jaar 2011