Gerucht: AMD werkt aan Smart Access Storage, wellicht op basis van DirectStorage

AMD werkt wellicht aan een Smart Access Storage-techniek. Dat melden bronnen aan VideoCardz. Deze functie zou in juni geïntroduceerd worden in een Corsair-laptop. Het kan gaan om AMD's implementatie van Microsoft DirectStorage, maar dat is niet bevestigd.

De Corsair Voyager-laptop met AMD Smart Access Storage moet in juni uitkomen, vertelt de betrouwbare AMD-leaker Disclosuzen aan VideoCardz. Dat wijst erop dat de introductie van SAS tijdens de Computex-beurs in Taipei plaatsvindt. AMD-ceo Lisa Su houdt daar op 23 mei een presentatie, om 08.00 uur Nederlandse tijd.

Het is niet bekend wat Smart Access Storage precies inhoudt. Misschien betreft het AMD's implementatie van Microsofts DirectStorage-api, die het kopiëren van game-assets van een ssd naar de gpu efficiënter moet maken. Dat moet onder meer de laadtijden in games verbeteren. DirectStorage wordt al sinds 2020 gebruikt in de Xbox Series-consoles en de api werd in maart uitgebracht voor de pc. De techniek werd eerder gedemonstreerd in de game Forspoken, die in oktober verschijnt. Tot op heden zijn er nog geen games die met DirectStorage overweg kunnen.

De naam Smart Access Storage doet verder denken aan Smart Access Memory, dat in 2020 door AMD werd geïntroduceerd. SAM is AMD's implementatie van de PCIe Resizable BAR-functie. Hiermee kunnen processors in één keer het volledige geheugen van een videokaart benaderen. Voorheen kon dat met maximaal 256MB tegelijk.

Bron: VideoCardz

Reacties (36)

Microsofts DirectStorage-api. Die functie maakt het mogelijk voor de gpu om direct ssd-opslag te benaderen, zonder tussenkomst van de cpu of het geheugen.

Als ik de (niet al te uitgebreide) API documentatie van DirectStorage goed begrijp dan klopt dit niet. In DS can decompressie door de GPU gedaan worden maar de data gaat altijd via het systeem geheugen.

De scheiding tussen RAM en VRAM blijft een grote bottleneck in PC's. Ik zie ook niet hoe dit op te lossen valt zolang de PC wereld blijft vasthouden aan modulaire hardware. Misschien dat dit gaat veranderen zodra PC's eindelijk overstappen naar ARM.

[Reactie gewijzigd door Aaargh! op 6 mei 2022 11:19]

All system RAM is too slow for most graphically-intense games. You need to get those huge chunks to the GPU’s VRAM to do something useful. That’s why GPUs have their own dedicated RAM; system memory has much, much higher latency and often significantly less bandwidth.

To wit:

Old way: NVMe → DRAM → CPU decompression (slow & CPU gets too busy) → back to DRAM → GPU VRAM

DirectStorage: NVMe → DRAM → GPU decompression (fast & GPU knows precise asset requirements) → GPU VRAM

With DirectStorage, the CPU is gone. That is maybe ~25% of DirectStorage. The other changes are pretty significant, too:

Allow for larger chunks per I/O request, thus much lower I/O overhead
Allow for higher batched, parallel I/O requests
Removing a lot of extraneous transactions / steps during the I/O request pipeline

Hmm zou het niet ook nog mogelijk zijn om de boel direct van de opslag in het videogeheugen te laden, zonder deze tussenstap van het systeemgeheugen?

Dat doen de io controlers van console al vooral de PS5.
Gpu moet dma naar nvme ssd en gpu moet dan ook de decompression doen.

De scheiding tussen RAM en VRAM blijft een grote bottleneck in PC's

Hoe kom je bij die gekkigheid? Het is juist andersom. Een GPU mag lekker hoge latency hebben als de bandbreedte maar optimaal is. Een CPU heeft wel baat bij bandbreedte maar nog veel meer bij lagere latency.

Die twee combineren berekent of een GPU kreupel maken of een CPU kreupel maken. Apple lost dat deels op door een gigantisch complexe geheugenbus te gebruiken, maar dat maakt de chip dus ook weer even meer dan tien keer groter en fors duurder dan een gemiddelde high end x86 chip. Zo simpel als jij het stelt is het dus totaal niet en zelfs dan presteert de GPU minder dan je vanuit de hoeveelheid hardware zou verwachten. Kijk maar eens hoe droevig dit apparaat presteert, waar ze GDDR6 koppelen met een x86 cpu. Niet vooruit te branden.

ARM heeft vele interessante kanten, maar het gedeelde geheugen is juist een zwakte. Wel weer goedkoper, dat was het oorspronkelijke idee ook.

[Reactie gewijzigd door fapkonijntje op 6 mei 2022 11:59]

Gedeeld geheugen zorgt juist een enorme performance winst bij vrijwel alle taken, behalve misschien games. Uiteraard wil je geheugen met lage latency en veel bandbreedte. Op een GPU kom je makkelijker weg met hoge latency (vanwege latency hiding) maar dat wil niet zeggen dat een GPU hier ook niet gevoelig voor is. Een CU kan niet een onbeperkt aantal SIMD-groups (a.k.a. warps of wavefronts, afhankelijk van GPU fabrikant) suspenden. Caches helpen, maar ook daar zitten grenzen aan.

Ik werk zelf vooral met iOS/Metal en de mogelijkheid om zonder dure kopieer acties data tussen GPU en CPU uit te wisselen is van onschatbare waarde.

Maar je hoeft het niet van mij aan te nemen, hier een een thread van de lead developer van Affinity Photo, waarin hij uitlegt (met benchmarks) hoe enorm veel performance winst er te halen is vanwege UMA.

[Reactie gewijzigd door Aaargh! op 6 mei 2022 12:51]

Maar je hoeft het niet van mij aan te nemen, hier een een thread van de lead developer van Affinity Photo, waarin hij uitlegt (met benchmarks) hoe enorm veel performance winst er te halen is vanwege UMA.

Hij zegt in die thread juist dat het niet zozeer UMA is wat performance geeft, maar de hoge bandbreedte van/naar de GPU:

The lack of UMA didn’t really seem to matter - the benchmark scores on modern discrete GPUs are very high. Photo also seemed to scale well with more powerful discrete GPUs..

Dit is trouwens ook slechts 1 specifieke toepassing. Elke technische keuze heeft bepaalde voor- en nadelen en werkt beter bij bepaalde toepassingen dan bij andere.

Hij zegt in die thread juist dat het niet zozeer UMA is wat performance geeft, maar de hoge bandbreedte van/naar de GPU:

Je leest wel erg selectief. Hij zegt hier dat het leek alsof het gebrek aan UMA niet uitmaakte, omdat de performance erg goed was, maar dat ze dit niet konden testen omdat er toen geen high-end GPUs met UMA bestonden.

Maybe everything was fine and our work in 1.7 to hide the latency introduced by discrete GPUs was enough 🤷‍♂️

Met de komst van de M1 Max was het eindelijk mogelijk die theorie te testen:

Let’s see what difference that makes then.. let’s see what this “ideal” GPU we designed our apps for way back in 2009 actually scores.

En het resultaat:

The #M1Max is the fastest GPU we have ever measured in the @affinitybyserif Photo benchmark. It outperforms the W6900X - a $6000, 300W desktop part - because it has immense compute performance, immense on-chip bandwidth and immediate transfer of data on and off the GPU (UMA).

M.a.w. een laptop scored beter dan een GPU die alleen al 2 keer zo veel kost als die hele laptop.

Dit is trouwens ook slechts 1 specifieke toepassing.

Inderdaad. En voor games is er niet veel voordeel en ben je waarschijnlijk beter af met een GPU met z'n eigen VRAM. Maar dat is niet echt een markt waar Apple zich op richt. Voor de meeste toepassingen die Apple target, video bewerking, beeld bewerking, etc. is het een enorm voordeel.

En het voordeel wordt alleen maar groter als je meer features in te SoC integreert. In de M1 Pro/Max/Ultra is het geheugen niet alleen gedeeld tussen CPU en GPU, maar ook met b.v. de Neural Engine en de video encoder/decoder.

[Reactie gewijzigd door Aaargh! op 6 mei 2022 14:02]

Gedeeld geheugen zorgt wel en niet voor beter performance.
Het voordeel is dat de cpu en gpu dezelfde data on heap kan benaderen dis copy stap upload wegvalt.
Maar ja systeem geheugen delen , wat intel en AMD doen DDR4/5 is kwa bandbreedte stap terug tov Hoge bandwide een flinke infinity cache of gedeelde L3/L4 kan dit deels opvangen.
Maar M1-ultra als voorbeeld heeft 400gb/s beschikbaar tov 3090ty 1Tb/s
Ook goed voorbeeld zijn de console soc waar er ook highbandwide mem toegepast wordt. Het is daar het vram kan door cpu gebruikt worden vs gpu gebruik conventionele ddr4/5 systeem ram.
En dus is DDR4/5 UMA is langzamer maar on soc memory is sneller.

Dus tov PC is uma trager tov consoles en apple silicon sneller.

ter aanvulling als ik het goed begrijp werkt Nvidia onder de naam RTXIO wel aan een methode om het geheugen te omzeilen en direct vanaf de SSD naar de GPU te kunnen werken en iets meer recent meen ik dat microsoft ook aan iets vergelijkbaars werkt als de volgende stap maar neem dat met een grote lading zout

bron heb ik helaas niet was in de begindagen van direct storage(en RTXIO) dat ik dit ergens hoorde

Eerste reactie, wat is RTXIO een domme naam. Ze gaan directstorage dus implementeren doormiddel van ray tracing .
Dat ze IO gebruiken in de naam ok, maar RTX in die naam slaat nergens op. Hoop dat ze met iets slimmers komen.

RTX staat niet voor raytracing. Het is gewoon een stukje branding.

Waren de smily faces niet genoeg voor de sarcasme? De R in de RTX staat daar wel voor, vandaar het sarcasme.
Aan de andere kant, waarschijnlijk hadden ze het vroeger GTXIO genoemd...
Verdanderd weinig aan mijn mening dat ik het een stomme naam vind.

Wat als de GTX 1660 het bijvoorbeeld ook ondersteund, heeft deze dan ook RTXIO?

helemaal met je eens

aan veel zaken plakken ze RTX zie ook Nvidia broadcast dat begon ook als RTX voice terwijl het ook prima werkt op oudere kaarten

NB in bovenstaande kunnen fouten zitten mijn excuses daarvoor maar dit is zoals ik mij de gang van zaken herinner

Ik denk dat het een kwestie van tijd is, het is nu vooral een ding dat mensen geheugen en andere componenten willen kunnen vervangen en updaten - sterker nog, dat wordt mogelijk verplicht.

Maar als je bijv. de PS5 ziet, daar is alles geintegreerd op 1 mainboard; je kunt er wel storage bijprikken, maar de bestaande storage en geheugen, evenals de CPU en GPU zit vastgesoldeerd.

En op smartphones is het ook allemaal al geïntegreerd, zeker bij bijv. Apple devices.

Wat verplicht wordt is reparatie mogelijkheden dat dat open is ipv closed door eigen tech center. Houd in dat je de hardware toegankelijk moet zijn en zelf de onderdelen kan en mag vervangen. Maar igv PS5 of smartphone of tablet is dat complete mobo vervangt en ook kan bestellen. Het verplicht niet dat modulair moet zijn. Maar dat je het ding niet compleet bij e-waste dropt. Maar repareren kan.
In PC is modulariteit gestandaardiseerd. Maar bij laptops en Nuc is dit door gebruik van mobile tech ook deels stuk beperkt. Igv accu dat die als los onderdeel vervangen kan worden. Dus case toegankelijk is en je dus de inhoud er uit monteren kan.
Tja is werkelijk alles op PCB of in de SOC ge-intergeerd dan is dat 1 vervangbaar onderdeel.

Je hebt gelijk! Ik pas het stuk aan

Ik heb de documentatie ook doorlezen maar ik zie nog niet zo 1 2 3 waar DirectStorage gebruik moet maken van System Memory. De documentatie heeft het er over dat de data die gelezen word in zijn geheel gedecomprimeerd moet kunnen worden en dat niet een heel bestand gedecomprimeerd kan worden door direct storage.

Voor het decomprimeren van een data read lijkt me dus de flow als volgt te zijn: Source(file) -> Upload Heap Staging Buffer -> VRAM Destination. Het lijkt mij dat hierbij het werkgeheugen niet benaderd wordt zover ik begrijp.

Het lijkt mij dat hierbij het werkgeheugen niet benaderd wordt zover ik begrijp.

De Upload Heap zit in systeemgeheugen, dit is een heap met daarin dingen die geupload moeten worden naar de GPU. Hier zie je een beschrijving van D12 heap types.

Dit artikel klopt niet, want met DirectStorage kan de videokaart niet direct bij de NVME. De data gaat nog steeds eerst naar de RAM en van daaruit naar de videokaart.

Op korte termijn zorgt Direct Storage ervoor dat spellen efficiënter data kunnen ophalen. Vroeger werd er bijvoorbeeld meestal een heel texture pack opgehaald, waarin de textures zaten van het monster dat in beeld moet komen, maar ook van andere monsters die helemaal niet in beeld komen. Dus werd er data opgehaald die niet nodig was. Bij een klassieke hard drive is het ophalen van veel data in 1 keer echter veel efficiënter dan kleine leesacties.

NVME is juist beter in het ophalen van kleine beetjes data. Spellen kunnen daar van profiteren door alleen de texture op te halen van het monster dat in beeld moet komen. De traditionele Windows code om data op te halen is echter gericht op het ophalen van een grote hoeveelheid in 1 keer en niet op het parallel ophalen van veel kleine beetjes data. De overhead per ophaal-actie is groot en er is een maximum aan het aantal dingen dat tegelijkertijd opgehaald kunnen worden.

De eerste versie van DirectStorage heeft het doel om het veel efficiënter te maken om vele kleine ophaalacties te doen.

Er is dan nog steeds een probleem met compressie. Op dit moment wordt het uitpakken meestal gedaan door de CPU. Dus gaat de texture eerst naar de RAM, dan naar de processor, die hem uitpakt en weer terug schrijft naar de RAM. Vervolgens wordt deze uitgepakte texture die dus erg groot is, gekopieerd naar de videokaart.

Het gevolg hiervan is dat de CPU flink wordt belast, met name met de textures op hele hoge resolutie die eraan komen. Daarnaast gebruikt dit relatief veel RAM, omdat de uitgepakte texture daarin moet. Maar het grootste probleem is dat de hele uitgepakte texture naar de videokaart moet worden gekopieerd. Daar zit nu vaak een flinke bottleneck.

Je kunt de CPU-belasting verlagen door de texture niet ingepakt op te slaan, wat sommige spellen doen, maar dan kost het ophalen van de data weer langer omdat de bestanden groter zijn. Het is ook vervelend omdat de spellen dan erg veel ruimte innemen op de schijf.

Microsoft heeft het plan om in de toekomst de decompressie-stap te verplaatsen naar de videokaart. In die situatie gaat de ingepakte texture naar de RAM en daarna direct door naar de videokaart, die hem uitpakt. Hiervoor hebben we ondersteuning nodig van betere compressie-algoritmes in de videokaart zelf. Op termijn verwacht ik ook dat er speciale hardware op de videokaart komt voor het uitpakken.

[Reactie gewijzigd door Ludewig op 6 mei 2022 12:13]

Het probleem wat onderandere direct storage tracht op te lossen zit dieper, permanente storage is dusdanig snel aan het worden dat we bottlenecks krijgen met storage die we niet gewoon zijn. Uit mijn eigen ervaring met Intel P5800X (een van de snelste NVMe op dit moment), je CPU bottleneckt die drive.

Dat is een probleem want als je die dan over netwerk wilt aansturen is het helemaal feest. Zelfs met technieken als RDMA (CPU bypass voor netwerk net zoals direct storage CPU bypass is voor GPU) en converged ethernet (RoCe) bottleneckt je netwerk langs alle kanten dit soort drives. iSCSI en SAS kan je helemaal al vergeten, men wilt nu met NVMe-oF toevoegen. Waar RDMA de CPU bypast voor het netwerk wilt men met NVMe-oF ook de CPU bypassen langs de NVMe kant zodat de NVMe rechstreeks door het netwerk aangesproken word. In dat opzicht is direct storage eigenlijk hetzelfde als NVME-oF maar het 1 is richting GPU terwijl het andere richting NIC is.

Echter als we nu al NVMe drives hebben die lokaal op CPU bottlenecken dan zal NVMe-oF het ook niet oplossen. Het probleem is overigens niet bandbreedte maar wel reactietijden/latency.

Direct storage is dus niet meer dan techniek nummer x in een poging de snelheden die NVMe hedendaags kunnen halen ook effectief inzetbaar te maken. Dan negeer ik nog de opkomst van PMem voor het geval NVMe nog niet snel genoeg naar je zin is, dat is persistant memory ofwel een drive die in een RAM slot gaat maar geen RAM is. Als je dat in je gaming pc zou gaan steken (tot op heden is dat server only) dan ga je technieken als direct storage héél hard nodig hebben om er ook effectief iets aan te hebben.

Ik vraag me af wat de toekomst is van de huidige moederborden. Die zijn al 20jaar hetzelfde maar om pc’s efficiënter en vooral sneller te maken moeten er mss wel heilige huisjes sneuvelen. Niet iedereen wil zo’n verandering. Al loopt ATX wel tegen zijn limieten aan.

De afstanden tussen ram Ssd, Gpu en Cpu zijn veel te groot aan het worden en er onstaat een wens dat gpu’s, ssd’s gaan aansturen. De tijd dat de CPU of de chipset in het moederbord enkel het werk verdelen en alle aangesloten componenten verbinden lijkt voorbij.

Bijv decompressie op GPU en die textures en maps en die dan rechtstreeks in het Ram
Of Ssd opslaan.

Kijk naar de Apple silicon, daar kan het RAM geheugen zowel door de CPU en de GPU gebruikt worden. De setup is goed voor 800Gb/s.

De SSD zit dichter bij de GPU dan bij een gewoon moederbord. De controller zit zelfs mee in de soc verwerkt zodat zowel de Cpu als de Gpu de SSD kunnen aansturen. Dit is compleet anders dan wat we gewoon zijn in de pc-wereld.

Ik verwacht voor de Mac pro een gelijkaardige setup maar dan met een externe GPU. Wel benieuwd hoe de architectuur er ongeveer gaat uitzien want ik ben er vrij zeker van dat het ook de PC markt of zelfs consolemarkt gaat beïnvloeden na verloop van tijd.

[Reactie gewijzigd door Coolstart op 6 mei 2022 11:34]

Ik verwacht voor de Mac pro een gelijkaardige setup maar dan met een externe GPU.

Een externe GPU zie ik niet snel gebeuren. Apple heeft groot ingezet op unified memory en ik zie niet hoe je dat voor elkaar gaat krijgen met een externe GPU. Zeker in de Mac Pro wil je UMA, want de performance voordelen zijn echt enorm, zeker voor GPGPU taken.

[Reactie gewijzigd door Aaargh! op 6 mei 2022 11:35]

Je hebt wel gelijk. Die kans is relatief klein. Als alles unified wordt en daardoor zuiniger en krachtiger dan kan het bijna niet anders dat AMD of Intel ook met zo’n package komen.

Zowel Intel als AMD kunnen cpu’s en gpu’s maken dus dat kan allemaal niet zo moeilijk zijn. Maar again, het einde van de traditionele modulaire pc.

Of het zover zal komen is iets anders. Ik kan me nog een discussie herinneren in het jaar 2000 en toen dachten er ook veel dat de komst van igpu’s de dedicated GPU’s gingen verdringend. Dat is ook nooit gebeurd.

[Reactie gewijzigd door Coolstart op 6 mei 2022 12:01]

Zowel Intel als AMD kunnen cpu’s en gpu’s maken dus dat kan allemaal niet zo moeilijk zijn. Maar again, het einde van de traditionele modulaire pc.

AMD doet dit al, de SoC voor de XSX en PS5 zijn ook zo opgebouwd. Maar inderdaad, dit kan niet modulair, vooral het RAM is een probleem. Je wilt RAM met lage latency en hoge bandbreedte, die moet noodzakelijk heel dicht bij de SoC zitten (of er in geïntegreerd). Daarom zitten op een GPU de RAM chipjes ook op de PCB gesoldeerd en niet op een vervangbare insteekkaart zoals wel het geval is met het systeemgeheugen.

Een groot probleem is natuurlijk de hitte. Op een gegeven moment kun je dat niet meer goed afvoeren.

Maar misschien hebben we straks een moederbord met twee sockets, 1 voor de CPU en 1 voor de GPU. Dan kan het een stuk dichter bij elkaar.

Dat zou ik wel zien zitten. Makkelijk koelen met 2 waterblokken, extra stil.

Kijk naar de Apple silicon, daar kan het RAM geheugen zowel door de CPU en de GPU gebruikt worden.

Het geheugen zit daar in de CPU, net zoals bij een mobiele processor gebruikelijk is. Hij heeft ook een relatief sterke iGPU.

Ik verwacht zelf dat er door multi-die technologie meer in de processor zelf komt. Bij een monolitische chip gaan de kosten erg hard omhoog als die chip groter maakt, maar bij multi-die koppel je meerdere kleine chips aan elkaar, waardoor de kosten binnen de perken blijven.

Het nadeel is wel dat je straks minder ruimte hebt om zelf componenten te kiezen.

Ik zie losse ram modules ook nog wel een laag tussen een cpu met geïntegreerd geheugen en een ssd worden en qua keuze: Intel en amd kunnen natuurlijk net als nu tig verschillende configuraties aanbieden.

Dat zie ik niet zo voor me, want dan krijg je eerder vertraging omdat er een extra stap zit tussen de NVME en de echte RAM. Dan kun je beter meer cache in je NVME stoppen.

Bij integratie zal je vast zien dat je gedwongen gaat worden om een duurdere processor te nemen als je meer geheugen wilt, wat onhandig kan zijn, al is de hoeveelheid RAM voor veel toepassingen niet erg belangrijk. 16 GB voldoet al heel lang voor mid-range gebruik.

ATX is een beetje lomp en weinig hebben iets aan al die pcie sloten, micro-ATX is qua verkoopcijfers flink op de retour helaas, en met mini-itx ben je weer zo beperkt. Ik zou denken micro-ATX of DTX (2-3 sloten is prima) met iets meer in de breedte, dan 3-4 2280 slots recht met de aansluiting recht tegen de socket aan in de gewonnen ruimte, dan is afstand met pcie 5.0 en 6.0 ook niet zo'n probleem meer. Misschien kan er een E-key bij als standaard.

En dan gewoon alles p2pdma, helemaal klaar. Misschien nog alleen 12V uit de voeding maar laat her omzetten naar 3,3 en 5V maar aan de componenten zelf en niet alles in het moederbord proppen.

Grappig. Soort directx maar dan voor storage

Zoiets - DirectX is een verzameling ( ook wel een "paraplu benaming") technieken, DirectStorage is onder die paraplu gezet. Meer details over hoe het werkt zijn altijd wel te googlen

Hopelijk werkt dit ook wanneer je je NVMe-SSD's in AMD-RAID geconfigureerd hebt staan. Mijn NVMe schijven in mijn desktop zijn allemaal in RAID 0 geconfigureerd en hopelijk werkt Smart Acces Storage dan ook.
Waarschijnlijk zal ik wel eerst mijn PCIe 3.0 NVMe SSD's moeten vervangen door PCIe 4.0 SSD's voor optimale prestaties.

Ik vind SAS maar een slecht gekozen afkorting. Deze is al in gebruik in de storage context en zeker nog wel relevant.

Echt verdiept heb ik mij niet in deze materie maar weet wel dat mijn systeem Resizable BAR ondersteund en werkzaam is. Ik zit mij alleen af te vragen hoe het zit wanneer games of andere toepassingen gebruik willen maken van video-ram wat dan tegelijkertijd ook als storage gebruikt word. Zo kan ik mij voorstellen dat je momenten krijgt dat dus eerst het videoram geleegd moet worden alvorens een toepassing videoram kan gebruiken. Gaat dit niet in bepaalde situaties voor conflicten zorgen of dat dan vertragingen kunnen ontstaan waarmee je het voordeel van snel videoram weer teniet zou gaan doen.