We staan aan de vooravond van de introductie van een nieuwe generatie solid state drives. Met de komst van Intels Alder Lake-processors en bijbehorende moederborden beschikken we sinds kort over een consumentenplatform met PCI Express Gen5-lanes. Ook AMD introduceert op korte termijn zijn nieuwe platform met de AM5-socket en Ryzen 6000-serie, die eveneens PCIe Gen5-interfaces zullen bieden.
Dat betekent dat niet alleen videokaarten over twee keer zoveel bandbreedte kunnen beschikken als de huidige Gen4-interface biedt, maar dat ook ssd's voorzien kunnen worden van snellere verbindingen met de buitenwereld. Naast de processors en moederborden die van de benodigde PCIe Gen5-lanes zijn voorzien, is er nog een cruciale component nodig voor snelle ssd's: de ssd zelf. Die is voor Gen5-snelheden weer primair afhankelijk van twee componenten: de controller en snel nand. Voor dat laatste zorgen flashfabrikanten uiteraard, met onder meer Kioxia met zijn BiCS-flash en Micron met de opvolger van de B47R-chips. De huidige nandchips ondersteunen snelheden tot 1600 of 2000MT/s, maar voor Gen5-drives is sneller nand nodig. Dat moet komen met Onfi 5-chips, die tot 2400MT/s ondersteunen.
De controller verzorgt de verbinding tussen het nand en de rest van de pc, en inmiddels zijn er enkele fabrikanten die een Gen5-controller hebben aangekondigd. Een van de weinige fabrikanten die daar vrij uitgebreide informatie over geeft, is Phison en daarop zal het zwaartepunt van deze preview liggen. Dat wil natuurlijk niet zeggen dat andere fabrikanten geen PCIe Gen5-controllers voor nog snellere ssd's maken, maar sommige geven maar mondjesmaat informatie vrij of wachten zelfs totdat er daadwerkelijk producten in de schappen liggen.
Phison E26-controller op M.2-ssd en AIC
Gen5 van Phison
Zoals gezegd is Phison vrij scheutig met informatie rond zijn nieuwe controller. Tijdens de CES en in virtuele presentaties met de pers laat het bedrijf graag zijn nieuwste PS5026-E26 zien. Dat is de PCIe Gen5-controller die inmiddels gereed is voor sampling. De eerste exemplaren werden in december bij TSMC geproduceerd, op het 12nm-procedé waarmee ook de E18 gemaakt wordt. Onder de motorkap verschilt de E26 echter behoorlijk, niet in de laatste plaats omdat de controller eigenlijk helemaal niet voor de consumentenmarkt wordt gemaakt.
Net als de makers van de drives en controllers die we op de volgende pagina bespreken, concentreert ook Phison zich primair op de zakelijke markt. Het heeft de E26-controller dan ook voor datacentra en hpc-doeleinden ontwikkeld. Aangezien het echter lang duurt voordat producten voor dat soort markten gevalideerd zijn, zullen consumentenproducten op basis van de PS5026-E26 eerder verschijnen dan zakelijke. Volgens Phisons huidige schatting moeten er rond juni of juli M.2-drives met de E26-controller en snel nand verschijnen. MSI liet alvast een insteekkaart op basis van de E26-controller zien; de M.2-slots van vrijwel alle Alder Lake-moederborden zijn immers nog Gen4. Specificaties en prestaties van de Spatium-ssd met E26-controller heeft MSI nog niet vrijgegeven.
Een prototype dat nog zonder optimalisaties aan de firmware werd getest, leverde sequentiële lees- en schrijfsnelheden van bijna 14GB/s en 13GB/s op, met random reads en writes van 1,5Miops en 2Miops. Dat is onder meer te danken aan het achtkanaalsontwerp van de controller, met in totaal 32 chip-enables. Dankzij die architectuur en in combinatie met de 1TB-chips die met de controller gecombineerd kunnen worden, bedraagt de maximale capaciteit van een E26-ssd maar liefst 32TB. Of dat ook in een M.2-formfactor mogelijk is of dat daarvoor naar een insteekkaart moet worden uitgeweken, is nog afwachten.
Controller
PS PS5026-E26
PS5018-E18
PS5021-E21T
P5013-E13T
Interface / protocol
PCIe 5 x4 NVMe 2.0
PCIe 4 x4 NVMe 1.4
PCIe 4 x4 NVMe 1.4
PCIe 3 x4 NVMe 1.3
Cores
2x Cortex R5 3x CoX-processor
3x Cortex R5 CoX-processor
1x Cortex R5
1x Cortex R5
Kanalen / CE
8x / 4x
8x / 4x
4x / 4x
4x / 4x
Nandsnelheid
2400MT/s Max 32TB
1600MT/s Max 8TB
1600MT/s Max 4TB
800MT/s Max 2TB
Dram
DDR4 3200MT/s Lpddr4 3200MT/s
DDR4 2667MT/s
Geen (HMB)
Nee
Procedé
TSMC 12nm
TSMC 12nm
TSMC 12nm
TSMC 28nm
Sequentiële snelheden
r: 12GB/s w: 11GB/s
r: 7400MB/s w: 7000MB/s
r: 4800MB/s w: 4500MB/s
r: 2500MB/s w: 2100MB/s
iops
4k rr: 1500k 4k rw: 2000k
4k rr: 1000k 4k rw: 1000k
4k rr: 550k 4k rw: 600k
4k rr: 230k 4k rw: 400k
Phison maakt de E26-controller met veel meer eigen onderdelen dan voorheen. Waar de E18 van drie Cortex R5-cores en een enkele dual-CoX-processor gebruikmaakte, bestaat de PS5026-E26 uit twee R5-cores en drie CoX-processors. De inzet van de eigen CoX-processors moet niet alleen de prestaties verbeteren, maar dankzij de gespecialiseerde logica in de processors ook een zuinigere controller opleveren dan de allpurpose-R5-cores. Zo kan de nieuwe controller ondanks hogere prestaties binnen zijn thermal budget blijven.
Gaming
Op het gebied van gaming zou Phison met de E26 flinke winsten moeten halen. Phison heeft meegewerkt aan de ontwikkeling van de officiële expansion card, de externe ssd voor de nieuwste generatie Xbox-consoles met Velocity Architecture. Daarmee heeft Phison ervaring opgedaan om ook op Windows-systemen, met behulp van DirectStorage, gaming aanzienlijk sneller te maken. Hoeveel winst daar te behalen valt, illustreerde Phison aan de hand van de laadtijden van Fallout. De laadtijd op een Xbox zou 4,2 seconden bedragen, terwijl dat op een pc pakweg 120 seconden zou duren.
Met voldoende snelle ssd's zouden videokaarten met minder vram toekunnen, doordat de ssd dan in staat is om on-demand data te leveren die anders in het videogeheugen gecachet moet worden. In DirectX 12 wordt DirectStorage al ondersteund; het wachten is vooralsnog op games en videokaarten die daarmee om kunnen gaan. Phison zegt dat zijn ssd's, en zeker modellen met de nieuwe E26-controller, klaar zijn voor de techniek. Ook ssd's op basis van de E18-controller, zoals de Seagate 530 of Corsair MP600 Pro, zouden na een firmware-update met de techniek overweg kunnen. De opslageisen voor gaming gaan volgens Phison met DirectStorage meer op een stream lijken, waarbij dezelfde data, bijvoorbeeld hud- of cockpitelementen, veelvuldig gelezen worden.
Phison E18-ssd met gamingfirmware levert gamestream zonder horten.
Dat zou dan weer flinke implicaties hebben voor read disturbance, dat weliswaar opgevangen kan worden door slim flashmanagement. Read disturbance treedt op als flashcellen worden uitgelezen en de opgeslagen lading, en daarmee de data, van omliggende cellen wordt beïnvloed. Volgens Phison hebben de meeste controllers daar moeite mee als ze geen gelegenheid krijgen om dat te corrigeren doordat de ssd bij DirectStorage-toepassingen continu zwaar wordt belast. Phisons controllers zouden daar dankzij de extra CoX-processors en hun foutcorrectie veel minder moeite mee hebben en wel in staat zijn de data te streamen én degradatie te voorkomen.
Andere fabrikanten
Adata met SMI en Innogrit
Tijdens de CES lichtten sommige fabrikanten voorzichtig een tipje van de sluier rond hun 'Gen5-plannen' op. Zo heeft Adata twee projecten met Gen5-drives op stapel staan onder de codenamen Nighthawk en Blackbird. Die eerste is opgebouwd rondom een controller van Silicon Motion, de SM2508, terwijl de Blackbird wordt aangedreven door een Innogrit IG5666-controller. Veel details over beide controllers heeft Adata, of de desbetreffende controllerfabrikant, nog niet gegeven. Significant meer dan dat het PCIe Gen5-controllers met vier lanes betreft weten we niet, en Adata gaf enkel sequentiële lees- en schrijfsnelheden en IOPS-cijfers op. Die zouden voor de Nighthawk op 14GB/s en 12GB/s uitkomen; de Blackbird zou op 14GB/s en 10GB/s uitkomen. Beide controllers ondersteunen capaciteiten tot 8TB. De Nighthawk zou 1,8Miops halen bij random reads en 1,6Miops voor random writes; voor de Blackbird zouden die prestaties op 2Miops en 1,4Miops uitkomen.
Adata Nighthawk en Blackbird. Beeld: Hothardware
Samsung
Samsung heeft weliswaar een PCIe Gen5-drive in ontwikkeling en deze ook laten zien, maar dat is vooralsnog een enterprisedrive, waarmee die PM1743 voor de consumentenmarkt minder relevant is. De PM1743 is dan ook in U2- of E3S-formfactor verkrijgbaar en zou worden aangedreven door een voorlopig naamloze Gen5-controller. Die zou sequentiële snelheden van 13GB/s voor lezen en 6,6GB/s voor schrijven mogelijk maken, met 2,5Miops voor random reads en 250kiops voor writes. Of een model gebaseerd op deze drive ook zijn weg naar de consumentenmarkt zal vinden, is nog niet bekend.
Kioxia en Fadu
Nog twee PCIe Gen5-drives die enkel voor de enterprisemarkt zijn aangekondigd, komen van Kioxia en Fadu. Kioxia heeft de CD7-drives voor datacentra en enterprisetoepassingen aangekondigd, maar dat lijken met twee PCIe Gen5-lanes niet direct snelheidsmonsters. Daarop zullen we moeten wachten totdat het ontwerp voor consumentendrives met een M.2-formfactor geschikt wordt gemaakt. Het Koreaanse Fadu is gespecialiseerd in opslag voor de zakelijke markt en komt met E1-, E3- en U2-drives voor datacentra gebaseerd op de FC5161-controller. Die Fadu-controller maakt gebruik van zestien kanalen om Onfi 5-nand aan te sturen en haalt snelheden van 14,6GB/s voor lezen en 10,4GB/s voor schrijven, gecombineerd met 3,4Miops voor lezen en 735kiops voor schrijven.
Tot slot
E21T
Behalve met de nieuwe PCIe Gen5-drive komt Phison met een opvolger voor de PS5019-E19T. De PS5021-E21T is net als de E19T een dram-loze quadchannelcontroller, maar dan op TSMC's 12nm-procedé gemaakt. De controller biedt een PCIe Gen4 x4-interface naar de pc, net als de E19, maar de interface naar het nand is geschikt voor 1600MT/s-nand, waar dat bij de E19T op 1200MT/s blijft steken. Daarmee zou de E21T met hetzelfde Micron B47R-nand als de huidige topmodellen met de E18-controller worden uitgerust. De prestaties van E21T-drives zouden volgens Phison dan ook in de buurt van E18-drives komen, maar lager gepositioneerd worden. Drives gebaseerd op de E21T moeten al in februari of maart verschijnen.
Van de E21T komt ook een compacte bga-versie, die in gamingtelefoons en -tablets gebruikt moet worden. De bga-versie heeft, omdat geen gebruik wordt gemaakt van hmb, lagere random-writeprestaties dan de gewone E21T. Voor de E19T sloeg Phison een bga-versie over, maar de E13T kreeg wel een bga-versie. Leuk detail: die controller wordt in de Marsrover gebruikt.
Vergelijkingstabel
We hebben de specificaties van de tot dusver bekendgemaakte controllers op een rijtje gezet.
Binnen nu en een paar maanden moeten de eerste drives voor consumenten met PCIe Gen5-interfaces op de markt komen. 'Wie heeft dergelijke snelheden nodig?' denk je wellicht. Het zijn vooral gametoepassingen die profijt zullen hebben, zeker in combinatie met DirectStorage-techniek. Maar ook voor normaal gebruik moeten snellere Gen5-ssd's een prettige upgrade worden. En dan hebben we het niet zozeer over sequentiële snelheden, maar vooral over de random-prestaties. Met nandsnelheden tot 2400MT/s en de E26-controller heeft Phison goede papieren op dat vlak, ook gezien de ervaring van het bedrijf met de Xbox. En er zit nog wat rek in de prestaties, want die 2400MT/s van flashgeheugen zal niet het absolute plafond zijn, zo liet Phison doorschemeren.
Leuk dat Alder Lake wordt genoemd, maar deze biedt geen PCIe 5 snelheden aan SSDs.
Alle M2 sloten op Alder Lake zijn PCIe 4 en ook de chipset is PCIe 4.
Alleen de 16 lanes van de graka zijn PCIe 5.
Als leek krijg je dus geen PCIe 5 SSDs op Alder Lake.
Dat klopt niet helemaal. Er zijn moederborden (primair high-end ASUS boards zoals de ASUS ROG Strix Z690-E Gaming WIFI) die de x16 slot voor de GPU splitten en daardoor PCIe Gen5 NVMe aanbieden.
Maar het is inderdaad onzin dit als een voordeel voor Intel Platform te noemen. En het is nog maar zeer de vraag of dat met Raptor Lake wel gaat veranderen.
Bifurication kan je lanes opsplitten in segmenten 16x naar 4x 4x 4x 4x, voorheen kon dat enkel op (in ieder geval niet op de Am5 boardjes) Tr4 boarden geloof ik om zo de Gigabyte Aorus gen 4.0 NVME aan de praat te krijgen.
Niet onmogelijk, maar ook zeker niet echt praktisch. Met de meerkosten die je van die splitter + passende case (gegeven een moederbord die het ondersteunt) hebt ben je waarschijnlijk toch gauw de prijs van zo'n ASUS rond de €500
Waarom niet? Het is technisch alleen mogelijk op alder lake consumentenmeuk.
Technisch niet mogelijk op AMD of andere chipsets, ergo een voordeel voor alder lake, dat niet elke alder lake het ondersteund doet daar niets aan af.
Als AMD later dit jaar geen pci-e 5.0 X4 Nvme ondersteund ga ik toch echt voor die ene Asus. (Graag ook een bredere chipset interconnect)
Klopt, maar het is eigenlijk alleen een zinnige optie als je geen PCIe GPU wilt hebben. Anders bottleneck je je GPU om die winst aan sequentiële throughput te krijgen. Er zijn zeker usecases maar het platform is toch echt zo opgebouwd dat je zware tradeoff hebt als je die PCIe5 voor NVMe wilt gebruiken.
Ik vraag me dat af. Ik vermoed dat de performance loss bij een 4080 op een x16 4.0 slot minder dan 5% is (afgaande op de 3.0 => 4.0 adoptie, was ongeveer 1,5 tot 3% op x570 voor een enthousiast gpu).
Ik verwacht daarentegen dat een pci-e 4.0 Nvme simpelweg niet snel genoeg is om on-the-fly realtime de data in te laden in bijvoorbeeld de games die met kerst 2023 uitkomen, waardoor je dan dus, laadtijden, buffering en texture pop achtige dingen gaat krijgen IPV de naadloze ervaring ( a la god of war)
Ik verwacht oprecht dat de gehele game ervaring op een GPU verbonden met pci-e 4.0 x16 lanes icm met m.2 die x4 5.0 aan de halve * bandbreedte, 16GB/s voltrekt beter is dan op een 5.0 x15 high-end GPU met een 4.0 SSD die niet verder komt dan 8 GB/s
*Het lijkt erop dat Nvme niet verder komt dan de helft van de maximale theoretische bandbreedte (PCI-e 3.0 en 4.0)
[Reactie gewijzigd door eL_Jay op 22 juli 2024 16:57]
Klopt, maar het is eigenlijk alleen een zinnige optie als je geen PCIe GPU wilt hebben. Anders bottleneck je je GPU om die winst aan sequentiële throughput te krijgen. Er zijn zeker usecases maar het platform is toch echt zo opgebouwd dat je zware tradeoff hebt als je die PCIe5 voor NVMe wilt gebruiken.
Nee hoor want aan de GPU kant heb je voorlopig die extra bandbreedte niet nodig. Een PCI-E 5.0 verbinding op x8 heeft dezelfde bandbreedte als PCI-E 4.0 x16. Uberhaupt levert het halveren van die bandbreedte slechts een verlies op van 1% bij een RTX 3080.
Aan de SSD kant wordt die bandbreedte makkelijker benut.
Het probleem is dat er voorlopig ook geen GPUs zijn die PCIe Gen5 ondersteunen dus die GPU Link is gewoon PCIe Gen 4 x8 en dat kan je, zeker aan de minima, wel merken. En tegen de tijd dat we Gen 5 GPUs krijgen (waarschijnlijk later dit jaar) zou het zomaar kunnen dat die dan ook weer profiteren van Gen 5 x16 vs Gen5 x8. Waarom zou je dat potentieel als GPU maker verwaarlozen. Zeker aan de top-end.
[Reactie gewijzigd door Darkstriker op 22 juli 2024 16:57]
Wellicht was ik niet duidelijk genoeg. Mijn punt was dat momenteel de PCI-E 4.0 GPU's eigenlijk geen baat hebben bij PCI-E 4.0 x16. De historie leert dat dit bij de eerste (en tweede) generatie eigenlijk altijd het geval is. Dus het zit er dik in dat ook PCI 5.0 ook voor de eerste en tweede generatie GPU's niks gaat toevoegen.
[Reactie gewijzigd door sdk1985 op 22 juli 2024 16:57]
What just happened? Just as more people are buying PCIe 4.0 SSDs, next-generation PCIe 5.0 storage is making headlines. The latest reveal comes from Intel’s Chief Performance Strategist and former tech journalist Ryan Shrout, who showed off a PCIe Gen 5 Samsung SSD running on an Alder Lake system and hitting some impressive speeds.
PCIe isn't tied to a motherboard's chipset though, it's dependent on the processor, so a motherboard listing a PCIe standard is talking about the processor it is designed for. The Intel B660 chipset is aimed toward midrange to entry-level Alder Lake builds, specifically the non-K series desktop chips.
If the Intel B660 motherboards only list PCIe Gen4, then these Alder Lake chips would not support the new PCIe 5.0 standard that the flagship Alder Lake K-series chips do.
Dus terdege wel opletten welke moederbord en chipset je hebt want het is geen standaard gegeven.
Ik vind dat een rare beslissing van Intel..
Persoonlijk ben ik die snelheid naar een gpu totaal niet nodig. Welke gpu nu en eventueel die dit jaar uitkomen zullen daadwerkelijk echt merkbaar sneller zijn als ze 16x pci5 krijgen tov 16x pci4?
Zal het ook mogelijk zijn om gewoon van die 16 banen de helft of zo te gebruiken (2x4) voor M2 sloten?
Ik vind dat een rare beslissing van Intel..
Persoonlijk ben ik die snelheid naar een gpu totaal niet nodig. Welke gpu nu en eventueel die dit jaar uitkomen zullen daadwerkelijk echt merkbaar sneller zijn als ze 16x pci5 krijgen tov 16x pci4?
Zal het ook mogelijk zijn om gewoon van die 16 banen de helft of zo te gebruiken (2x4) voor M2 sloten?
Dat is toch niet zo heel raar? AMD liep ondertussen al een behoorlijke tijd voorop met hun PCI-E 4.0 ondersteuning. Intel zorgt er nu voor dat ze niet langer volgen maar voorop lopen.
waar reageer jij precies op?
het gaat mij niet op het feit dat Intel nu PCI5 ondersteund.. maar puur op het feit dat ze dat eigenlijk alleen maar doen voor de GPU (er zijn gelukkig dus moederborden die dit wel kunnen splitsen)
ik ben bv benieuwd wat de komende generatie laptops van intel en amd gaan doen, krijg ik daar 2 M2 sloten op PCI5? De GPU aansturing mag van mij wel PCI3 zijn (als voorbeeld)....
Chipset loopt al heel lang lang achter op de cpu lanes. Denk bijvoorbeeld aan een AMD B450 chipset uit 2018 die het moet doen met PCI-E 2.0 x6. Pas met B550 werd dat PCI 3.0 x10. Alleen de X570 heeft PCI-E 4.0 op de chipset. Bij Intel zit Z490/Z590 ook nog PCI 3.0 op de chipset. Ondertussen was het cpu deel natuurlijk al wel PCI 4.0.
Nu zie je dat alles één stapje omhoog gaat. Het cpu deel gaat van PCI-E 4.0 naar 5.0 en het chipset deel van PCI-E 3.0 naar 4.0. Dus eigenlijk heel logisch. Het zou pas een afwijkende beslissing worden wanneer Intel ineens de boel gelijk zou trekken.
This consists of a total of x16 PCIe 5.0 lanes from the CPU set aside for graphics in either an x16 or x8/x8 configuration, and 4x PCIe 4.0 lanes dedicated to storage devices. Another significant improvement over the previous generation is a new PCIe 4.0 x8 DMI link between the CPU and the Z690 chipset. Previously with 11th gen (Rocket Lake), Intel upgraded it from a PCIe 3.0 x4 uplink on Z490 to a PCIe 3.0 x8 uplink on Z590. With Z690, the uplink is now fully-fledged PCIe 4.0 x8 lanes to interconnect things.
[Reactie gewijzigd door sdk1985 op 22 juli 2024 16:57]
Ik snap niet waarom je zo geupvote wordt. Je kan prima ssds in een 16x slot gebruiken via een riser card.
Je bifurcate (als je moederbord niet al 2 sloten heeft) je 16x slot naar 8x en 8x (alder lake chips ondersteunen 2x 8 mode), en gebruikt 8x lanes voor je gfx card en 8x lanes voor je ssd drives.
8x pcie gen 5 is namelijk nog steeds heel veel bandbreedte voor je gfx card. Moet je wel een gen 5 card hebben anders werken die lanes niet in pcie 5 mode.
[Reactie gewijzigd door PjotterP op 22 juli 2024 16:57]
Ik heb nu een Samsung 980 Pro nvme schijf van 1tb en hoewel de snelheid bij het opstarten verwaarloosbaar verschil maakt is dit bij games toch echt wel duidelijk te merken en ben ik vaak de eerste die in een game iets kan doen/zien en dat is met “maar” 6gb/s read/write. Het is soms zelfs merkbaar dat mijn pc eerder klaar is om iets te doen dan dat de server dat is. Dat deze 1e gen pcie5 schijven nu al het dubbelen kwa snelheid halen moeten laadtijden toch wel langzaam tot a thing of the past gaan maken.
Is dit snelheidsverschil ook goed te merken met zware programma’s zoals 3d modelleren of video bewerkingen of leunt dit vooral op het werkgeheugen?
Je hebt het hier over 6gb/s read/write, maar dat is juist net de specificatie waar je geen snelheidswinst mee gaat behalen. Je moet voornamelijk naar de IOPS kijken, een game en Windows bestaan uit allerlei kleine bestandjes die in het geheugen geladen moeten worden, je topsnelheid in read/write ga je dan nooit halen. IOPS helpt om meer (kleine) bestanden per seconde in te kunnen laden en dat is waar je de snelheidswinst zult zien.
Met videobewerking zijn het vaak juist de grotere bestanden, hier zal je meer aan de max read/write hebben.
[Reactie gewijzigd door Chrisz op 22 juli 2024 16:57]
Je hebt het hier over 6gb/s read/write, maar dat is juist net de specificatie waar je geen snelheidswinst mee gaat behalen.
Nee, ook bij het kopiëren van grote blokken grafische data naar je VRAM is behoorlijke winst te halen, een moderne AAA titel kan 5 tot 10GB VRAM gebruiken, het laden heeft ook gewoon tijd nodig.
Zeg niet dat hoge doorvoer zalig makend is, maar het geeft zeker niet een verwaarloosbaar verschil.
Maar IOPS is ook niet zaligmakend, en wordt vaak verkeerd gebruikt om snelheid aan te geven, toegangstijd tot bestanden is het belangrijkste.
Disclaimer: Ja 6 jaar veder is NVMe is een heel stuk relevanter geworden dan toen, zowel qua prijs als prestaties, maar dat is (gelukig) voornamelijk omdat Windows en vooral games (door grotere data blokken te gebruiken) beter met SSDs omgaan, maar NAND heeft ook nog steeds hetzelfde problemen van toen!
Daar PCIe (zelfs x16) en/of NVMe niks doen aan de grootste bottleneck van NAND, de relatief trage toegangstijd van NAND geheugen zelf, en opzichte van geheugen (factor 2000), en zolang je geen grote Queue Depth (QD) hebt, kan je maar een beperkte data snelheid halen, en is 95% van de tijd, zelfs SATA 600 niet een beperkende factor.
Ik denk zelfs met deze SSD, dat je tijdens het opstarten van Windows, je maar 10 tot 50 MB/s aan gemiddelde data doorvoer zal hebben, dat doet SATA ook op zijn makkie!
Dus voordat er hier een hoop gaan zeggen, die wil ik ook wel in mijn PC hebben, helaas voor hen, deze SSD is niet of nauwelijks sneller dan een 850 Pro in SATA uitvoering, voor 99.5% van het desktop gebruik.
En hoewel ik zeker een groot voorstander ben van NVMe, heeft het in tegenstelling van de server markt, zeer weinig voordelen voor desktop gebruik, daar het niet het fundamenteel probleem van NAND oplost, de toegangstijd tot data, en het is puur de random toegangstijd van NAND geheugen die je de das omdoet op de desktop.
Zal mijn oude uitleg van het probleem, die ik eerder poste bij de HWI video review van 1.2TB Intel 750 versie van deze type kaart.
-------------------
Een hoop ge-hype met nagenoeg irrelevante extreem hoge AS SSD scores, maar waar in de praktijk weinig of niks aan hebt, daar QD64(*) super interessant is voor een hele zware database server, maar totaal irrelevant is voor de desktop, waar een QD4 min of meer een echte uitschieter is, en QD1 en QD2 min of meer 95% van de tijd standaard zijn.
En er wordt in zijn geheel niet gesproken over de bijzonder saaie PCMark 8 Storage totaal score, wat veel meer de praktijk weer geeft.
Er zullen vast momenten zijn dat deze SSD lekker rap aanvoelt, vooral bij het laden van grote files, maar in de praktijk zal je er zeer weinig van merken over een normale moderne SATA SSD/
(*)Wat is Queue Depth, QD is het aantal uitstaande disk acties die in de wachtrij staan. De onderstaande uitleg is verre van technisch correct en volledig, maar geeft redelijk goed aan wat er ongeveer in de praktijk gebeurd
Desktop (PCMark 8 scores)
Hoe moet je dat zien, stel je voor je gaat naar een bibliotheek, als je bij de desk komt ben je er steeds met 1~4 mensen tegelijk, als je voor een nieuw boek of een aantal boeken komt, er zijn 64 bediendes de een met een kleine (SATA) kar, de andere bibliotheek met een grote (PCIe 4x) kar.
Server (AS SSD scores)
En hoe moet je dat zien zien, je gaat naar een bibliotheek, en als je bij de desk komt ben je er steeds met 64 mensen tegelijk, als je voor een nieuw boek of een aantal boeken komt, er zijn weer 64 bediendes de een weer met een kleine kar(SATA), de andere met een grote(PCIe 4x).
Waarom zijn er nauwelijks verschillen te zien met PCMark 8
Dat komt omdat er steeds maar max 4 mensen zijn bij de desk die om boeken vragen, gaat de bediende door de rijen boeken heen en komt terug met je boek, de SATA kar komt steeds half vol terug, waar de PCIe kar steeds bijna leeg terug komt, maar wel met net zo veel boeken als de SATA kar.
En als eens een enkele keer je meerdere boeken te gelijk opvraagt dan, dan kunnen die sneller geleverd worden met de grotere PCIe kar, maar dat gebeurd maar zelden op de desktop, en heeft daarom maar weinig invloed op de totaal score, en het gebruik in de praktijk.
Waarom zijn er dan wel zulke enorme verschillen te zien met AS SSD
Dat komt omdat er steeds tot wel 64 mensen zijn bij de desk die om boeken vragen, en gaat de bediende door de rijen boeken heen en komt terug met je boek, en de SATA kar komt steeds vol terug, maar nu komt ook de PCIe kar steeds vol terug, maar wel met 6x/12x/24x zoveel boeken als de SATA kar.
Samen vatend
Deze NVMe SSDs zijn leuk, maar behalve in hele bijzondere omstandigheden op de desktop, zijn deze SSD in zijn geheel hun prijs premium niet waard voor desktop gebruik, voor servers is het weer een heel ander verhaal.
En heb je wel meer bandbreedte nodig voor speciaal gebruik, dan kan je dat ook doen door een extra disk aan te make, en 2 of 3 SSDs in R0 te zetten, is een heel stuk goedkoper per GB.
-------------------
Waar het op neer komt, NVMe & PCIe SSDs zijn leuk, maar ik ga er iig niet meer aan uitgeven dan 10 max 20% extra over de huidige top SSD als de 850Pro, want in de praktijk op de desktop heeft R0 van 2 of 3 SATA SSDs het zelfde effect als deze nieuwe NVMe SSDs, in het geval dat je echt extra bandbreedte nodig hebt.
En ja tijden zijn flink veranderd, mijn huidige systeem is nu NVMe only, en heb nu alleen een 2TB 980 Pro en een 4TB FireCuda 530 in mijn werk/game PC, en al mijn SATA SSD zijn verhuisd naar mijn server, waar ze verbonden zijn met 10Gbit netwerk via 2x R0 van 2x 1TB, met ongeveer dezelfde snelheid als 10Gbit netwerk.
[Reactie gewijzigd door player-x op 22 juli 2024 16:57]
Daar ben ik het niet mee eens. IOPS lijkt theoretisch goede parameter voor bv. games, maar de enige waardevolle parameter om na te gaan of een bepaalde SSD (SATA / NVMe PCI 3.0 / 4.0 / (binnenkort) 5.0) het laden van games gevoelig versnelt, zijn de zogenaamde (in reviews) uitgemeten "game loading times" voor een bepaalde game.
Game tracings zijn dat niet, CrystalDiskMark benchmarks zijn dat niet, IOPS (zoals reeds gezegd) evenmin.
Dit artikel van TechSpot legt je perfect uit waarom, inclusief vele gemeten game loading times.
--> je zal merken dat bij geen enkele game er een significant verschil is tussen de verschillende SSD's voor wat betreft loading times. Sneller dan een HDD, dat wel, maar verder: irrelevante tijdsverschillen.
Belangrijkste citaat uit dit artikel neem ik hier over:
Why don’t games benefit all that much from faster SSDs? Well, it seems clear that raw storage performance is not the main bottleneck for loading today’s games. Pretty much all games released up to this point are designed to be run off hard drives, which are very slow; after all, the previous generation of consoles with the PS4 and Xbox One both used slow mechanical drives to store games.
Today’s game engines simply aren’t built to make full use of fast storage, and so far there’s been little incentive to optimize for PCIe SSDs. Instead, the main limitation seems to be things like how quickly the CPU can decompress assets, and how quickly it can process a level before it’s ready for action, rather than how fast it can read data off storage.
[Reactie gewijzigd door Mortov Molotov op 22 juli 2024 16:57]
Today’s game engines simply aren’t built to make full use of fast storage, and so far there’s been little incentive to optimize for PCIe SSDs. Instead, the main limitation seems to be things like how quickly the CPU can decompress assets, and how quickly it can process a level before it’s ready for action, rather than how fast it can read data off storage.
Dat is overigens iets waar Microsoft en Nvidia mee bezig zijn.
How NVIDIA RTX IO Works
NVIDIA RTX IO plugs into Microsoft’s upcoming DirectStorage API, which is a next-generation storage architecture designed specifically for gaming PCs equipped with state-of-the-art NVMe SSDs, and the complex workloads that modern games require. Together, the streamlined and parallelized APIs, specifically tailored for games, allow dramatically reduced IO overhead and maximize performance/bandwidth from NVMe SSD to your RTX IO-enabled GPU.
Specifically, NVIDIA RTX IO brings GPU-based lossless decompression, allowing reads through DirectStorage to remain compressed while being delivered to the GPU for decompression. This removes the load from the CPU, moving the data from storage to the GPU in its more efficient, compressed form, and improving I/O performance by a factor of 2.
GeForce RTX GPUs are capable of decompression performance beyond the limits of even Gen4 SSDs, offloading dozens of CPU cores’ worth of work to deliver maximum overall system performance for next generation games.
100% akkoord. Maar games die niet specifiek ontworpen zijn hiervoor, namelijk alle games tot op heden (begin 2022), inclusief al die klassiekers en recente triple-A games, maken hier geen gebruik van.
Dus: momenteel is 't voor games zinloos om te investeren in een nmve ssd. Een sata ssd met grote capaciteit is vaak een betere investering.
[Reactie gewijzigd door Mortov Molotov op 22 juli 2024 16:57]
100% akkoord. Maar games die niet specifiek ontworpen zijn hiervoor, namelijk alle games tot op heden (begin 2022), inclusief al die klassiekers en recente triple-A games, maken hier geen gebruik van.
Dus: momenteel is 't voor games zinloos om te investeren in een nmve ssd. Een sata ssd met grote capaciteit is vaak een betere investering.
Dat is wel erg kort door de bocht al is het maar omdat de M.2 form factor soms simpelweg voordeliger is dan de 2.5 inch variant. Zo is de m.2 variant van de WD blue momenteel 79,90 en de 2.5 inch zit op 96,86. Met black friday zat de Samsung 980 1TB op 69 euro. Vergeet niet dat 2* 69 euro voor een 980 1TB minder kost dan een 2TB 870 QVO model, hetzelfde voor 4 TB.
Verder is de ene SSD de andere niet, ook niet binnen 2.5 inch. Zo heb ik zelf in een pc een Samsung QVO 1TB (2.5 inch) zitten en die heeft een steady state schrijf performance van pak hem beet 45 MB/s. Als ik daarop een game download dan is die SSD de bottleneck. Die 45 MB/s is namelijk 360 Mbps en ik had destijds al 500 Mbps en tegenwoordig 1 Gigabit. Ook zie je dat bijvoorbeeld mijn oude Intel 520 120 GB in de final fantasy storage benchmark een paar seconde sneller is dan dit QVO model. Betekent niet dat elke QVO onbruikbaar is. Recent heb ik een 870 QVO 4TB aangeschaft en die in in de basis wél snel genoeg. Dus het blijft echt kijken naar wat er beschikbaar is.
Investeren heeft verder meestal uberhaupt weinig zin aangezien met de tijd de prijzen (langzaam) dalen. Ik zou vooral kijken naar wat je nodig hebt.
Als het min of meer even duur is dan zou ik persoonlijk snel voor de M2 variant gaan. De enkele keer dat je een game van schijf X naar Y verplaatst heb je daar wel profijt van. Als OS drive is het ook wel prettig. Uitzonderingen zijn de situatie waarbij je vaak wil wisselen tussen systemen (een m2 is dan niet handig) en wanneer je 4TB nodig hebt (erg duur bij m2). In algemene zin zou ik lekker beginnen M.2 tot aan 3x 1 TB.
[Reactie gewijzigd door sdk1985 op 22 juli 2024 16:57]
Ik weet niet welke games jij speelt, maar de meeste games gebruiken tegenwoordig een relatief kleine hoeveelheid grote archief bestanden. De precieze implementatie verschilt per game, maar genoeg games die bijv 1 archief voor textures heeft, of 1 archief per level. In zo’n geval kan je gewoon lineair in bulk van disk lezen.
Omdat PS4 geen SSD heeft en bij PC dat ook niet kan verwachten worden, dus games niet ontwikkeld om nvme SSD te moeten hebben. Voor Xseries of PS5 exvlusive kan je dat als dev wel verwachten.
Dus de meeste games wordt er rekening gehouden aan hoeveel laad tijd je blootgesteld wordt. Titels die on the fly per frame laden zijn er amper.
Games worden ivm trage opslag genoeg in systeem memory gebufferd en dan naar video memory.
Dus zolang mainstream niet aan 4x pcie4 nvme zijn zullen games iig Ditectx storage feature zelden eisen. En is meer iets uitsluitend om opstart en laadtijden te reduceren
de techniek voor ram-geheugen staat ook niet stil en is nog steeds een pak sneller. De chips worden direct aangesproken door de CPU (zonder tussenliggende storage controller) en bevinden zich ook dichter bij de CPU. Bovendien is het heel veel werk om zowel software als OS ermee om te leren gaan. Virtual memory bevindt zich dan ook wel op storage, maar iedereen die daar al mee heeft moeten worstelen weet hoe groot het performance-verschil nog is
Dat hangt ervanaf wat AMD gaat doen met hun 3d cache in de cpu, als dat ook ≥16GB word dan heb je extern geen ram meer nodig (of GDDR als er een apu inzit ), nadeel je kan het niet meer uitbreiden. Je hebt dan genoeg aan de SSD als DirectStorage device.
Die V-Cache is 64 MB groot, dat scheelt wel een paar nullen.
En heel schaalbaar is het niet: fysiek kan het niet groter omdat het anders tussen de cpu cores en de koeling zou zitten, veel hogere dichtheid zit er ook niet in. Het wordt al op een getweaked 7nm proces gebakken. 16 GB op dat oppervlak zou een 0.3 nm proces vragen of iets dergelijks.
Het zit nu al tussen de cores en de HS en je hebt de IO-die ook nog waar er extra op kan en in de toekomst komt er misschien extra plaats op het "cpu pcb" dat er apart geheugen bij op kan.
Mogelijkheden genoeg in de toekomst. Vergeet niet een latje DDR5 is groot omdat al de pinnen naar buiten moeten en ze een standaard willen, maar als je naar SO-DIMM zit kan een latje geheugen de helft worden in groten en als je dan nog de pure die van elke chip neemt heb je nog minder geheugen nodig en als je die dan nog een stapelt man man, denk toekomst NIET nu.
Edit: blijkbaar niet zie response hier onder
[Reactie gewijzigd door Damic op 22 juli 2024 16:57]
The main 8-core chiplet, built on TSMC 7nm, measures 82 mm2. This extra stacked chiplet is only 36 mm2, and sits directly above the cache already on the chip, so it does not cover the cores. The extra 64 MB of L3 cache chiplet is manufactured on a version of TSMC 7nm that is optimized for cache density, and so AMD has placed 64 MB on top of 32 MB directly. The cores are not covered for thermal reasons – the cores are where the power is used, and so thermal spaces are placed on top to make the top of the combined chip fully flat.
Ik blijf er bij dat er in de toekomst apart een mem-die komt en dat de er dan geen mem lanes meer naar buiten komen maar extra pci-e dan of meer power in?
Dat het de toekomst zeker maar het maakt CPU duur om werkgeheugen te hebben. Apple silicon heeft het omdat elke next gen een premium product is en op de modernste procedé gebruikt wordt en er ook niet veel varianten van zijn.
Pro GPU hebben het al paar generaties HBM2.. de Vega consumenten een strop .
Evolutie van CPU is integratie en komt tijd dat SoC werkgeheugen krijgt, om simple reden dat meer cores en krachtige igpu overkill is voor lichte gebruik door de massa .
En er dus gewoon veel real estate beschikbaar is voor Soc om werkgeheugen toe te voegen.
Naast de evolutie van NV-RAM . Verwacht het niet op korte termijn. Er zal dan 1st een standaard moeten komen zoals Optane intel only is , is dat niet bevorderlijk voor markt acceptatie.
RAM is nog meer toegespitst op latency en heeft minder te lijden onder degradatie bij schrijven. Flash geheugen als RAM zou wellicht veel te snel versleten zijn.
Ferroelectrisch geheugen dient zowel als opslag als intern geheugen. Alleen zijn de capaciteit die verkrijgbaar zijn erg klein. Het wordt vooral voor kleine apparaten gebruikt die je uit kunt zetten en als je ze aanzet exact verder gaan waar ze gebleven waren.
Ik heb bijvoorbeeld een oscilloscoop die dat soort geheugen gebruikt: Zet je hem aan, dan gaat hij niet eerst opstarten, maar komt weer exact terug in het scherm waar hij stond voordat je hem uitzette.
Micron en Intel hebben 5 jaar geleden 3D-Xpoint geheugen geïntroduceerd. Dat benadert het vanaf de andere kant: het maakt het geheugen persistent.
Destijds werd er gespeculeerd dat dat radicale wijzigingen in computer architectuur mogelijk zou maken: computers zonder opslag. Sindsdien heb ik er niet veel meer van gezien dan snelle maar woest dure Optane SSD's. Micron heeft zich inmiddels teruggetrokken.
De reden kan zijn dat er ontwikkelingen zijn die het in de toekomst vervangen.
De non volitile memory is voor databases zeer belangrijk en dan heb servers in de kwart milioen kosten.
Andere toepassing als heel veel werkgeheugen nodig hebt in TeraBytes omdat Optane wel per Terabyte goedkoper is dan terabyte ECC ram maar dan moet er wel een verhouding zijn van grote projs verschil per TB of als meer dan met dram mogelijk is als
Ram moet hebben.
Misschien is de vraag naar deze use cases en Optane modes te niche.
Optane in dimmslot is niet in de consumenten markt gekomen.
DDR5 gaat daar weer een factor 2 overheen straks. Het verschil met SSDs wordt misschien kleiner maar dat zal nog lang duren voordat we zonder RAM kunnen. De vraag is ook of je dat moet willen. Een CPU doet miljarden berekeningen per seconde en het is fijn dat er een zeeeer kort en snel lijntje naar de RAM aanwezig is. Hierin is de latency ook een belangrijke factor.
En zelfs met dat snelle RAM heeft een CPU dan toch ook weer cache nodig om de optimale snelheden te halen. Die on-die cache zal ook niet zomaar verdwijnen. Idem met GPU's; die hebben weer sneller geheugen nodig dan RAM. Kijk maar naar de APU's: die hebben toch wel een flinke bottleneck te pakken omdat ze met het RAM moeten doen ipv dedicated geheugen.
Zo heeft elke component toch een eigen bandbreedte- en latency-requirement, en dat zal niet zomaar te unificeren zijn met andere componenten zonder enorme snelheidsverliezen.
[Reactie gewijzigd door A Lurker op 22 juli 2024 16:57]
En PCIe gen6 is net afgerond, gen5 is alweer verouderd. Dit gaat nu best wel vlot allemaal.
Benieuwd welk chip fabrikant als eerst de gen6 gaat ondersteunen.
gen6 is een flinke technische vooruitgang.
Een moederbord kopen omdat het gen5 heeft… ik wacht wel even, mede door de dure GPU
En PCIe gen6 is net afgerond, gen5 is alweer verouderd. Dit gaat nu best wel vlot allemaal.
Benieuwd welk chip fabrikant als eerst de gen6 gaat ondersteunen.
De DEFINITIES zijn afgerond. Eer dat daar producten voor zijn ontwikkeld zijn we alweer paar jaar verder.
De definities zijn afgerond, maar de grote adoptie zal bij gen6 liggen, rest waren enkel tussenstapjes en waarbij de potentie van PCIe pas bij gen6 aan je touchy komt.
Waarom zou AMD nog van gen4 naar 5 gaan als 6 er klaar ligt? Denk dat intel juist weer veel later met gen6 op de markt komt (hoop ik niet).
Ik vermoed dat dit keer veel sneller gaat dan je denkt. Dat intel nu op gen5 gooit is alleen om inzage te krijgen voor wat het doet en AMD doet al gen4 en dat was leuk en bood al aardige extra snelheid, terwijl gen6 de grote verandering gaat brengen. Het is maar dat je het weet.
Maar goed, het is mijn streven, upgraden als gen6 beschikbaar is:
PCIe 5 specificatie was afgerond in 2019, heeft dus 3 jaar geduurd voordat het op de markt was.
Ook kan je niet van het ene moment op het andere moment naar de nieuwste techniek springen, ontwikkelen kost tijd en anders komt je product nooit af want er is altijd wel iets nieuws om toe te voegen.
zal niet stoppen met gen6, destijds gen3 was een leap forward. Dat is dit keer met gen6 ook en benieuwd hoe snel ze dit gaan inzetten, ik denk vrij snel al.
PCI-E 4 zal snel weg zijn, dit soort zaken heeft zich in verleden al vaker herhaalt.
Alleen de 4x sloten zijn 4.0 de rest is 5.0 bij Intel.
Apparaten in een 5.0 slot kunnen ook 4.0 kaarten in, voor de fabrikanten is er dus geen reden meer om nog 4.0 aan te bieden en doordat er nu al PCI-E SSD,s met 5.0 uitkomen zal Intel de 4x sloten op oude snelheid ook snel uitfasseren.
[Reactie gewijzigd door mr_evil08 op 22 juli 2024 16:57]
Ik hoop het. Ik erger me al jaren dat moederborden van 200 euro nog steeds 1 gigabit hebben. gewoon 10 gigabit met de glasvezel uitrol overal lijkt me toch wel tijd worden.
"overal" is denk ik wel een overstatement als je weet dat die dingen voor de globale markt gemaakt worden en het gebied/land waar jij woont misschien geluk heeft om dichtbevolkt en welvarend genoeg te zijn om die uitrol te rechtvaardigen.
Vraag jezelf eens af hoe vaak je tegen de 1 of 2.5 gigabit limiet aanloopt wat 10gbit-infrastructuur noodzakelijk maakt.
Noodzakelijk is het niet maar verdomde handig zeker wel. En een losse 10 gigabit kaart helpt de lanes van Mijn gpu om zeep dus dat is al helemaal geen optie.
Heb ik het NODIG? Nee wil ik het als het beschikbaar is? Zeker weten want waarom 20 minuten wachten op een download of upload als het ook in 2 minuten kan. Ik weet nu soms al niet waar mijn dagen blijven dus tijd besparen kan geen kwaad. Er is niets waardevoller als tijd.
Je zal versteld staan over hoeveel data ik verplaats met al die games die ik moet downloaden en dan weer verwijder als ik er klaar mee ben. En dan heb ik het nog niet eens over de remote backup want de upload van T-Mobile is al meer als een jaar stuk waardoor het makkelijker is om data heen en weer te rijden...
En dan heb je nog de absurd game updates die tegenwoordig zo lui gemaakt zijn dat er voor een pas veranderingen gewoon een halve game doorgestuurd wordt.
En ik download ook alle films en series omdat de series op tv niet meer op te nemen zijn zonder afhankelijk te zijn van een systeem met tijds limiet en verwijderde data als het hun uit komt en ik ze niet allemaal kan streamen en de kwaliteit van audio bij films op streaming diensten is om te huilen dus iets als netflix gebruik ik vooral als film bibliotheek en de series die er wel op staan. Al met al dus beste ladingen data.
Over 2,5 Gb ethernet ben ik het niet met je eens, 10 GbE is een behoorlijk kostbare overstap.
De hardware is duur maar nog wel te overzien, maar nieuwe kabels trekken kost echt bakken met geld. En het stroomverbruik is voorlopig ook nog wel een dingetje. Zonder dat er een echte noodzaak is om 10 GbE breed uit te rollen zie ik het niet gebeuren.
We hebben ook 5 Gb ethernet, de stap 2,5 is simpelweg te klein en voegt weinig toe, 2,5 gbit wordt ook wel een plakbandje genoemd.
Cat6 is al meer dan 10 jaar de norm.
Mwa 2.5 Gbps lost net het stuk op dat we nu tekort komen. Zelfs een remote mount van een harde schijf heeft niet genoeg aan 1 Gbps (dat vereist ongeveer 1.8 Gbps). Ook de snellere wifi routers gaan tegenwoordig over de 1 Gbps heen. Het is prima dat 2.5 Gbps nu de defacto standaard wordt voor het entry segement.
In DirectX 12 wordt DirectStorage al ondersteund; het wachten is vooralsnog op games en videokaarten die daarmee om kunnen gaan.
Dit klopt volgens mij niet. De API voor DirectStorage is op de PC nog niet beschikbaar. De private preview program voor game developers is daar nog voor bezig. Videokaarten zouden het al sinds de laatste generatie moeten ondersteunen.
Ik moet bij dit soort dingen altijd denken aan deze: https://m.youtube.com/watch?v=4DKLA7w9eeA. Er zijn altijd toepassingen waarbij je het gaat werken en toegegeven, game assets worden almaar groter en groter. Maar voor heel veel mensen gaat dit een niet merkbaar verschil zijn..
Wanneer Tweakers Gen5-ssd's gaat testen / vergelijken met de huidige modellen zou ik daar ook graag eens wat (PostgreSQL) database benchmarking in zien. Ooit, staat me bij, deed Tweakers dit op basis van traces van het gebruik van hun diverse databases.
En dan voor giggles een vergelijking met een RAID van draaiend roest wat vroeger voor high-performance storage doorging
:strip_exif()/i/2004873716.jpeg?f=imagegallery)
:strip_exif()/i/2004873720.jpeg?f=imagenormal)
/i/2004873724.png?f=imagenormal)
:strip_exif()/i/2004873732.jpeg?f=imagenormal)
:strip_exif()/i/2004443076.png?f=thumbmedium)
:fill(white):strip_exif()/i/2004598540.jpeg?f=thumbmedium)
:strip_icc():strip_exif()/i/2006234432.jpeg?f=fpa_thumb)
:strip_icc():strip_exif()/i/2005809172.jpeg?f=fpa_thumb)
:strip_exif()/u/609320/crop5b6ae539e2dcd_cropped.gif?f=community)
:fill(white):strip_exif()/i/2004131082.jpeg?f=thumbmedium)
:strip_icc():strip_exif()/i/2005660272.jpeg?f=fpa_thumb)
:strip_icc():strip_exif()/i/2005532126.jpeg?f=fpa_thumb)
:strip_icc():strip_exif()/i/2005117522.jpeg?f=fpa_thumb)
:strip_exif()/i/2004873504.jpeg?f=fpa)
:strip_exif()/i/2005672954.jpeg?f=fpa)
:strip_exif()/i/2004708298.jpeg?f=fpa)
:strip_exif()/i/2004677808.jpeg?f=fpa)
:strip_exif()/i/2004881106.jpeg?f=fpa)
/u/1401/haroid_icon_60x60.png?f=community){kind=icon}
:strip_exif()/u/547445/crop55bceb262206f.gif?f=community){kind=small}
:strip_icc():strip_exif()/u/541367/crop6679306ef1f8f_cropped.jpg?f=community){kind=small}
:strip_icc():strip_exif()/u/144247/crop5ff8589029974_cropped.jpeg?f=community){kind=small}
:strip_exif()/u/54579/Static.gif?f=community){kind=small}
/u/748079/crop65b35799c7d62.png?f=community){kind=small}
/u/491760/crop65327016151b2_cropped.png?f=community){kind=small}
/u/62384/crop61891f444d6e9.png?f=community){kind=small}
:strip_icc():strip_exif()/u/92491/crop64a1593f33a7b_cropped.jpg?f=community){kind=small}
:strip_exif()/u/106005/animated%2520garfield.gif?f=community){kind=small}
:strip_icc():strip_exif()/u/235816/crop596740581e453_cropped.jpeg?f=community){kind=small}
:strip_exif()/u/285020/crop6085b8acc4f0d_cropped.gif?f=community){kind=small}
:strip_icc():strip_exif()/u/109168/crop5c6ad3dc9bc0f_cropped.jpeg?f=community){kind=small}
:strip_icc():strip_exif()/u/409725/crop629276a45780e_cropped.jpg?f=community){kind=small}
:strip_icc():strip_exif()/u/184264/crop5ed01303b89e9_cropped.jpeg?f=community){kind=small}
:strip_icc():strip_exif()/u/4634/ratbuddy_ORIGINAL.jpg?f=community){kind=small}
:strip_icc():strip_exif()/u/14177/crop6075fcd2474a0.jpg?f=community){kind=small}
