Ik was op zoek naar een vervanger voor de 256 GB Samsung 830 SSD in mijn Linux server. De Samsung SSD beviel op zich prima, maar ik had behoefte aan net wat meer ruimte.
Ik heb gekozen voor de 400 GB Intel SSD 750 Series. Er zijn natuurlijk voldoende goedkopere opties, maar ik was ook nieuwsgierig naar NVMe in het algemeen, en NVMe in Linux in het bijzonder.
Heb de SSD nu ruim 7 maanden in gebruik.
Compatibiliteit
Ik gebruik deze SSD met een Asus P9D-C/4L moederbord (met firmware versie 1404). Dit bord gebruikt een C224 chipset. Intel noemt een Z97 of X99 chipset als een vereiste noemt voor booten van een NVMe SSD, maar booten vanaf deze NVMe SSD gaat probleemloos op dit bord.
Linux Ondersteuning
De Linux kernel bevat sinds versie 3.3 een NVMe driver.
Ik draai Debian Linux 8.2 (Jessie), met kernel versie 4.1.15. Voor zover ik kan zien is the NVMe driver met ingang van kernel 3.19 een blk-mq (multi queue) driver. Bovendien bevat 3.19 ook heel wat NVMe fixes. Een 3.19+ kernel lijkt dus beter geschikt voor gebruik met een NVMe SSD als de 3.16 kernel die standaard met Debian Jessie komt. Maar ik heb niet met deze 3.16 kernel getest. Het zou ook prima kunnen werken.
Ik vind dat Intel veel gedaan heeft voor de NVMe ondersteuning op Linux. De NVMe driver is zo te zien door Intel werknemers geschreven. Verder is er ook de opensource nvme-cli tool, die oorspronkelijk door Keith Busch van Intel geschreven is. Deze tool kan gebruikt worden om logs uit te lezen, NVMe name-spaces te creëren (“formatteren”), etc:
https://github.com/linux-nvme/nvme-cli
Intel stelt ook de closed source isdct (Intel SSD Data Center Tool) tool ter beschikking voor Linux. Deze tool kan gebuikt worden om firmware updates uit te voeren, logs uit te lezen, instellingen te wijzigen, etc:
https://downloadcenter.in...te-Drive-Data-Center-Tool
Ik heb deze tool gebruikt om de SSD te updaten naar firmware versie 8EV10174.
Al met al zit het dus wel goed met de Linux ondersteuning.
Prestaties
Ik heb FIO gebruikt om benchmarks te draaien die overeenkomen met de tests die Intel beschrijft in de performance paragraaf van het specs document:
http://www.intel.com/cont...ications/ssd-750-spec.pdf
Allereerst is de drive tweemaal gevuld met 4KiB random data. Daarna zijn 4KiB random lees- en schrijftests uitgevoerd. Vervolgens is de drive gevuld met 128 KiB sequentiële data, waarna 128 KiB lees- en schrijftests zijn uitgevoerd.
4 KiB random leestest over een 8 GiB gebied met queue depth 1:
- IOPS: 12885
- Doorvoer: 52.8 MB/s
- gem. latency: 76 usec
- max. latency: 2881 usec
Op zich niet slecht. Intel noemt een 120 microseconden latency for 4 KiB random reads, dus 76 usec was rapper als verwacht. Het is een beetje jammer dat één van de grote voordelen van NVMe, een lagere latency vergeleken met AHCI en SAS niet echt uitgebuit worden. De 750 is natuurlijk op consumenten gericht, maar de data centre NVMe SSDs van Intel, zoals de DC P3700 Series, hebben dezelfde latency specs. Waarschijnlijk zou duur SLC NAND nodig zijn voor een significant lagere latency, en hebben te weinig mensen de lagere latency hard genoeg nodig om de hogere kosten van zo'n drive te rechtvaardigen.
Een max latency van 2.8 milliseconden vind ik wat hoog. Het is wel zo dat 99% van de leesopdrachten binnen 334 usec afgehandeld werden. Ik heb ook niet geprobeerd te achterhalen of de pieken in latency door de drive zelf veroorzaakt werden of door het OS.
4 KiB random leestest over een 8 GiB gebied met queue depth 128 (4 threads, queue depth 32 per thread):
- IOPS: 445231
- Doorvoer: 1824 MB/s
- gem. latency: 285 usec
- max. latency: 4049 usec
Dit vind ik indrukwekkend. De prestaties schalen heel erg goed. Dat de latency tijdens een test met 128 gelijktijdige lees opdrachten niet hoger oploopt dan 4 milliseconden vind ik uitzonderlijk goed. Een potentieel voordeel van NVMe is het grote aantal command queues, en grote aantal commandos per queue. Dit aspect kan klaarblijkelijk wel goed uitgebuit worden met deze drive. Intel geeft 430K IOPS op, dus met zo’n 445K IOPS zijn de resultaten ook iets beter als verwacht.
Op mijn server zal zo’n I/O workload in de praktijk waarschijnlijk nooit gegenereerd worden, maar dat doet er niet toe. Wat de drive hier laat zien is awesome :-)
128 KiB sequentiële leestest met queue depth 1:
- IOPS: 9627
- Doorvoer: 1261 MB/s
- gem. latency: 97.3 usec
- max. latency: 2490 usec
128 KiB sequentiële leestest met queue depth 128:
- IOPS: 18174
- Doorvoer: 2382 MB/s
- gem. latency: 7030 usec
- max. latency: 17591 usec
De 2200 MB/s die Intel belooft wordt dus ruimschoots gehaald met een grote queue depth.
4 KiB random schrijftest over een 8 GiB gebied met queue depth 1:
- IOPS: 95199
- Doorvoer: 389.9 MB/s
- gem. latency: 8.66 usec
- max. latency: 5994 usec
Op zich prima prestaties. De piek latency van bijna 6 milliseconden vind ik erg hoog, maar dit was een uitzondering aangezien 99% van de opdrachten binnen 18 microseconden werden afgehandeld.
4 KiB random schrijftest over een 8 GiB gebied met queue depth 128 (4 threads, queue depth 32 per thread):
- IOPS: 238807
- Doorvoer: 978.2 MB/s
- gem. latency: 532.32 usec
- max. latency: 8026 usec
De 230000 IOPS die Intel opgeeft wordt gehaald.
128 KiB sequentiële schrijftest met queue depth 128:
- IOPS: 7507
- Doorvoer: 984 MB/s
- gem. latency: 17023 usec
- max. latency: 67390 usec
De 900 MB/s uit de specs wordt dus met gemak gehaald.
Prestaties in de praktijk
De maximale doorvoer snelheden die behaald worden in de sequentiële lees- en schrijftests, kunnen in de praktijk ook gehaald worden bij lees- en schrijfacties via het filesysteem, zij het met een klein beetje tuning. Met mijn kernel is de standaard read ahead op block devices 128 KiB. Als je bedenkt dat deze 128 KiB binnen in 55 microseconden wordt overgedragen op de maximale doorvoersnelheid van 2382 MB/s, lijkt dit wel erg weinig.
Met deze read ahead van 128 KiB werd op een XFS FS een lees doorvoersnelheid gehaald van zo’n 720 MB/s, op een Ext4 FS 1100 MB/s.
Met een read ahead van 2048 KiB, werd zowel op XFS als Ext4 een doorvoersnelheid van ruim 2200 MB/s gehaald.
Met filesystemen op een LV in plaats van een partitie kon ik met XFS geen doorvoersnelheid halen hoger als zo’n 1200 MB/s onafhankelijk van de read ahead grootte op de LV. Met Ext4 kon ik wel 2200 MB/s halen als de read ahead op het LV verhoogd werd naar 2048 KiB.
Conclusie
Ik ben erg tevreden met deze drive. De prestaties zijn prima, en de ondersteuning op Linux is prima. Ik vind de opgegeven endurance van 72 TBW (Terabytes Written) wel wat laag, maar het is dan ook een op consumenten gericht product. Ter vergelijking, voor de 400 GB DC P3700 geeft Intel een endurance op van 7.3 PBW.
Ik vind de prijs redelijk gezien het gebodene.
FIO rapporten
4 KiB random leestest over een 8 GiB gebied met queue depth 1:
job1: (g=0): rw=read, bs=4K-4K/4K-4K/4K-4K, ioengine=libaio, iodepth=1
fio-2.1.11
Starting 1 thread
Jobs: 1 (f=1): [R(1)] [100.0% done] [51828KB/0KB/0KB /s] [12.1K/0/0 iops] [eta 00m:00s]
job1: (groupid=0, jobs=1): err= 0: pid=29697: Wed Dec 30 12:31:52 2015
read : io=8192.0MB, bw=51544KB/s, iops=12885, runt=162748msec
clat (usec): min=0, max=2881, avg=75.61, stdev=83.04
clat percentiles (usec):
| 1.00th=[ 7], 5.00th=[ 7], 10.00th=[ 8], 20.00th=[ 10],
| 30.00th=[ 36], 40.00th=[ 37], 50.00th=[ 62], 60.00th=[ 75],
| 70.00th=[ 89], 80.00th=[ 109], 90.00th=[ 175], 95.00th=[ 219],
| 99.00th=[ 334], 99.50th=[ 414], 99.90th=[ 564], 99.95th=[ 852],
| 99.99th=[ 2480]
lat (usec) : 2=0.01%, 4=0.01%, 10=19.44%, 20=4.19%, 50=23.02%
lat (usec) : 100=30.36%, 250=20.11%, 500=2.66%, 750=0.15%, 1000=0.02%
lat (msec) : 2=0.01%, 4=0.03%
cpu : usr=2.61%, sys=4.51%, ctx=2096655, majf=0, minf=2
IO depths : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
issued : total=r=2097152/w=0/d=0, short=r=0/w=0/d=0
latency : target=0, window=0, percentile=100.00%, depth=1
Run status group 0 (all jobs):
READ: io=8192.0MB, aggrb=51543KB/s, minb=51543KB/s, maxb=51543KB/s, mint=162748msec, maxt=162748msec
Disk stats (read/write):
nvme0n1: ios=2096904/0, merge=0/0, ticks=155364/0, in_queue=155288, util=95.43%4 KiB random leestest over een 8 GiB gebied met queue depth 128 (4 threads, queue depth 32 per thread):
job1: (g=0): rw=read, bs=4K-4K/4K-4K/4K-4K, ioengine=libaio, iodepth=32
...
fio-2.1.11
Starting 4 threads
Jobs: 4 (f=4): [R(4)] [100.0% done] [1740MB/0KB/0KB /s] [445K/0/0 iops] [eta 00m:00s]
job1: (groupid=0, jobs=4): err= 0: pid=30073: Wed Dec 30 12:52:53 2015
read : io=32768MB, bw=1739.2MB/s, iops=445231, runt= 18841msec
clat (usec): min=35, max=4049, avg=285.06, stdev=198.99
clat percentiles (usec):
| 1.00th=[ 99], 5.00th=[ 121], 10.00th=[ 137], 20.00th=[ 163],
| 30.00th=[ 187], 40.00th=[ 211], 50.00th=[ 237], 60.00th=[ 266],
| 70.00th=[ 306], 80.00th=[ 358], 90.00th=[ 466], 95.00th=[ 596],
| 99.00th=[ 1064], 99.50th=[ 1400], 99.90th=[ 2352], 99.95th=[ 2512],
| 99.99th=[ 2800]
lat (usec) : 50=0.01%, 100=1.05%, 250=53.56%, 500=37.22%, 750=5.51%
lat (usec) : 1000=1.45%
lat (msec) : 2=1.02%, 4=0.20%, 10=0.01%
cpu : usr=13.98%, sys=28.96%, ctx=3399505, majf=0, minf=132
IO depths : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=100.0%, >=64=0.0%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.1%, 64=0.0%, >=64=0.0%
issued : total=r=8388608/w=0/d=0, short=r=0/w=0/d=0
latency : target=0, window=0, percentile=100.00%, depth=32
Run status group 0 (all jobs):
READ: io=32768MB, aggrb=1739.2MB/s, minb=1739.2MB/s, maxb=1739.2MB/s, mint=18841msec, maxt=18841msec
Disk stats (read/write):
nvme0n1: ios=8302368/0, merge=0/0, ticks=2329824/0, in_queue=2355400, util=100.00%128 KiB sequentiële leestest met queue depth 1:
job1: (g=0): rw=read, bs=128K-128K/128K-128K/128K-128K, ioengine=libaio, iodepth=1
fio-2.1.11
Starting 1 thread
Jobs: 1 (f=1): [R(1)] [100.0% done] [1205MB/0KB/0KB /s] [9641/0/0 iops] [eta 00m:00s]
job1: (groupid=0, jobs=1): err= 0: pid=30353: Wed Dec 30 13:07:51 2015
read : io=8192.0MB, bw=1203.5MB/s, iops=9627, runt= 6807msec
clat (usec): min=43, max=2490, avg=97.30, stdev=83.72
clat percentiles (usec):
| 1.00th=[ 51], 5.00th=[ 52], 10.00th=[ 52], 20.00th=[ 52],
| 30.00th=[ 52], 40.00th=[ 52], 50.00th=[ 52], 60.00th=[ 53],
| 70.00th=[ 71], 80.00th=[ 179], 90.00th=[ 211], 95.00th=[ 270],
| 99.00th=[ 358], 99.50th=[ 370], 99.90th=[ 398], 99.95th=[ 402],
| 99.99th=[ 2096]
lat (usec) : 50=0.01%, 100=74.15%, 250=20.43%, 500=5.38%, 750=0.01%
lat (usec) : 1000=0.01%
lat (msec) : 2=0.02%, 4=0.01%
cpu : usr=1.23%, sys=7.64%, ctx=65537, majf=0, minf=33
IO depths : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
issued : total=r=65536/w=0/d=0, short=r=0/w=0/d=0
latency : target=0, window=0, percentile=100.00%, depth=1
Run status group 0 (all jobs):
READ: io=8192.0MB, aggrb=1203.5MB/s, minb=1203.5MB/s, maxb=1203.5MB/s, mint=6807msec, maxt=6807msec
Disk stats (read/write):
nvme0n1: ios=63944/0, merge=0/0, ticks=6236/0, in_queue=6240, util=92.69%128 KiB sequentiële leestest met queue depth 128:
job1: (g=0): rw=read, bs=128K-128K/128K-128K/128K-128K, ioengine=libaio, iodepth=128
fio-2.1.11
Starting 1 thread
Jobs: 1 (f=1): [R(1)] [100.0% done] [2276MB/0KB/0KB /s] [18.3K/0/0 iops] [eta 00m:00s]
job1: (groupid=0, jobs=1): err= 0: pid=30361: Wed Dec 30 13:08:25 2015
read : io=8192.0MB, bw=2271.8MB/s, iops=18174, runt= 3606msec
clat (usec): min=1723, max=17591, avg=7030.68, stdev=562.99
clat percentiles (usec):
| 1.00th=[ 6048], 5.00th=[ 6368], 10.00th=[ 6496], 20.00th=[ 6688],
| 30.00th=[ 6816], 40.00th=[ 6880], 50.00th=[ 7008], 60.00th=[ 7072],
| 70.00th=[ 7200], 80.00th=[ 7328], 90.00th=[ 7584], 95.00th=[ 7968],
| 99.00th=[ 8384], 99.50th=[ 8640], 99.90th=[12224], 99.95th=[13888],
| 99.99th=[16768]
lat (msec) : 2=0.02%, 4=0.15%, 10=99.67%, 20=0.16%
cpu : usr=2.66%, sys=15.53%, ctx=53112, majf=0, minf=4097
IO depths : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=99.9%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.1%
issued : total=r=65536/w=0/d=0, short=r=0/w=0/d=0
latency : target=0, window=0, percentile=100.00%, depth=128
Run status group 0 (all jobs):
READ: io=8192.0MB, aggrb=2271.8MB/s, minb=2271.8MB/s, maxb=2271.8MB/s, mint=3606msec, maxt=3606msec
Disk stats (read/write):
nvme0n1: ios=61570/0, merge=0/0, ticks=431936/0, in_queue=432740, util=97.30%4 KiB random schrijftest over een 8 GiB gebied met queue depth 1:
job1: (g=0): rw=randwrite, bs=4K-4K/4K-4K/4K-4K, ioengine=libaio, iodepth=1
fio-2.1.11
Starting 1 thread
Jobs: 1 (f=1): [w(1)] [100.0% done] [0KB/373.9MB/0KB /s] [0/95.8K/0 iops] [eta 00m:00s]
job1: (groupid=0, jobs=1): err= 0: pid=20998: Tue Dec 29 20:47:43 2015
write: io=8192.0MB, bw=380798KB/s, iops=95199, runt= 22029msec
clat (usec): min=0, max=5994, avg= 8.66, stdev=17.12
clat percentiles (usec):
| 1.00th=[ 7], 5.00th=[ 7], 10.00th=[ 8], 20.00th=[ 8],
| 30.00th=[ 8], 40.00th=[ 8], 50.00th=[ 8], 60.00th=[ 8],
| 70.00th=[ 8], 80.00th=[ 9], 90.00th=[ 9], 95.00th=[ 12],
| 99.00th=[ 18], 99.50th=[ 19], 99.90th=[ 27], 99.95th=[ 48],
| 99.99th=[ 74]
lat (usec) : 2=0.01%, 4=0.01%, 10=92.32%, 20=7.19%, 50=0.44%
lat (usec) : 100=0.04%, 250=0.01%, 500=0.01%, 750=0.01%
lat (msec) : 2=0.01%, 4=0.01%, 10=0.01%
cpu : usr=16.67%, sys=20.63%, ctx=2096950, majf=0, minf=1
IO depths : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
issued : total=r=0/w=2097152/d=0, short=r=0/w=0/d=0
latency : target=0, window=0, percentile=100.00%, depth=1
Run status group 0 (all jobs):
WRITE: io=8192.0MB, aggrb=380798KB/s, minb=380798KB/s, maxb=380798KB/s, mint=22029msec, maxt=22029msec
Disk stats (read/write):
nvme0n1: ios=0/2085594, merge=0/0, ticks=0/15868, in_queue=15800, util=71.87%4 KiB random schrijftest over een 8 GiB gebied met queue depth 128 (4 threads, queue depth 32 per thread):
job1: (g=0): rw=randwrite, bs=4K-4K/4K-4K/4K-4K, ioengine=libaio, iodepth=32
...
fio-2.1.11
Starting 4 threads
Jobs: 4 (f=4): [w(4)] [100.0% done] [0KB/946.1MB/0KB /s] [0/242K/0 iops] [eta 00m:00s]
job1: (groupid=0, jobs=4): err= 0: pid=21057: Tue Dec 29 20:51:18 2015
write: io=32768MB, bw=955232KB/s, iops=238807, runt= 35127msec
clat (usec): min=0, max=8026, avg=532.32, stdev=633.70
clat percentiles (usec):
| 1.00th=[ 10], 5.00th=[ 15], 10.00th=[ 20], 20.00th=[ 33],
| 30.00th=[ 68], 40.00th=[ 229], 50.00th=[ 402], 60.00th=[ 482],
| 70.00th=[ 556], 80.00th=[ 764], 90.00th=[ 1576], 95.00th=[ 2008],
| 99.00th=[ 2320], 99.50th=[ 2480], 99.90th=[ 5280], 99.95th=[ 5856],
| 99.99th=[ 6816]
lat (usec) : 2=0.01%, 4=0.01%, 10=0.88%, 20=8.47%, 50=17.33%
lat (usec) : 100=6.02%, 250=8.45%, 500=21.62%, 750=16.96%, 1000=4.12%
lat (msec) : 2=11.05%, 4=4.92%, 10=0.18%
cpu : usr=9.00%, sys=18.53%, ctx=2500074, majf=0, minf=4
IO depths : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=100.0%, >=64=0.0%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.1%, 64=0.0%, >=64=0.0%
issued : total=r=0/w=8388608/d=0, short=r=0/w=0/d=0
latency : target=0, window=0, percentile=100.00%, depth=32
Run status group 0 (all jobs):
WRITE: io=32768MB, aggrb=955231KB/s, minb=955231KB/s, maxb=955231KB/s, mint=35127msec, maxt=35127msec
Disk stats (read/write):
nvme0n1: ios=0/8340267, merge=0/0, ticks=0/4380052, in_queue=4434144, util=100.00%128 KiB sequentiële schrijftest met queue depth 128:
job1: (g=0): rw=write, bs=128K-128K/128K-128K/128K-128K, ioengine=libaio, iodepth=128
fio-2.1.11
Starting 1 thread
Jobs: 1 (f=1): [W(1)] [100.0% done] [0KB/949.0MB/0KB /s] [0/7592/0 iops] [eta 00m:00s]
job1: (groupid=0, jobs=1): err= 0: pid=22276: Tue Dec 29 21:03:38 2015
write: io=8192.0MB, bw=961004KB/s, iops=7507, runt= 8729msec
clat (usec): min=1, max=67390, avg=17023.88, stdev=14431.04
clat percentiles (usec):
| 1.00th=[ 54], 5.00th=[ 58], 10.00th=[ 79], 20.00th=[ 548],
| 30.00th=[ 2192], 40.00th=[ 7392], 50.00th=[16320], 60.00th=[26752],
| 70.00th=[31104], 80.00th=[32640], 90.00th=[34048], 95.00th=[35072],
| 99.00th=[40192], 99.50th=[41728], 99.90th=[49920], 99.95th=[59648],
| 99.99th=[66048]
lat (usec) : 2=0.01%, 20=0.01%, 50=0.02%, 100=12.82%, 250=3.41%
lat (usec) : 500=3.24%, 750=2.65%, 1000=2.12%
lat (msec) : 2=4.91%, 4=6.36%, 10=6.59%, 20=10.63%, 50=47.16%
lat (msec) : 100=0.10%
cpu : usr=5.59%, sys=13.06%, ctx=57098, majf=0, minf=1
IO depths : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=99.9%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.1%
issued : total=r=0/w=65536/d=0, short=r=0/w=0/d=0
latency : target=0, window=0, percentile=100.00%, depth=128
Run status group 0 (all jobs):
WRITE: io=8192.0MB, aggrb=961004KB/s, minb=961004KB/s, maxb=961004KB/s, mint=8729msec, maxt=8729msec
Disk stats (read/write):
nvme0n1: ios=0/64861, merge=0/0, ticks=0/1099756, in_queue=1101716, util=98.84%
:strip_exif()/i/2000606288.png?f=imagemediumplus)
:fill(white):strip_exif()/i/2000615863.jpeg?f=imagemediumplus)
:fill(white):strip_exif()/i/2000615865.jpeg?f=imagemediumplus)
:fill(white):strip_exif()/i/2000615873.jpeg?f=imagemediumplus)
:fill(white):strip_exif()/i/2000615875.jpeg?f=imagemediumplus)
:fill(white):strip_exif()/i/2000615880.jpeg?f=imagemediumplus)
:fill(white):strip_exif()/i/2000615881.jpeg?f=imagemediumplus)
:fill(white):strip_exif()/i/2000904004.jpeg?f=imagemediumplus)
:strip_exif()/u/70909/BlueKachina_60x60.gif?f=community){kind=small}
:strip_icc():strip_exif()/u/123739/crop5f9ddcde3b3f4_cropped.jpeg?f=community){kind=small}
/u/96077/crop5b8d7c89bae9d_cropped.png?f=community){kind=small}
:strip_exif()/u/100920/runroom.gif?f=community){kind=small}