Inleiding
Tweakers.net heeft vanwege zijn reviews van storage adapters goede contacten met de fabrikanten van RAID-controllers. De CeBit vormde de gelegenheid bij uitstek om bij te praten over nieuwe ontwikkelingen en producten. Vorig jaar was de sterke opmars van Serial Attached SCSI (SAS) en de 2,5 inch form factor voor enterprise harde schijven duidelijk zichtbaar op de beurs. Deze trend werd dit jaar voortgezet, waarbij met name Serial Attached SCSI zeer sterk aanwezig was.
Momenteel wordt de markt voor SAS RAID-adapters nog gedomineerd door Adaptec, LSI Logic en enkele oem's die eigen ontwikkelingen doen, zoals HP en IBM. De SCSI-marktleiders van weleer zullen dit jaar concurrentie krijgen van de traditionele spelers uit de (Serial) ATA-markt. AMCC Storage, Areca, HighPoint, Promise: allemaal komen ze met producten voor de SAS-interface. Het lijkt er zelfs op dat Serial ATA voor high-end toepassingen aan de controllerzijde volledig vervangen zal worden door SAS. Voor de eindgebruiker is dat enkel positief nieuws. SAS biedt immers ondersteuning voor Serial ATA-apparaten, zodat gebruikers de keuze hebben uit betaalbare SATA-harde schijven en tegelijkertijd kunnen profiteren van alle voordelen van SAS ten aanzien van betrouwbaarheid, schaalbaarheid en bekabeling. De verplaatsing naar Serial Attached SCSI was niet alleen zichtbaar in het segment van de professionele RAID-oplossingen, maar ook die voor entry-level producten. Dankzij deze ontwikkeling zal iedereen op termijn een SAS-controller in zijn desktop kunnen prikken zonder daarvoor het tot nu toe onvermijdelijke gat in de portemonnee te moeten slaan.
AMCC Storage
De belangrijkste innovatie bij AMCC Storage sinds de vorige CeBit was de introductie van de 3ware 9650-serie in oktober 2006. Nieuw in de 9560-serie is het gebruik van een native PCI Express RAID-processor, die de PCIe- naar PCI-X-bridge op de vorige 9550-serie overbodig maakt. Daardoor kon de 9650-serie opnieuw uitgebracht worden in een low-profile-formaat, iets dat bij de 9550SX vanwege het ruimtegebruik van PCIe-bridge niet mogelijk was. AMCC onthulde op de CeBit het reeds eerder aangekondigde 24-poorts model uit de 9650-serie. De architectuur is gelijk aan de reeds leverbare modellen met twee, vier, acht, twaalf en zestien poorten, echter beschikt de 3ware 9650-24M8 over drie in plaats van één of twee Marvell SATA-controllers. Tevens is deze kaart als enige voorzien van een Molex M8-connector, waarmee acht SATA-poorten door een enkele connector gestuurd kunnen worden. Dit geeft wederom een beperking van kabelspaghetti ten opzichte van de gebruikelijke 4-poorts mini SAS- en InfiniBand-connectors.
AMCC 3ware 9650SE-12ML, 9650SE-16ML en 9650SE-24M8
24 poorten, drie connectors op 3ware 9650SE-24M8De laatste vernieuwing bij AMCC was de aankondiging van een drietal SAS RAID-adapters die in het vierde kwartaal op de markt zullen komen. Evenals vorig jaar hadden we een gesprek met marketingdirector Scott K. Celand over de roadmap van AMCC Storage. In ons
CeBit-verslag van 2006 hebben we uitgebreid geschreven over de eigenzinnige architectuur van AMCC's RAID-adapters. Voor wie niet bekend is met deze materie volgt een korte introductie in de anatomie van een RAID-controller.
AMCC Storage (2)
RAID-controllers zijn in verschillende soorten en maten verkrijgbaar. De goedkope hostbased RAID-controllers die op veel moederborden aangetroffen kunnen worden, bestaan uit niets meer dan een I/O controller (met bijvoorbeeld een SATA- of SAS-interface), aangepaste firmware en een driver met de nodige logica. Deze hostbased RAID-controllers zijn afhankelijk van de driver op hun gastheer voor het uitvoeren van de RAID-bewerkingen. De duurdere intelligente RAID-controllers zijn zelfstandige apparaten. Meestal bestaan ze uit een I/O processor (IOP), die aan de ene kant via een PCI-X- of PCI Express-bus is verbonden met het systeem en aan de andere kant via PCI aan een I/O controller is gekoppeld. Verder bestaan dergelijke kaarten uit wat geheugenchips en andere ondersteunende onderdelen zoals een flashchip voor het bios. Op de I/O processor draait een stukje software, de RAID-software stack, die ervoor zorgt dat de op de I/O controller aangesloten harde schijven als een of meerdere RAID-volumes worden gepresenteerd aan het systeem. De drivers voor dergelijke controllers zijn vaak zeer slank, vergelijkbaar met een eenvoudige SCSI-controller. De RAID-stack bevindt zich bij deze controllers immers niet in de driver maar in de firmware. 90 procent van de intelligente RAID-controllers maakt gebruik van I/O processors uit het assortiment van Intel. SATA-controllers zijn tegenwoordig bijna zonder uitzondering afkomstig van Marvell. Silicon Image was een populaire leverancier in het SATA 1.0-tijdperk. Deze SATA-controllers zijn dezelfde componenten die als extra controller op sommige moederborden worden geleverd.
Intelligente RAID-controller met geheugenmodule, SATA-controllers (3x) en I/O processorDe voordelen van intelligente RAID-controllers zijn hun lagere cpu-belasting, uitgebreide featureset en hun vaak robuuste en betrouwbare implementatie. De prestaties zijn niet per definitie beter dan die van een hostbased RAID-controller omdat de capaciteit van de I/O processor nog wel eens een bottleneck wil vormen. De meeste intelligente RAID-controllers beschikken over een grote hoeveelheid cache, die hen een belangrijk voordeel verschaft boven hostbased controllers. De I/O processor en de cache hebben een sterke invloed op de performance van een intelligente RAID-controller.
Zoals gemeld is het overgrote deel van de intelligente RAID-controllers gebaseerd op IOP's van Intel. AMCC Storage is één van de fabrikanten die zich niet aan deze min of meer gestandaardiseerde aanpak heeft willen conformeren. Het bedrijf ontwikkelt al jaren een eigen oplossing, die in de 3ware 9650-serie is gebaseerd op de in eigen huis ontwikkelde G133e-ASIC en de PowerPC 405-core van moederbedrijf AMCC. Het grote voordeel van de G133e is volgens AMCC Storage zijn 32-kanaals DMA-controller, waarmee zestien harde schijven tegelijkertijd aangesproken kunnen worden. De I/O processors van Intel beschikken over slechts enkele DMA-kanalen, maar draaien wel op een hogere kloksnelheid en kunnen daardoor sneller schakelen. De beide oplossingen verhouden zich tot elkaar als een trage switch ten opzichte van een snelle hub.
Mooie marketingpraatjes betekenen weinig als het product niet daadwerkelijk superieur presteert aan de concurrentie. Helaas zijn de AMCC-controllers in het verleden veelal trager gebleken dan producten gebaseerd op een Intel IOP. De oorzaak voor de matige prestaties van de AMCC-controllers ligt in een combinatie van slechte schaalbaarheid en slechte caching. AMCC Storage zal in zijn nieuwe SAS-controllers in eerste instantie een vergelijkbare architectuur gebruiken als in de 3ware 9650. De PowerPC-processor en de StorSwitch-processor blijven gehandhaafd, echter zal de Marvell SATA-controller plaatsmaken voor een SAS-controller van Emulex. Deze chip werd ontwikkeld in samenwerking met Intel en wordt door laatstgenoemde als de IOC340 op de markt gebracht. AMCC Storage heeft echter bedongen dat het de controller onder gevestigde naam van Emulex geleverd mag krijgen. De controller is voorzien van acht poorten en beschikt over zowel een PCI-X- als PCI Express-interface. Dit laatste was belangrijk voor AMCC, omdat de controller zo direct kan communiceren met de bestaande G133e-chip, die aan de zijde van de I/O controller een PCI-X-interface heeft.
AMCC Storage (3)
AMCC zal zijn SAS RAID-adapters in drie versies op de markt brengen. De kaarten zijn gelabeld 9690SA-8I, 9690SA-8E en 9690SE-4I4E en zijn voorzien van respectievelijk twee interne, twee externe en zowel een interne als externe connector. De controllers beschikken over DDR2-533-geheugen en zullen in RAID 6 600MB/s kunnen wegschrijven en 800MB/s kunnen lezen. De bandbreedte wordt beperkt door de PCI-X-interface tussen de G133e-chip en de SATA-controller. Deze kan in theorie 1,06 gigabyte per seconde verplaatsen, echter blijft daar na aftrek van overhead hooguit zo'n 800MB/s van over. Per controller zullen maximaal 128 harde schijven ondersteund worden, waarvan maximaal 32 per RAID-set. AMCC belooft een verbeterde read ahead caching. Erg moeilijk zal het realiseren van deze verbetering niet zijn omdat de AMCC-controllers momenteel geen enkele read caching doen. Een mooi detail zijn de ventilatiegaten in de slotplaat, die ook aanwezig zijn op SATA RAID-adapters uit de 9650SE-serie.
AMCC 3ware 9690SA-8I
AMCC 3ware 9690SA-8E
De architectuur van AMCC Storage is tamelijk gecompliceerd in vergelijking met de Intel-gebaseerde RAID-controllers van andere fabrikanten, die uit twee componenten (processor en controller) bestaan. AMCC heeft hier drie onderdelen nodig. De AMCC-controllers zijn mede daardoor gecompliceerde achtlaags pcb's. Voor zijn tweede generatie SAS-controllers wil AMCC Storage overstappen op de PowerPC 440SPe-
processor van moederbedrijf AMCC. Dit is een geavanceerde IOP met een kloksnelheid tot 667MHz, PCI-X-bus, drie PCIe-interfaces, DDR2-geheugeninterface, gigabit ethernet en XOR-accelerator.
De migratie naar deze IOP zou een belangrijke stap voorwaarts kunnen betekenen voor AMCC Storage. Het bedrijft claimt er een beter toekomstperspectief mee te hebben dan de fabrikanten die afhankelijk zijn van Intel. Volgens AMCC Storage is Intel onvoldoende gecommitteerd aan de ontwikkeling van zijn I/O processors en is er geen roadmap voorbij het huidige topmodel, de IOP348. Of we veel waarde moeten hechten aan de woorden van een concurrent is de vraag. Intel heeft zijn IOP's in de afgelopen jaren in rap tempo verbeterd, waarbij de oude, onvoldoende presterende i960 plaats maakte voor de moderne ARM-gebaseerde XScale-architectuur. De nieuwste ontwikkeling is de IOP348, die is voorzien van een geïntegreerde Intel IOC340 SAS-controller. Hiermee is Intel één van de eerste fabrikanten die een volledig geïntegreerde oplossing voor Serial Attached SCSI beschikbaar heeft. Hierover later meer in onze bespreking van Areca.
Een opmerkelijke wetenswaardigheid is dat de meest verkochte controller van AMCC de variant met twee poorten is. Deze controller is populair onder gebruikers die een hardwarematige RAID-controller met goede Linux-ondersteuning nodig hebben voor het mirroren van bootschijven. De AMCC 3ware 9650SE-2LP is de enige 2-poorts intelligente SATA RAID-adapter met PCI Express-interface. De SATA-controller op deze kaart is overigens gewoon een 4-poorts chip, waarvan alleen de eerste twee poorten daadwerkelijk op een connector zijn aangesloten. Marvell, de fabrikant van de SATA-controllers, levert geen model met twee poorten en het gebruik van een 2-poorts controller van een ander fabrikaat zoals Silicon Image zou hoge ontwikkelingskosten met zich meebrengen, omdat de firmware daarvoor ingrijpend aangepast zou moeten worden.
AMCC 3ware 9650SE-2LP
Areca
Areca presenteerde op de CeBit zijn langverwachte SAS RAID-adapters. De nieuwe lijn bestaat uit twee kaarten; de ARC-1680 en de ARC-1680LP. De eerste heeft een 3/4 full height formaat en beschikt over een DIMM-slot waarmee het geheugen naar maximaal 2GB gepimpt kan worden. De ARC-1680LP heeft een low profile-format en moet het stellen zonder uitbreidbaar geheugen. Standaard wordt er 256MB geheugen geleverd. Beide adapters hebben acht poorten, waarvan er bij de ARC-1680 acht intern en vier extern toegankelijk zijn. De ARC-1680LP heeft vier interne en vier externe poorten. De connectors zijn van het type wide port mini SAS, officieel aangeduid als SFF-8087 (intern) en SFF-8088 (extern). Met behulp van SAS-expanders kunnen de kaarten maximaal 128 harde schijven aansturen. De ARC-1680 en ARC-1680LP beschikken evenals de andere high-end PCI-adapters van Areca over een ethernet management interface. Nieuw is de ondersteuning van RAID 60, een stripe van twee RAID 6-arrays. Ook ondersteuning voor RAID 50 werd toegevoegd. Areca verwacht in april de eerste samples van de nieuwe kaarten te kunnen leveren, een maand later gevolgd door de eerste levering van orders aan klanten.
De basis van de Areca ARC-1680 en ARC-1680LP is de Intel IOP348, een combinatie van de IOP341 I/O processor en de IOC340 SAS-controller. De IOP341 wordt reeds gebruikt op de nieuwe generatie 12-, 16- en 24-poorts SATA RAID-adapters, die vorig jaar door Areca op de markt werd gebracht. Dankzij een kloksnelheid van 800MHz levert de IOP341 in de 24-poorts Areca ARC-1280 zeer hoge transfer rates van maximaal 780MB/s. Mogelijk speelt hierbij de PCI-X-interface van de SATA-controller een beperking. Deze is zoals gezegd beperkt tot een bandbreedte van ongeveer 800MB/s. De geïntegreerde SAS-controller van de ARC-1680 zal wellicht nog beter kunnen presteren dankzij de snellere PCI Express-interface met een doorvoersnelheid van 6,4GB/s. De kloksnelheid van de processor werd echter wel verlaagd van 800 naar 667MHz, dus het is nog even de vraag of de performance scaling van de ARC-1680 werkelijk beter zal zijn.
Intel IOP348 diagramAreca toonde op de CeBit tevens een nieuwe serie externe RAID-controllers, bedoeld voor integratie in externe RAID-behuizingen. De controllers zijn leverbaar met een externe 3Gb SAS (ARC-8100-SAS), 4Gb Fibre Channel (ARC-8200-SAS) of 1Gb iSCSI (ARC-8300-SAS) interface. De interne interface (voor het aansluiten van harde schijven) is in alle gevallen SAS. De basis van deze controller is een 667MHz IOP341-processor. De controller kan geleverd worden met maximaal 2GB geheugen.
Adaptec
Ook bij Adaptec was het SAS dat de klok sloeg. De fabikant introduceerde onder de noemer 'unified serial adapters' een indrukwekkende nieuwe productlijn van SAS RAID-adapters. Voor het performancesegment werden de Adaptec RAID 31605, 31205 en 3085 geïntroduceerd, allen gebaseerd op een 800MHz IOP333-processor met een PCI Express-interface en respectievelijk 16, 12 en 8 SAS-poorten. Het aantal van 12 en 16 poorten op de 31205 en 31605 wordt op originele wijze bereikt door een SAS-expander te integreren op de pcb. Dit is de eerste keer dat we een dergelijke oplossing zien. Normaal gesproken is de SAS-expander onderdeel van de backplane van de (externe) behuizing.
Voor de onderkant van de markt biedt Adaptec de 8-poorts RAID 3805 en de 4-poorts RAID 3405 met 128MB cache. De kaarten met acht of meer poorten beschikken over 256MB cache. Adaptec richt zijn unified serial adapters in de eerste plaats op systemen waarin laag geprijsde Serial ATA-harde schijven worden gebruikt. De SAS-compatibiliteit wordt als bonus meegegeven. Voor het hogere marktsegment biedt Adaptec de reeds bestaande 4805SAS en 4800SAS PCI Express- en PCI-X-adapters. De nieuwe SAS-controllers zullen tevens door het Duitse dochterbedrijf ICP Vortex op de markt gebracht worden. Anders dan in het verleden is er ditmaal geen verschil in specificaties zoals een grotere hoeveelheid geheugen of een snellere processor. Wel behouden de ICP-kaarten hun kenmerkende blauwe pcb en gouden slotplaat.
| Adaptec model | ICP model | Interface | Poorten | Cache | Connector intern | Connector extern |
| RAID 3405 | ICP5045BL | PCIe x4 | 4 | 128MB | 1x SFF-8087 | |
| RAID 3805 | ICP5085BL | PCIe x8 | 8 | 256MB | 2x SFF-8087 | |
| RAID 3085 | ICP5805BL | PCIe x8 | 8 | 256MB | | 2x SFF-8088 |
| RAID 31205 | ICP5125BR | PCIe x8 | 12 | 256MB | 3x SFF-8087 | |
| RAID 31605 | ICP5165BR | PCIe x8 | 16 | 256MB | 4x SFF-8087 | |
Promise en HighPoint
Het productnieuws van Promise wat betreft de RAID-controllers was beperkt van omvang, maar het betrof wel een interessante vernieuwing. Het bedrijf presenteerde namelijk twee eenvoudige hostbased RAID-adapters met respectievelijk twee en vier SAS-poorten. De kaartjes praten via een PCI Express x1-interface en zijn voornamelijk bedoeld om RAID 1 of RAID 10-arrays te creeën in pc's en entry-level servers. Naast de twee genoemde RAID-levels ondersteunen de kaartjes RAID 0 en heeft het 4-poorts model support voor RAID 5. De basis van de FastTrak TX2650 en TX4640 is een in eigen huis ontwikkelde SAS-controller.
Thuisgebruikers zullen met de FastTrak TX2650 en TX4640 tegen aantrekkelijke prijzen SAS-connectiviteit in huis kunnen halen. Het is twijfelachtig of het veel zin heeft om SAS-harde schijven te gebruiken in een pc of workstation, aangezien de Western Digital Raptor ADFD momenteel al de snelste harde schijf voor workstationgebruik is. Als er echter ook ondersteuning komt voor SAS-expanders en deze expanders tegen lage kosten beschikbaar komen, kunnen de beide controllertjes een mooie oplossing worden om op betaalbare wijze grote aantallen harde schijven aan te sluiten. Het is in ieder geval een positieve ontwikkeling dat een SAS-controller niet meer honderden euro's hoeft te kosten, zoals in het verleden het geval was bij Ultra320 SCSI-controllers en nu nog het probleem is bij de 8-poorts SAS-controllers van Adaptec en LSI Logic.
Naast de twee SAS-kaartjes toonde Promise zijn SmartStor NS4300N desktop NAS-systeem met gigabit ethernet interface en ruimte voor vier SATA-harde schijven. Verder werd de VTrak E-Class RAID-behuizing gepresenteerd. Deze machine biedt plaats aan twaalf SAS- of SATA-schijven en kan geleverd worden met een Fibre Channel- of SAS-externe interface. De machines hebben ondersteuning voor de RAID-levels 0, 1, 1E, 10, 5, 6, 50 en 60. Er is tevens een JBOD-versie voor aansluiting op een interne RAID-controller.
HighPoint
HighPoint bracht weinig nieuws naar de CeBIT. De belangrijkste vernieuwing was de RocketRAID 2314 waarmee vier externe SATA-schijven aangesloten kunnen worden. Ook nieuw was de RocketRAID 2322, een PCIe x4-controller met twee externe mini-SAS-connectors voor het aansluiten van acht externe harde schijven. HighPoint zal later dit jaar een grotere variant aankondigen van zijn X4-externe behuizing, waar acht in plaats van vier harde schijven in kunnen plaatsnemen.
Het bedrijf meldde verder dat er een eigen SAS-controller in ontwikkeling is die zijn opwachting zal maken in PCIe-adapters voor de budgetmarkt, naar voorbeeld van de eerder besproken SAS-controllertjes van Promise. Deze ontwikkeling zal niet alleen positieve gevolgen hebben voor de prijzen van SAS-controllers, maar betekent ook een vergroting van diversiteit. In markten die worden gedomineerd door respectievelijk Marvell en Silicon Image (Serial ATA) en Adaptec en LSI Logic (SCSI en SAS) is dat een welkome verandering. Over enige tijd zullen oem's en fabrikanten van uitbreidingskaarten hun SAS-controllers kunnen betrekken van Adaptec, LSI Logic, Intel / Emulex, Marvell, Promise en HighPoint.
Diversen
De 2,5 inch form factor voor enterprise harde schijven heeft in het afgelopen jaar een sterke opkomst gemaakt. Bijna alle grote oem's leveren systemen voor SFF-harde schijven en ook de meeste fabrikanten van behuizingen en serverbarebones zijn overstag gegaan. Niet onbelangrijk is bovendien het feit dat er nu een volledige range van toerentallen verkrijgbaar is voor het 2,5 inch formaat. Een 15.000 toeren model ontbrak tot voor kort, maar daar bracht Seagate halverwege januari verandering in met de introductie van de Savvio 15K.1. De eerste tests wijzen uit dat de Savvio 15K.1 dankzij zijn kleinere diameter nog iets lagere toegangstijden heeft dan een 15K disk in 3,5 inch formaat. De maximale sequentiële transfer rate van 108MB/s is indrukwekkend voor een schijfje van zakformaat. Aan de onderkant van de markt wordt het 2,5 inch segment bediend door gepromoveerde laptopschijfjes zoals de Hitachi Travelstar E7K100, die een goede oplossing kunnen zijn voor toepassingen waarin beperkte ruimte voorhanden is en transfer rate belangrijker is dan opslagcapaciteit. Een 2U behuizing biedt ruimte voor 24 SFF-schijfjes of twaalf 3,5 inch disks. In RAID 6 kunnen twee dozijn 7200 toeren schijfjes in theorie ongeveer 1,35GB/s verplaatsen, terwijl twaalf 3,5 inch 7200 toeren schijven op 800MB/s blijven steken.
Behuizingen voor het 2,5 inch formaat waren op de CeBit onder andere te zien bij AIC. Voorbeelden zijn de onderstaande behuizingen in 1U en 2U formaat voor respectievelijk tien en 24 schijfjes.
Aan creativiteit ontbreekt het niet bij deze fabrikant, getuige de onderstaande unit waarin 48 harde schijven over dwars geplaatst kunnen worden. Een andere behuizing bood ruimte aan 48 schijven door twee schijven achter elkaar in een slede te plaatsen. Het nadeel hiervan is dat er bij het vervangen van een schijf onvermijdelijk een andere (goed functionerende) disk uit de behuizing wordt getrokken. Om veilig gebruik te kunnen maken van deze feature moet er eigenlijk gewerkt worden met RAID 60 of twee RAID 6-arrays op de voorste en achterste schijven, zodat er tijdens het verwijderen van de twee harde schijven nog steeds een defect getolereerd kan worden.
De 2,5 inch form factor is vooral door de grote oem's zoals IBM, HP en Sun in de markt gezet. Inmiddels kunnen ook veel fabrikanten van serverbarebones apparaten leveren voor het kleine formaat schijfjes. Een voorbeeld is Uniwide.
De fabrikanten Chenbro en CI Design hadden weinig nieuws te melden op de CeBit. Op de stand van CI Design werd door VMB Raid Distribution wel een interessante iSCSI-oplossing van iStor Networks gedemonstreerd. De iStor Gigastor ATX is een hardwarematige iSCSI RAID-controller in ATX-formaat. Het moederbord is voorzien van een Motorola XPC8251 PowerPC-processor en twee 8-poorts Marvell SATA-controllers. Het bord beschikt over 512MB systeemgeheugen en wordt standaard met een halve gig cache geleverd. Wie de portemonnee wat verder opentrekt kan daar 4GB van maken. De RAID-controller van de Gigastor ATX kan geconfigureerd worden via een webbased interface en heeft ondersteuning voor de RAID-levels 0, 1, 5 en 10. Er zijn versies verkrijgbaar met acht gigabit ethernet poorten of één 10Gbit poort.
Op de CeBit werd het gigabit systeem getoond. Met een Intel-desktopmobo en de Windows iSCSI-iniator als client bereikte de Gigastor ATX een doorvoersnelheid van 400MB/s. De prestaties van de Gigastor ATX lijken dus dik in orde. Voor integrators en var's is de iStor Gigastor ATX een eenvoudige oplossing om iSCSI-opslag aan te kunnen bieden. Het bouwen van een iSCSI-opslagapparaat is een kwestie van moederbord in een kast schroeven, harde schijven aansluiten en wat configuratieinstellingen maken.
:strip_exif()/i/1236332839.gif?f=fpa)
/u/1830/acm.png?f=community){kind=small}
/u/1/femme.png?f=community){kind=small}
:strip_icc():strip_exif()/u/148505/31bb5b263ef71bb4d5751e9a89035105.jpeg.jpg?f=community){kind=small}
:strip_icc():strip_exif()/u/67591/crop5bf5ebd1b2d79_cropped.jpeg?f=community){kind=small}
:strip_icc():strip_exif()/u/176436/Singapore2.jpg?f=community){kind=small}
):strip_icc():strip_exif()/u/7027/RAID5.jpg?f=community){kind=small}
:strip_icc():strip_exif()/u/75087/fallout3avatar.jpg?f=community){kind=avatar}
:strip_exif()/u/15310/tomato60%252072%2520frames%25205%2520deg%2520per%2520frame%2520optimized%252026%2520colors.gif?f=community){kind=small}