Hardwarematige gzip-compressie met PCI-kaart

Heise Online maakt melding van een noviteit die de redacteur van de site op de CeBIT in Hannover heeft gezien. Het betreft een nieuwe PCI-kaart die hardwarematige acceleratie verzorgt voor gzip-compressie. Het "GZIP Acceleration Board", wat ontwikkeld is door een joint-venture van de Universiteit van Wuppertal en het bedrijf Vigos AG, kan hardwarematig 32MB per seconde comprimeren. Hiermee is de kaart in staat een netwerkverbinding van 100MBit real-time te comprimeren. De kaart is voornamelijk bedoeld voor ISP's en bedrijven met servers die veel dataverkeer produceren, wat met de kaart kan worden gecomprimeerd terwijl de CPU van de server niet met deze taak belast wordt:

Vor allem in Webservern soll so das ausgehende Datenvolumen on-the-fly komprimiert und damit sowohl die CPU als auch die Netzwerkanbindung entlastet werden -- eine willkommene Hilfe für Internet-Provider, die ressourcenschonend agieren müssen. Diese sind auch die primäre Zielgruppe für das mittlerweile patentierte Verfahren, das in ersten Seriengeräten Ende 2003 zum Einsatz kommen soll. Bis dahin will der Hersteller auch das noch sehr klobige Layout der Karte auf die Gegebenheiten in Servergehäusen angepaßt haben.

Reacties (51)

[ernstblaauw]

Hoe zit het op dit moment eigenlijk met de compressie over een netwerkverbinding? Die is er toch helemaal niet? (Dit itt een 56K modem , die volgens mij wel datacompressie toepast)
Het lijkt mij iig een goekope manier om de bestaande kabels een hogere capaciteit te geven.

[Verwijderd]

Nee, het zit anders. De mogelijkheid tot Gzip-compressie zit in het HTTP-protocol gebakken, maar ook in bv. het FTP-protocol. Datacompressie bij een modem vind op een heel ander niveau plaats.

Wat gecomprimeerd word bij veel sites is bv. de html, css en javascript-bestanden. Dit, omdat deze gecomprimeerd vaak maar 10 tot 20% van het origineel zijn en dus veel minder bandbreedte gebruiken. Probleem is alleen dat alles wel eerst gecomprimeerd moet worden, en voor sites met dynamische content moet dit voor bijna elk request gebeuren. Dat geeft een erg hoge load, vandaar zo'n kaartje. Ideaal!

[PowerFlower]

De grap is dan ook dat je met een modem als je compressie aanzet met gewoon surfen een flink snellere verbinding hebt dan bijv. een ongecomprimeerde ISDN verbinding, dat merk je vooral als je een grote .txt bekijkt

* 786562 PowerFlower

[BoomSmurf]

Hmm dit idee had ik 3 jaar geleden al maar niet de kennis of het geld om er iets van te bouwen :-)

Aan de ontvanger kant zal geen kaart nodig zijn, dit is gericht op het HTTP protocol wat GZIP compressie ondersteund. De meeste HTTP/1.1 browsers zullen de decompressie ondersteunen.

Qua performance winst kan het best aardig zijn, aangezien HTML, XML, etc vaak teruggebracht kan worden tot 5% of kleiner. Nadeel is wel dat bv plaatjes en filmpjes hier total geen voordeel uit kunnen halen.

Edit: Klaus is me voor

NB, SheepOnFire: Decompressie van gzip data is veel sneller dan compressie, je zal hier aan de client side niet nadelig iets van merken zonder hardware acceleratie, aangezien de winst van het sneller binnenhalen van de data veel groter is.

NB, Olaf van de Spek: Klopt je hebt gelijk, ik typ sneller dan ik denk :-)

Verder vraag ik me nou af of die kaart het de complete HTTP-transform voor zn rekening neemt of alleen de gzip compressie (waar programma's dus gebruik van zullen maken dmv een driver of zo?) aangezien er nogal wat decompressie bugs in browsers bekend zijn (IE4 en 5 gaan slecht om met gecomprimeerde CSS, JavaScript en application/* content, NS4 heeft ook het CSS probleem, etc)

Edit: Heb net de tech specs PDF op de Vigos site doorgelezen: dit zou de kaart op moeten vangen.. De vraag is natuurlijk hoe goed ie dit doet :-) Geen drivers nodig.

[Verwijderd]

Nadeel is wel dat bv plaatjes en filmpjes hier total geen voordeel uit kunnen halen.

Niet helemaal waar, een BMP kun je zeker wel comprimeren middels gzip. Ik heb een keer met iemand getest wiens provider ook compressie toepastte. Daarmee kun je met een ISDN verbinding zo'n 70KB/sec halen. (Niet echt natuurlijk, de verzonden data is kleiner dan de uiteindelijke data)
Daarbij bleek dat het uploaden van een BMP bestand sneller ging dankzij deze compressie dan een jpg waar niets meer aan te comprimeren viel.

[Olaf van der Spek]

Natuurlijk zijn plaatjes ook te comprimeren als je slechte image formats gebruikt. Als je goede formats als bijvoorbeeld JPEG of PNG gebruikt valt er vrijwel niks meer te comprimeren.

[BoomSmurf]

Idd, af en toe heeft het wel effect, maar verreweg de meeste sites hebben al 'geoptimaliseerde' plaatjes. Ik heb dit zelf ook uitgetest (ben ooit bezig geweest een compressing proxy te schrijven - output test progsel / MSDN: http://www.am-ende.net/msdn.jpg) en ik heb niet zo heel veel sites kunnen vinden waar compressen van plaatjes (zowel gzip als omzetten naar een ander bestandsformaat) echt veel effect had...

[Olaf van der Spek]

HTTP/1.1 compliant browsers hoeven gzip decompressie niet te ondersteunen.
Er is niet voor niks een Accept-Encoding header die de client verzend om aan te geven welke compressie methoden ondersteund worden.

[Maarten Blom]

Toen ik 2 was wilde ik ook naar de maan maar had toen ook niet het geld en de middelen.

[IceStorm]

Zo, even wat plaatjes van het ding:

http://cebit2003.xpam.de/dsc05629.jpg
http://cebit2003.xpam.de/dsc05630.jpg
http://cebit2003.xpam.de/dsc05631.jpg

zoals je kunt zien is het geen 'subtiel' kaartje.

Als ik het commentaar op het artikel lees moet het ding in de herst beschikbaar zijn. Wat het moet gaan kosten kan ik iig nergens terug vinden helaas.

Ik vind het in ieder geval een slim idee. Zeker omdat je je cpu power meestal wel beter voor andere zaken kunt gebruiken dan gzippen.

[T.T.]

das in ersten Seriengeräten Ende 2003 zum Einsatz kommen soll. Bis dahin will der Hersteller auch das noch sehr klobige Layout der Karte auf die Gegebenheiten in Servergehäusen angepaßt haben.

Dit is nog een pre-productie kaartje, ze willen de complexiteit nog terugbrengen voordat het op de markt verschijnt.

[TD-er]

Klopt, er zit nog een Xylinx FPGA op. Dat is een stukje programmeerbaar silicium.
Dat "programma" kun je later opsturen en er dan chips van laten bakken.
Op deze manier is het kaartje ook een beetje te duur, want die Xylinx chips zijn best prijzig en ook nog eens een stuk langzamer dan wat met "gebakken" silicium te halen is.

[ATS]

Zouden ze dit echt zo op de markt gaan brengen? Deze kaart ziet er wel heel vaag uit met zijn drie lagen... Dit lijkt meer op een test-model dan op iets wat daadwerkelijk in de winkel komt te liggen.
[edit] OK, T.T. geeft al aan dat dit inderdaad het geval is...

[overloaddesign]

Is volgens mij wel handig zo een kaartje ... vooral als je veel gele kaarten van chello/upc/essent krijgt

Maar dit is inderdaad een test versie en die is zo raar opgebouwd zodat men er makkelijker aan kan meten met een logic analyser enzo

[servies]

Als je het nu goed had gelezen dan had je gezien dat de kaart compressed: je hebt er dus niets aan als je veel gele kaarten krijgt van Chello of wat voor provider dan ook. Dat compressen wordt alleen gebruikt voor de upstream... en daar zit sowieso al een beperking van 16k p/s op...

[blobber]

Zulke stapelbedden brengen ze echt niet in deze vorm op de markt, het zijn pre-productiemodellen de meeste troep moet nog worden samengevoegd in een paar nifty chipjes en dan alles samen op 1 kaartje

[Verwijderd]

Dat xilinx ding is waarschijnlijk een fpga ofwel een programeerbare chip. Voor die hele 2opgeplakte lagen zal gewoon 1 chippie in de plaats komen. Dus het is inderdaad gewoon een testmodel.

[Verwijderd]

Wow dit is echt top, maar hoeveel performance winst wordt er nu behaald met het comprimeren van de data?

En moet er aan de andere kant ook zo'n kaart worden gehangen? Of werkt het als bijvoorbeeld gecomprimeerde http pakketjes, dat er in de header wordt meegegeven dat de data is gecomprimeerd?

edit:typo

[Verwijderd]

Als dat zo zou zijn zou er alleen http verkeer overheen kunnen en moet de computer aan de andere kant alsnog de pakketjes decompressen zonder hardwarematige acceleratie.

[mxcreep]

Klopt, maar die client hoeft alleen maar de pakketjes te decompressen die daar aankomen, een beetje drukke webserver heeft tientallen requests tegelijkertijd, waarvan een groot deel vaak al scriptfiles (php/asp) zijn met nog database connecties, daar zou het zippen van de files net teveel kunnen zijn en dus zou een hardwarematige oplossing zeker een goed idee zijn.
Ware het niet dat veel webservers 1U machines zijn die dan weer net geen ruimte hebben om een pci kaart in te proppen...

[Spider.007]

Je moet het net zo zien als een DVD kaart met MPEG compressie chip; er gebeurt niets op applicatie niveau; maar de kaart helpt de processor om GZIP acties uit te voeren.

[Adm.Spock]

Voor decompressie heb je veel minder CPU kracht nodig.

[boesOne]

Kan het kaartje ook hardwarematig decompressen ?
Als ie dat kan wil ik wel zo'n chip tussen mijn harddisk en mijn nothbridge. Past er ineens veel meer op je HDD. Een soort hardwarematige doublespace

[VHware]

Kon lang geleden met Stacker
Had je een ISA-kaart die hardware-matig compressie/decompressie deed ... (kon ook zonder die kaart uiteraard, maar dan nie hardware-matig)

[Raafz0r]

Vroeger kon je je systeem soms sneller maken door te doublespacen. Als je een langzame HD en een snelle CPU had was doublespace voordelig, want dan merkte je weinig van het decompressen, terwijl je wel een hogere netto snelheid haalde.

[Verwijderd]

Hoe "smart"zijn deze dingen? Zien ze ook dat een JPEG plaatje niet meer comprimeerd hoeft te worden en dat een zipfile rustig kan worden overgeslagen. Winrar kun je rustig zijn gang laten gaan op het inpakken van 2 Zip bestanden. Duurt een eeuwigheid, maar hij zal ze wel proberen te comprimeren. Dat vreet dus tijd.

[Makkelijk]

ze zijn dom. Ze kunnen alleen helpen met inpakken. Bepalen wat er moet worden ingepakt zal door de software bepaald moeten worden. Het voordeel hiervan is dat dit kaartje dan gewoon direct samenwerkt met de huidige programmatuur, servers en websites .
Dus ieder bedrijf kan gewoon meteen zo'n kaartje ertussen hangen en het werkt meteen! Als de kaart dingen moet gaan beslissen moeten de programma's/sites worden herschreven voor de kaart!

[Verwijderd]

Als ze dat spul inbouwen in netwerkkaartjes, wordt het pas echt interessant. Lijkt me een logisch gevolg van deze ontwikkeling, niet?

[Verwijderd]

hmmm, moeten we hier blij mee zijn? Straks krijgen we dus alle data van het internet in gzip binnen. Het internet wordt voor ons dus trager omdat onze CPU's het eerst moeten unzippen.

Het zou wel leuk zijn als zo'n kaart er ook voor consumenten is. Kun je lekker snel winzippen. Maar ik denk dat de prijs van deze kaart te hoog zal zijn voor normale consumenten.

[T.T.]

Jouw pc doet waarschijnlijk 90% van de tijd niets bij het ontvangen van de data. Je denkt dat het langzamer wordt doordat je pc eerst alles moet unzippen, je vergeet echter:
-data komt sneller binnen, doordat het gezipped is
-unzippen kost veel minder tijd dan het renderen (pagina opbouwen op het scherm) van de data door de browser.

Het kaartje is vooral bedoeld om het uitgaande dataverkeer van de server te beperken.

[bartvb]

Eeh, dat gebeurd nu ook al voor een behoorlijk groot deel hoor. De pagina die je nu zit te bekijken is hoogstwaarschijnlijk ook ge-gzipt (als je dit niet uitgezet hebt in je profile). Op mijn site (een phpBB forum) draai ik ook met gzip, aan de client-kant merk je hier met een snelle verbinding niets van. Met een modem is de site behoorlijk wat sneller (pagina's van 4k ipv 40k). Wat dataverkeer (en dus geld, in nederland al snel 2 euro per GB/maand) scheelt het mij ook enorm. Met gzip zit ik op z'n 80GB/maand, zonder gzip op z'n 600GB, iets waar ik niet echt blij van zou worden.

De gemiddelde consumenten PC heeft een >1Ghz processor die 99.99% van de tijd helemaal niets staat te doen, die ligt echt niet wakker van het gunzippen van een paar kb

IMO is dit dus best een uitkomst hoewel het voor een server als die van mij (die iets van 30kbps naar buiten stuurt ofzo) niet zo heel bruikbaar is. Maar voor servers die veel statische content uitspugen of voor een reverse proxy kan dit erg handig zijn! Is er eigenlijk al een prijs bekend?

[Cybje]

Of juist sneller, want het duurt minder lang voordat je de data binnen hebt.
Gzip is geen Winzip, dus je hebt er als 'normale consument' zijnde vrij weinig aan. Daarnaast gzip ik dermate weinig dat ik dan liever die ene keer maar even een paar minuutjes langer wacht.
Maar voor mijn servers kan het best interessant zijn, scheelt bandbreedte

[BoomSmurf]

Cybje, het is wel compatible met winzip... Is ook gewoon gzip met een ietsje anders file formaat. Alleen wordt er deflate gebruikt ipv gzip, en wat is deflate? gzip zonder 12 bytes header

edit: (tuurlijk zou de kaart hierop aangepast moeten worden, want nu is het puur voor HTTP gebruikt)

[ATS]

Ik gebruik anders vaak gzip (of liever nog bzip2). Niet iedereen gebruikt windows...

[akoster]

Ik ben het niet helemaal met je eens,

direct gezien heeft 'de gebruiker' er inderdaad niets aan, maar omdat het inpakken aan de serverkant voor minder CPU-gebruik en netwerk-load zorgt is er indirect wel een positief effect, namelijk snellere levering van de gevraagde informatie !

[Appesteijn]

Nou ik denk dat je CPU tijdens het internetten toch voor 80% uit zijn neus staat te vreten. Dat heeft ie dus ook wat te doen.

[Cergorach]

Ik ben eigenlijk benieuwd hoe veel zo een kaartje gaat kosten, op zich is het best interessant, maar natuurlijk niet als die dingen astronimische bedragen moeten gaan opbrengen...

[Verwijderd]

Ik denk niet veel. Je moet nagaan dat waarschijnlijk op het printplaatje alleen een programmeerbaar geheugenchip komt en een processor voor de compressie. In de introductieperiode zal wat duurder zijn, maar ik denk dat de uiteidelijke prijs zo rond de 40 euro komt te liggen.

[Sfynx]

Versie 2.0 van de kaart is hardwarematige bzip2-compressie? Dat kost nog meer CPU resources dan gzip, en comprimeert beter 3.0 is dan een RAR kaart

[BoomSmurf]

Jammer genoeg wordt bzip2 AFAIK niet door browsers ondersteund