Intel lijft Infiniband in

Intel heeft een deel van QLogic, het bedrijf achter netwerkinterconnect InfiniBand, overgenomen. Een aanzienlijk deel van QLogic komt daarmee in handen van Intel, die de communicatiestandaard aan zijn netwerkportfolio toevoegt.

De InfiniBand-standaard wordt vooral in supercomputers en in andere hpc-toepassingen gebruikt en zorgt voor seriele verbindingen tussen processors met onder meer opslagapparatuur. De snelheden van een InfiniBand-interconnect bedragen 2Gbps tot 300Gbps. De aquisitie van de bedrijfstak van QLogic die verantwoordelijk is voor InfiniBand past in Intels zogeheten exascale-strategie.

Het bedrijf wil tegen 2018 exascale-berekeningen in supercomputers mogelijk maken. Momenteel is dat nog een orde van grootte minder met terascale-berekeningen, ofwel enkele teraflops. De InfiniBand-interconnects worden veelal gebruikt om grote hoeveelheden data van en naar storage-arrays te sturen. Met de overeenkomst, die dit kwartaal afgerond moet zijn, is een bedrag van 125 miljoen dollar gemoeid; werknemers van QLogic worden waarschijnlijk bij Intel ingelijfd.

Reacties (39)

Het zou me niet verbazen moest Intel dit gebruiken om te integreren in moederborden en processors... Slimme overname

Twijfelachtig, het is een netwerk-interconnect, en en redelijke prijzige. Wat moet je ermee in een consumenten moederbord of een processor?


Die 300Gbps haal je alleen met de duurste optie en 12 kanalen. Als je het goedkoper houdt, op een enkel kanaal, is de maximale snelheid 25Gbps. Weinig verbetering over de 20Gbps van Thunderbolt. Daarnaast zou dat "TB2" een stuk minder interessant maken gezien je van PCI-Express + DisplayPort (beide veelgebruikte standaarden) naar een gesloten standaard gaat.

[Reactie gewijzigd door knirfie244 op 23 januari 2012 21:15]

Wat denk je dat een infinibandkaartje kost? Oké, voor consumentenhardware is het nog net iets te duur. Maar voor 350 euro verkoop ik jou een 40 gigabps infinibandkaart. Als je kijkt naar concurrerende netwerktechnieken (10 gigabps ethernet, Fibre Channel) is dat geen geld. Belangrijk is, dat het op de prijs van een server (infiniband vind je in servers) maar een klein deel van de kosten uitmaakt. Maar die server presteert met die kaart opeens wel stukken beter. Dat vanwege de rekenkrachtbesparende eigenschappen van infiniband.

Infiniband is overigens een open standaard, beheerd door de Infiniband Trade Association, http://www.infinibandta.org. Dat is één van de redenen waarom het zo groot aan het worden is. Dit artikel is een beetje misleidend. QLogic is een infinbandfabrikant. Dat wordt dus Intel. Er is er nog één: Mellanox. En die is veel groter dan QLogic. Er blijft dus concurrentie.

Het zou me niet verbazen moest Intel dit gebruiken om te integreren in moederborden en processors..

Thunderbolt V2 in de nabije toekomst...
Dan is die 10Gbit van TB maar een trage bedoeling

_{Edit: Thunderbold schrijf je met een t op 't eind.}

[Reactie gewijzigd door LooneyTunes op 23 januari 2012 18:02]

bold?

ik denk niet dat wij als consumenten dit op onze bordjes krijgen, of kunnen veroorloven

Gebruikte 10Gbps Infiniband-adapters zijn voor weinig geld te krijgen. Ik heb hier voor testdoeleinden twee Voltaire dual port 10Gbps Infiniband-adapters met kabels van tien meter aangeschaft voor bij elkaar 200 euro. Voor wie eBay wil afstruinen is het de goedkoopste high speed netwerkinterface.

Ik ga ze testen in een OpenIndiana san- en nas-box en vergelijken met fibre channel en gigabit ethernet. Binnenkort mag je daar artikelen over verwachten.

Dat klinkt goed. Ben vooral benieuwd hoe het presteert in vergelijking met Gbit ISCSI.

Infiniband (via SRP - SCSI RDMA Protocol) presteert vele ordes beter dan gigabit iSCSI. Daar zijn meerdere redenen voor:

• Allereerst is de ruwe bandbreedte van Infiniband beter dan gigabps ethernet. Met 56 gigabps voor FDR-infiniband presteert infiniband, tegen zeer betaalbare prijzen, beter dan welke ethernettechniek je ook bedenkt.
• Infiniband belast de processor niet. Bij iSCSI moet SCSI-commando's in ip-pakketjes verpakt worden, die weer in ethernetpakketjes verpakt worden. Dat vereist nogal wat rekenkracht. Infiniband is gemaakt om alle tussenstappen te elimineren. Je praat vrijwel rechtstreeks met de hardware. (Zelfs de Linuxkernel kan overgeslagen worden, user-space programma's praten vaak rechtstreeks met de hardware. Maar SCSI zit in de kernel, dus bij dit voorbeeld minder relevant).
• Infiniband haalt zeer lage latenties, dicht tegen de 1 microseconde. Ethernet heeft latenties van tientallen microsecodes. Dat betekent dat een SCSI-commando veel sneller bij de schijf is dan via ethernet.

Vaak levert het installeren van een infinibandkaartje een dag-en-nacht verschil op in snelheid. Niet alleen storage. Ook webservers, databaseservers krijgen opeens grote haast omdat de communicatie opeens veel minder rekenkracht kost en processoren veel minder vaak staan te wachten op communicatie.

Zelfs de Linuxkernel kan overgeslagen worden, user-space programma's praten vaak rechtstreeks met de hardware. Maar SCSI zit in de kernel, dus bij dit voorbeeld minder relevant

Kan je dat eens uitleggen? Het lijkt me dat je kernel toch altijd wel betrokken is. De driver kan dan misschien minimaal zijn maar, hoe kan in een niet-RT Linux de kernel worden overgeslagen door user-space programma's?

Een "gewone" netwerkkaart heeft één set registers, die enkel door de drivers bediend mogen worden. Een infinibandkaart heeft meerdere sets registers, die "contexten" worden genoemd. Die kunnen in de adresruimte van een applicatie worden afgebeeld. De hardware is speciaal ontworpen dat een applicatie niets "kwaads" met die registers kan doen en de systeemstabiliteit niet in gevaar komt.

Zo krijg je dat infiniband gegevens direct van het geheugen van de ene applicatie in het geheugen van een applicatie op een andere machine schrijft. Dat heet het RDMA-principe.

Waar men bij tradionele netwerkcommunicatie met de BSD sockets-API werkt, heeft infiniband een ander principe: De Verbs-API. Sockets zijn ook mogelijk, maar voor compatibiliteit met al bestaande code. Waar je bij een socket een filedescriptor van de kernel krijgt waar je operaties op kunt uitvoeren, krijg je bij Verbs een queue-paar, één voor verzenden, en één voor ontvangen. De applicatie zet opdrachten in de queue, de infinibandkaart begint onmiddelijk (zodra de applicatie de bytes heeft weggescreven) met het uitvoeren ervan.

[Reactie gewijzigd door dmantione op 24 januari 2012 07:38]

Ah, ok, i see. Bedankt!

Natuurlijk maar IB of FC zijn dan ook zero-loss netwerken, pakketjes kunnen niet verloren gaan of je krijgt al snel corruptie. Ethernet is een lossy netwerk standaard dus pakketjes mogen al verloren raken.

Wat is er zo bijzonder aan Gbit iSCI? Als je een fatsoenlijke storage array hebt dan trek je die 1Gbps zo vol. Er zijn hardeschijven (geen SSD) die per stuk al 125MB/s read/write doen.... Je kan een LACP (interface bonding) gebruiken, maar voor 1 TCP/IP stream haal je dan nogsteeds maar max 1Gbps. Het wordt pas interessant bij snelheden boven de 1Gbps, en daar is de Infiniband test voor (zie forum, daar heeft Femme het er meer over gehad).

[Reactie gewijzigd door webfreakz.nl op 23 januari 2012 18:42]

Wat offtopic, maar je gebruikt best geen LACP bonding voor ISCSI, wegens inderdaad de beperking bij je switchen dat deze steeds hetzelfde output poort gaan gebruiken voor dezelfde client.

Beter is dan om met mpio of dergelijke de data round-robin door te sturen over 2 afzonderlijke interfaces.

Infiniband en iscsi zitten inderdaad wel in twee totaal verschillende gewichtsklassen.
Een snelheidsvergelijking tussen beide is in mijn ogen dan ook wat zinloos.

Iscsi is een techniek om het scsi-protocol over een ip-netwerk te transporteren. Meestal ligt er ethernet onder maar dat kan net zo goed Infiniband zijn. Nieuw zijn Infiniband- en fibre channel-adapters inderdaad duur maar het leuke is dat adapters van een generatie oud massaal worden gedumpt op eBay. Voor een thuisgebruiker is 10Gbps Infiniband- of een 4Gbps fibre channel-hba met twee of vier poorten nog steeds een enorme verbetering ten opzichte van gigabit ethernet. 10Gbps Infinibandkaartjes gaan voor 50 dollar weg, quad port 4Gbps fibre channel heb je voor 275 dollar.

Microsoft heeft in al zijn wijsheid besloten dat multi-path I/O niet ondersteund hoeft te worden door Windows 7. Hiervoor moet je Server 2008 gebruiken. Een quad-port gigabit ethernetadapter of meerdere losse adapters is dus ook geen oplossing om meer dan een gigabit bandbreedte te krijgen via mpio als je Windows 7 draait. Een Infiniband-hca van 50 dollar biedt 10Gbps over een enkele link. Voor dual of quad port fibre channel heb je wel mpio-ondersteuning nodig. Een enkele 4Gbps link is ook al een heel stuk beter dan gigabit ethernet.

Het is overigens alleen betaalbaar als je point-to-point-verbindingen gebruikt. Switches zijn vaak erg duur.

[Reactie gewijzigd door Femme op 23 januari 2012 19:52]

Kan je geen switch maken door een systeem met meerdere interfaces uit te rusten?

Nou, los van het feit of het kan, een 8-poorts switch heb je nieuw rond de 1500 euro. Als je 8 kaarten in een systeem stopt ben je gegarandeerd duurder uit.

Gigabit ethernet is niet bijzonder maar wel het enige dat er nieuw tegen betaalbare prijzen is te krijgen, dus de benchmark om mee te vergelijken. Infiniband is veruit de goedkoopste optie als je gebruikte hardware koopt. Fibre channel is ook een optie maar is wat duurder. Dual port 4Gbps kaarten beginnen bij zo'n 200 euro. Alleen PCI-X fibre channel kaarten zijn dirt cheap maar die kan niemand gebruiken. Het voordeel van fibre channel is wel dat de optische kabels erg elegant zijn en de cpu-belasting veel lager is omdat het hele scsiverhaal in hardware wordt afgehandeld.

Wil je dan in je vergelijking alsjeblieft ook thunderbolt meenemen? Dit is namelijk de nieuwe opkomende standaard en (zeker voor Mac gebruikers) ook een interessante optie (ook vanwege het doorlinken van apparaten).

De mogelijkheden van Thunderbolt zijn op dit moment beperkt. Ik kan het niet op dezelfde manier vergelijken als ethernet, fibre channel en infiniband. Ik ben aan het testen met een machine die OpenIndiana draait en via het Comstar-framework fibre channel- en iscsi-targets kan maken. Er zijn geen Thunderbolt-adapters die een vergelijkbare manier werken als fibre channel-hba's en infiniband-hca's.

Externe opslag via Thunderbolt kan wel als je een kant en klare doos koopt zoals de een Promise Pegasus. Ik wil nog wel een vergelijking doen van een kant-en-klare nas met een zelfbouw nas of san op basis van OpenIndiana en zfs of Windows en hardware raid. Wellicht dat een Promise Pegasus dan wel interessant is om in de vergelijking op te nemen. Ik moet dan wel een mogelijkheid hebben om met het ding te verbinden via een Windows-machine aangezien onze benchmarks onder Windows draaien.

http://www.ebay.nl/itm/390382460106

99 euro voor een dual-port kaartje.

Mwa, kleine factor 30 trager Ben wel benieuwd wat dit gaat brengen voor de consumenten markt aangezien AMD ook niet stil zit met Lightning Bolt als tegenhanger van Thunderbolt.

Met Infiniband heeft Intel natuurlijk wel een grote jongen in handen!

Alleen klopt dat niet. QLogic is een kleine jongen in infiniband. Best aardige produkten, ze zijn op punten sneller dan Mellanox, maar Mellanox heeft wel veel meer functionaliteit en is gauw 10 keer groter in omvang.

Intel heeft dus niet "Infiniband" in handen, maar een divisie van een bedrijf dat infinibandprodukten maakt. Infiniband zelf is een open standaard, die je niet zomaar kunt kopen.

QLogic zal ongetwijfeld een patenten portfolio hebben waar Intel graag zonder veel gedoe gebruik van zou willen maken. Ik denk ook dat het inkopen van technologie op deze manier vooral zin heeft doordat Intel in dit geval al netwerk ervaring heeft, en ook de druk al wel zal voelen om hpc achtige zaken op het niveau van de clusters die in de top 500 met infiniband te vinden zijn te krijgen. Er worden al wel Xeon's gebruikt, maar geen intel netwerk technologie. Stel je voor, een van Intel's 128-core CPU's, een infiniband interconnect, en dat dan een paar duizend keer... Not bad!

Inderdaad, ik snapte het topic ook al niet. Ze hebben gewoon Qlogic's interconnect divisie overgenomen, waaronder het Infiniband product portfolio.

De standaard zelf is van de Inifiniband Trade Association (voor zover je al over eigendom kunt praten)

Zie http://en.wikipedia.org/wiki/InfiniBand_Trade_Association

Bedoening bedoel je

125 miljoen is niet erg veel als je het mij vraagt.

Ik gebruik InfiniBand op het werk, duur maar zeer snel.

Waarschijnlijk ook daarom dat Intel deze kans niet heeft laten schieten

De snelheid van communicatie tussen processors onderling en tussen processors en hun werk-/permanent geheugen is momenteel één van de grootste problemen (zo niet gewoon het grootste probleem) in de wereld van parallelle systemen.

Toegegeven, Infiniband doet nauwelijks iets aan het latency-probleem, maar als je hoge latency maar hoge bandbreedte hebt kan je je algoritmen er wel op afstellen...

Traditionele supercomputers, bestaande uit 1 grote kast met onderdelen zie je steeds minder. Tegenwoordig zijn de meeste supercomputers eigenlijk clusters: een heel verzameling 'normale' computers die met een extreem snel netwerk aan elkaar worden geknoopt. Dat extreem snelle netwerk is vaak Infiniband.

Net als in de autosport zie je dat technieken die worden ontwikkelt voor de top langzaam doordruppelen naar beneden. Tegenwoordig zijn dit soort kaartjes al betaalbaar voor de betere tweaker.

Vergeet alleen niet dat je ook alles moet relativeren.
Met clusters van 100den computers, heb je ontzettend veel data 'verkeer', iets wat bij een menig tweaker een stuk minder is. Dan heb je al snel voldoende met andere verbindingen.

Wellicht nog een leuk hobby project hier van een mini itx cluster
http://www.mini-itx.com/projects/cluster/

Infiniband is niet zo duur, je kan op ebay Mellanox kaartjes kopen voor om en rond de $50 die werken met Windows, OpenSolaris en ESX(i). Er zijn meerdere topics en gebruikers hiervan aanwezig op het forum. Bekijk zeker het grote ZFS thread en DIY NAS in het Opslag forum. Hoopt meer gebruikers te verzamelen.

[Reactie gewijzigd door analog_ op 23 januari 2012 17:45]

Infiniband begint ook in normale enterprise computing opgang te doen. Oracle stopt het standaard in hun Exa spul, en dat geeft samen met een low latency protocol hele leuke resultaten. Werd ook wel tijd, met SSD gecachte storage is de traditionele Fibrechannel vaak een bottleneck, en als interconnect tussen clustered servers doet IB het ook heel leuk. Het zal mij niet verbazen als IB over een jaar of vijf het standaard fabric binnen het datacenter is.

Ik zat een jaar of 2 terug ook te kijken naar Infiniband voor thuis. Prijzen voor tweedehands zijn nog meer omlaag.

Word nu wel heel verleidelijk om 2 kaartjes te kopen.

Waar worden deze supercomputers nu eigenlijk ingezet? NASA? FBI? Of zou Facebook hier ook mee werken?

Facebook wellicht niet, het gaat om berekeningen wat een totaal andere doelgroep is.

Dus ja, wel NASA, en denk aan andere organisaties die berekeningen voeren voor de "toekomst" bijvoorbeeld.
Universiteiten, medische organisaties, alles wat met "science" te maken heeft en ook bijvoorbeeld milieu / natuur.

Kijk anders even bij de 'top 500' list van super computers, dan zie je vanzelf wie allemaal hier gebruik van maken

http://top500.org/lists/2011/11

Vooral ook veel weerberekeningen. Naar wat ik dacht zijn er veel berekeningen bij dingen die hoger dan vliegtuigen zijn; weer, sterren etc.

Facebook zeker wel. Die hebben de afgelopen tijd grootschalig hun infrastructuur op infiniband overgezet.

Het verschil tussen terascale en exascale is niet 1 orde van grootte, maar zes ordes van grootte, oftewel een factor van 1 miljoen. Zie ook http://en.wikipedia.org/wiki/SI_prefix#List_of_SI_prefixes

Ik denk dat de schrijver met 'orde van grootte' bedoelt Gigi-, Tera-, Peta- etc. Dan is het nog niet goed. Want huidige supercomputers rekenen in de 'petascale' en niet in de 'terascale'.
Voor de rest heb je natuurlijk helemaal gelijk.