Intel lijft Infiniband in

Door Willem de Moor, maandag 23 januari 2012 17:22, 39 reacties • Feedback

Intel heeft een deel van QLogic, het bedrijf achter netwerkinterconnect InfiniBand, overgenomen. Een aanzienlijk deel van QLogic komt daarmee in handen van Intel, die de communicatiestandaard aan zijn netwerkportfolio toevoegt.

Infiniband-connectors De InfiniBand-standaard wordt vooral in supercomputers en in andere hpc-toepassingen gebruikt en zorgt voor seriele verbindingen tussen processors met onder meer opslagapparatuur. De snelheden van een InfiniBand-interconnect bedragen 2Gbps tot 300Gbps. De aquisitie van de bedrijfstak van QLogic die verantwoordelijk is voor InfiniBand past in Intels zogeheten exascale-strategie.

Het bedrijf wil tegen 2018 exascale-berekeningen in supercomputers mogelijk maken. Momenteel is dat nog een orde van grootte minder met terascale-berekeningen, ofwel enkele teraflops. De InfiniBand-interconnects worden veelal gebruikt om grote hoeveelheden data van en naar storage-arrays te sturen. Met de overeenkomst, die dit kwartaal afgerond moet zijn, is een bedrag van 125 miljoen dollar gemoeid; werknemers van QLogic worden waarschijnlijk bij Intel ingelijfd.

Reacties (39)

azerty

23 januari 2012 17:23

Het zou me niet verbazen moest Intel dit gebruiken om te integreren in moederborden en processors... Slimme overname

+1 knirfie244

Intel

@azerty • 23 januari 2012 21:06

Twijfelachtig, het is een netwerk-interconnect, en en redelijke prijzige. Wat moet je ermee in een consumenten moederbord of een processor?

Die 300Gbps haal je alleen met de duurste optie en 12 kanalen. Als je het goedkoper houdt, op een enkel kanaal, is de maximale snelheid 25Gbps. Weinig verbetering over de 20Gbps van Thunderbolt. Daarnaast zou dat "TB2" een stuk minder interessant maken gezien je van PCI-Express + DisplayPort (beide veelgebruikte standaarden) naar een gesloten standaard gaat.

[Reactie gewijzigd door knirfie244 op 23 januari 2012 21:15]

+2 dmantione
@knirfie244 • 23 januari 2012 23:16

Wat denk je dat een infinibandkaartje kost? Oké, voor consumentenhardware is het nog net iets te duur. Maar voor 350 euro verkoop ik jou een 40 gigabps infinibandkaart. Als je kijkt naar concurrerende netwerktechnieken (10 gigabps ethernet, Fibre Channel) is dat geen geld. Belangrijk is, dat het op de prijs van een server (infiniband vind je in servers) maar een klein deel van de kosten uitmaakt. Maar die server presteert met die kaart opeens wel stukken beter. Dat vanwege de rekenkrachtbesparende eigenschappen van infiniband.

Infiniband is overigens een open standaard, beheerd door de Infiniband Trade Association, http://www.infinibandta.org. Dat is één van de redenen waarom het zo groot aan het worden is. Dit artikel is een beetje misleidend. QLogic is een infinbandfabrikant. Dat wordt dus Intel. Er is er nog één: Mellanox. En die is veel groter dan QLogic. Er blijft dus concurrentie.

LooneyTunes
@azerty • 23 januari 2012 17:31

Het zou me niet verbazen moest Intel dit gebruiken om te integreren in moederborden en processors..

Thunderbolt V2 in de nabije toekomst...
Dan is die 10Gbit van TB maar een trage bedoeling

_{Edit: Thunderbold schrijf je met een t op 't eind.}

[Reactie gewijzigd door LooneyTunes op 23 januari 2012 18:02]

[Remmes]
@LooneyTunes • 23 januari 2012 17:45

bold?

ik denk niet dat wij als consumenten dit op onze bordjes krijgen, of kunnen veroorloven

Femme

Intel

@[Remmes] • 23 januari 2012 17:57

Gebruikte 10Gbps Infiniband-adapters zijn voor weinig geld te krijgen. Ik heb hier voor testdoeleinden twee Voltaire dual port 10Gbps Infiniband-adapters met kabels van tien meter aangeschaft voor bij elkaar 200 euro. Voor wie eBay wil afstruinen is het de goedkoopste high speed netwerkinterface.

Ik ga ze testen in een OpenIndiana san- en nas-box en vergelijken met fibre channel en gigabit ethernet. Binnenkort mag je daar artikelen over verwachten.

+1 r_bleumer
@Femme • 23 januari 2012 18:33

Dat klinkt goed. Ben vooral benieuwd hoe het presteert in vergelijking met Gbit ISCSI.

+3 dmantione
@r_bleumer • 23 januari 2012 23:09

Infiniband (via SRP - SCSI RDMA Protocol) presteert vele ordes beter dan gigabit iSCSI. Daar zijn meerdere redenen voor:

Allereerst is de ruwe bandbreedte van Infiniband beter dan gigabps ethernet. Met 56 gigabps voor FDR-infiniband presteert infiniband, tegen zeer betaalbare prijzen, beter dan welke ethernettechniek je ook bedenkt.
Infiniband belast de processor niet. Bij iSCSI moet SCSI-commando's in ip-pakketjes verpakt worden, die weer in ethernetpakketjes verpakt worden. Dat vereist nogal wat rekenkracht. Infiniband is gemaakt om alle tussenstappen te elimineren. Je praat vrijwel rechtstreeks met de hardware. (Zelfs de Linuxkernel kan overgeslagen worden, user-space programma's praten vaak rechtstreeks met de hardware. Maar SCSI zit in de kernel, dus bij dit voorbeeld minder relevant).
Infiniband haalt zeer lage latenties, dicht tegen de 1 microseconde. Ethernet heeft latenties van tientallen microsecodes. Dat betekent dat een SCSI-commando veel sneller bij de schijf is dan via ethernet.

Vaak levert het installeren van een infinibandkaartje een dag-en-nacht verschil op in snelheid. Niet alleen storage. Ook webservers, databaseservers krijgen opeens grote haast omdat de communicatie opeens veel minder rekenkracht kost en processoren veel minder vaak staan te wachten op communicatie.

NoResult
@dmantione • 24 januari 2012 06:46

Zelfs de Linuxkernel kan overgeslagen worden, user-space programma's praten vaak rechtstreeks met de hardware. Maar SCSI zit in de kernel, dus bij dit voorbeeld minder relevant

Kan je dat eens uitleggen? Het lijkt me dat je kernel toch altijd wel betrokken is. De driver kan dan misschien minimaal zijn maar, hoe kan in een niet-RT Linux de kernel worden overgeslagen door user-space programma's?

+3 dmantione
@NoResult • 24 januari 2012 07:33

Een "gewone" netwerkkaart heeft één set registers, die enkel door de drivers bediend mogen worden. Een infinibandkaart heeft meerdere sets registers, die "contexten" worden genoemd. Die kunnen in de adresruimte van een applicatie worden afgebeeld. De hardware is speciaal ontworpen dat een applicatie niets "kwaads" met die registers kan doen en de systeemstabiliteit niet in gevaar komt.

Zo krijg je dat infiniband gegevens direct van het geheugen van de ene applicatie in het geheugen van een applicatie op een andere machine schrijft. Dat heet het RDMA-principe.

Waar men bij tradionele netwerkcommunicatie met de BSD sockets-API werkt, heeft infiniband een ander principe: De Verbs-API. Sockets zijn ook mogelijk, maar voor compatibiliteit met al bestaande code. Waar je bij een socket een filedescriptor van de kernel krijgt waar je operaties op kunt uitvoeren, krijg je bij Verbs een queue-paar, één voor verzenden, en één voor ontvangen. De applicatie zet opdrachten in de queue, de infinibandkaart begint onmiddelijk (zodra de applicatie de bytes heeft weggescreven) met het uitvoeren ervan.

[Reactie gewijzigd door dmantione op 24 januari 2012 07:38]

NoResult
@dmantione • 24 januari 2012 08:50

Ah, ok, i see. Bedankt!

0 Guru Evi
@dmantione • 24 januari 2012 01:34

Natuurlijk maar IB of FC zijn dan ook zero-loss netwerken, pakketjes kunnen niet verloren gaan of je krijgt al snel corruptie. Ethernet is een lossy netwerk standaard dus pakketjes mogen al verloren raken.

webfreakz.nl
@r_bleumer • 23 januari 2012 18:41

Wat is er zo bijzonder aan Gbit iSCI? Als je een fatsoenlijke storage array hebt dan trek je die 1Gbps zo vol. Er zijn hardeschijven (geen SSD) die per stuk al 125MB/s read/write doen.... Je kan een LACP (interface bonding) gebruiken, maar voor 1 TCP/IP stream haal je dan nogsteeds maar max 1Gbps. Het wordt pas interessant bij snelheden boven de 1Gbps, en daar is de Infiniband test voor (zie forum, daar heeft Femme het er meer over gehad).

[Reactie gewijzigd door webfreakz.nl op 23 januari 2012 18:42]

+1 fdh
@webfreakz.nl • 23 januari 2012 19:33

Wat offtopic, maar je gebruikt best geen LACP bonding voor ISCSI, wegens inderdaad de beperking bij je switchen dat deze steeds hetzelfde output poort gaan gebruiken voor dezelfde client.

Beter is dan om met mpio of dergelijke de data round-robin door te sturen over 2 afzonderlijke interfaces.

Infiniband en iscsi zitten inderdaad wel in twee totaal verschillende gewichtsklassen.
Een snelheidsvergelijking tussen beide is in mijn ogen dan ook wat zinloos.

Femme

Intel

@fdh • 23 januari 2012 19:49

Iscsi is een techniek om het scsi-protocol over een ip-netwerk te transporteren. Meestal ligt er ethernet onder maar dat kan net zo goed Infiniband zijn. Nieuw zijn Infiniband- en fibre channel-adapters inderdaad duur maar het leuke is dat adapters van een generatie oud massaal worden gedumpt op eBay. Voor een thuisgebruiker is 10Gbps Infiniband- of een 4Gbps fibre channel-hba met twee of vier poorten nog steeds een enorme verbetering ten opzichte van gigabit ethernet. 10Gbps Infinibandkaartjes gaan voor 50 dollar weg, quad port 4Gbps fibre channel heb je voor 275 dollar.

Microsoft heeft in al zijn wijsheid besloten dat multi-path I/O niet ondersteund hoeft te worden door Windows 7. Hiervoor moet je Server 2008 gebruiken. Een quad-port gigabit ethernetadapter of meerdere losse adapters is dus ook geen oplossing om meer dan een gigabit bandbreedte te krijgen via mpio als je Windows 7 draait. Een Infiniband-hca van 50 dollar biedt 10Gbps over een enkele link. Voor dual of quad port fibre channel heb je wel mpio-ondersteuning nodig. Een enkele 4Gbps link is ook al een heel stuk beter dan gigabit ethernet.

Het is overigens alleen betaalbaar als je point-to-point-verbindingen gebruikt. Switches zijn vaak erg duur.

[Reactie gewijzigd door Femme op 23 januari 2012 19:52]

+1 johnkeates
@Femme • 24 januari 2012 01:47

Kan je geen switch maken door een systeem met meerdere interfaces uit te rusten?

+1 dmantione
@johnkeates • 24 januari 2012 08:27

Nou, los van het feit of het kan, een 8-poorts switch heb je nieuw rond de 1500 euro. Als je 8 kaarten in een systeem stopt ben je gegarandeerd duurder uit.

Femme

Intel

@webfreakz.nl • 23 januari 2012 18:51

Gigabit ethernet is niet bijzonder maar wel het enige dat er nieuw tegen betaalbare prijzen is te krijgen, dus de benchmark om mee te vergelijken. Infiniband is veruit de goedkoopste optie als je gebruikte hardware koopt. Fibre channel is ook een optie maar is wat duurder. Dual port 4Gbps kaarten beginnen bij zo'n 200 euro. Alleen PCI-X fibre channel kaarten zijn dirt cheap maar die kan niemand gebruiken. Het voordeel van fibre channel is wel dat de optische kabels erg elegant zijn en de cpu-belasting veel lager is omdat het hele scsiverhaal in hardware wordt afgehandeld.

Aloys
@Femme • 23 januari 2012 23:41

Wil je dan in je vergelijking alsjeblieft ook thunderbolt meenemen? Dit is namelijk de nieuwe opkomende standaard en (zeker voor Mac gebruikers) ook een interessante optie (ook vanwege het doorlinken van apparaten).

Femme

Intel

@Aloys • 24 januari 2012 10:21

De mogelijkheden van Thunderbolt zijn op dit moment beperkt. Ik kan het niet op dezelfde manier vergelijken als ethernet, fibre channel en infiniband. Ik ben aan het testen met een machine die OpenIndiana draait en via het Comstar-framework fibre channel- en iscsi-targets kan maken. Er zijn geen Thunderbolt-adapters die een vergelijkbare manier werken als fibre channel-hba's en infiniband-hca's.

Externe opslag via Thunderbolt kan wel als je een kant en klare doos koopt zoals de een Promise Pegasus. Ik wil nog wel een vergelijking doen van een kant-en-klare nas met een zelfbouw nas of san op basis van OpenIndiana en zfs of Windows en hardware raid. Wellicht dat een Promise Pegasus dan wel interessant is om in de vergelijking op te nemen. Ik moet dan wel een mogelijkheid hebben om met het ding te verbinden via een Windows-machine aangezien onze benchmarks onder Windows draaien.

raphidae
@[Remmes] • 23 januari 2012 17:53

http://www.ebay.nl/itm/390382460106

99 euro voor een dual-port kaartje.

Ventieldopje
@LooneyTunes • 23 januari 2012 17:43

Mwa, kleine factor 30 trager

Ben wel benieuwd wat dit gaat brengen voor de consumenten markt aangezien AMD ook niet stil zit met Lightning Bolt als tegenhanger van Thunderbolt.

Met Infiniband heeft Intel natuurlijk wel een grote jongen in handen!

+2 dmantione
@Ventieldopje • 23 januari 2012 23:25

Alleen klopt dat niet. QLogic is een kleine jongen in infiniband. Best aardige produkten, ze zijn op punten sneller dan Mellanox, maar Mellanox heeft wel veel meer functionaliteit en is gauw 10 keer groter in omvang.

Intel heeft dus niet "Infiniband" in handen, maar een divisie van een bedrijf dat infinibandprodukten maakt. Infiniband zelf is een open standaard, die je niet zomaar kunt kopen.

+1 johnkeates
@dmantione • 24 januari 2012 01:45

QLogic zal ongetwijfeld een patenten portfolio hebben waar Intel graag zonder veel gedoe gebruik van zou willen maken. Ik denk ook dat het inkopen van technologie op deze manier vooral zin heeft doordat Intel in dit geval al netwerk ervaring heeft, en ook de druk al wel zal voelen om hpc achtige zaken op het niveau van de clusters die in de top 500 met infiniband te vinden zijn te krijgen. Er worden al wel Xeon's gebruikt, maar geen intel netwerk technologie. Stel je voor, een van Intel's 128-core CPU's, een infiniband interconnect, en dat dan een paar duizend keer... Not bad!

bu11frog
@dmantione • 24 januari 2012 18:08

Inderdaad, ik snapte het topic ook al niet. Ze hebben gewoon Qlogic's interconnect divisie overgenomen, waaronder het Infiniband product portfolio.

De standaard zelf is van de Inifiniband Trade Association (voor zover je al over eigendom kunt praten)

Zie http://en.wikipedia.org/wiki/InfiniBand_Trade_Association

Proxy
@LooneyTunes • 24 januari 2012 06:17

Bedoening bedoel je

Mentox
23 januari 2012 17:32

125 miljoen is niet erg veel als je het mij vraagt.

Ik gebruik InfiniBand op het werk, duur maar zeer snel.

+1 M0N0
@Mentox • 23 januari 2012 17:50

Waarschijnlijk ook daarom dat Intel deze kans niet heeft laten schieten

De snelheid van communicatie tussen processors onderling en tussen processors en hun werk-/permanent geheugen is momenteel één van de grootste problemen (zo niet gewoon het grootste probleem) in de wereld van parallelle systemen.

Toegegeven, Infiniband doet nauwelijks iets aan het latency-probleem, maar als je hoge latency maar hoge bandbreedte hebt kan je je algoritmen er wel op afstellen...

CAPSLOCK2000

Netwerktechnologie

23 januari 2012 18:36

Traditionele supercomputers, bestaande uit 1 grote kast met onderdelen zie je steeds minder. Tegenwoordig zijn de meeste supercomputers eigenlijk clusters: een heel verzameling 'normale' computers die met een extreem snel netwerk aan elkaar worden geknoopt. Dat extreem snelle netwerk is vaak Infiniband.

Net als in de autosport zie je dat technieken die worden ontwikkelt voor de top langzaam doordruppelen naar beneden. Tegenwoordig zijn dit soort kaartjes al betaalbaar voor de betere tweaker.

Douweegbertje
@CAPSLOCK2000 • 23 januari 2012 19:10

Vergeet alleen niet dat je ook alles moet relativeren.
Met clusters van 100den computers, heb je ontzettend veel data 'verkeer', iets wat bij een menig tweaker een stuk minder is. Dan heb je al snel voldoende met andere verbindingen.

Wellicht nog een leuk hobby project hier van een mini itx cluster

http://www.mini-itx.com/projects/cluster/

analog_
23 januari 2012 17:45

Infiniband is niet zo duur, je kan op ebay Mellanox kaartjes kopen voor om en rond de $50 die werken met Windows, OpenSolaris en ESX(i). Er zijn meerdere topics en gebruikers hiervan aanwezig op het forum. Bekijk zeker het grote ZFS thread en DIY NAS in het Opslag forum. Hoopt meer gebruikers te verzamelen.

[Reactie gewijzigd door analog_ op 23 januari 2012 17:45]

+1 TheekAzzaBreek
23 januari 2012 20:12

Infiniband begint ook in normale enterprise computing opgang te doen. Oracle stopt het standaard in hun Exa spul, en dat geeft samen met een low latency protocol hele leuke resultaten. Werd ook wel tijd, met SSD gecachte storage is de traditionele Fibrechannel vaak een bottleneck, en als interconnect tussen clustered servers doet IB het ook heel leuk. Het zal mij niet verbazen als IB over een jaar of vijf het standaard fabric binnen het datacenter is.

lezzmeister
24 januari 2012 04:25

Ik zat een jaar of 2 terug ook te kijken naar Infiniband voor thuis. Prijzen voor tweedehands zijn nog meer omlaag.

Word nu wel heel verleidelijk om 2 kaartjes te kopen.

eerdepeer
23 januari 2012 18:19

Waar worden deze supercomputers nu eigenlijk ingezet? NASA? FBI? Of zou Facebook hier ook mee werken?

Douweegbertje
@eerdepeer • 23 januari 2012 18:39

Facebook wellicht niet, het gaat om berekeningen wat een totaal andere doelgroep is.

Dus ja, wel NASA, en denk aan andere organisaties die berekeningen voeren voor de "toekomst" bijvoorbeeld.
Universiteiten, medische organisaties, alles wat met "science" te maken heeft en ook bijvoorbeeld milieu / natuur.

Kijk anders even bij de 'top 500' list van super computers, dan zie je vanzelf wie allemaal hier gebruik van maken

http://top500.org/lists/2011/11

0 Jos3
@Douweegbertje • 23 januari 2012 19:15

Vooral ook veel weerberekeningen. Naar wat ik dacht zijn er veel berekeningen bij dingen die hoger dan vliegtuigen zijn; weer, sterren etc.

0 dmantione
@Douweegbertje • 23 januari 2012 23:18

Facebook zeker wel. Die hebben de afgelopen tijd grootschalig hun infrastructuur op infiniband overgezet.

0 mennodeij
23 januari 2012 19:14

Het verschil tussen terascale en exascale is niet 1 orde van grootte, maar zes ordes van grootte, oftewel een factor van 1 miljoen. Zie ook http://en.wikipedia.org/wiki/SI_prefix#List_of_SI_prefixes

amas
@mennodeij • 23 januari 2012 20:11

Ik denk dat de schrijver met 'orde van grootte' bedoelt Gigi-, Tera-, Peta- etc. Dan is het nog niet goed. Want huidige supercomputers rekenen in de 'petascale' en niet in de 'terascale'.
Voor de rest heb je natuurlijk helemaal gelijk.

Op dit item kan niet meer gereageerd worden.

Cookies op Tweakers

Intel lijft Infiniband in

Lees meer over

Nieuwste IT Banen

LOI ICT Opleidingen

Gerelateerde content

Sorteer op:

Weergave:

Reacties (39)