Intel demonstreert modulaire server met behulp van optische verbindingen

Intel heeft in samenwerking met Facebook een nieuw type server ontworpen. Quanta bouwde een prototype, bestaande uit een aantal racks die met elkaar verbonden zijn door middel van Intel Silicon Photonics-technologie. Onderdelen kunnen zo los van elkaar geüpgraded worden.

Intel en Facebook werkten samen aan het ontwerp, waarbij de optische verbindingen van Intel centraal staan. Het idee is om de server te decentraliseren: zo is er een rack met enkel het moederbord, de cpu's en het geheugen. Dat rack communiceert dan door middel van een optische verbinding met een rack dat enkel over opslaggeheugen beschikt. Weer een ander rack is bijvoorbeeld voorzien van videokaarten, de harde schijven of de netwerkkaarten.

Intel werkt al lange tijd aan het mogelijk maken van optische verbindingen bij systemen, maar heeft nu de eerste engineering samples geproduceerd. De optics on silicon-chips huisvesten de nodige onderdelen, zoals lasers, modulatoren en sensoren, en zijn in staat tot snelheden van 100Gbit/s. De snelheden van de optische techniek liggen veel hoger dan er met koperen draden behaald kan worden, terwijl het energieverbruik lager ligt.

Door de mogelijkheid verschillende componenten van een server van elkaar te koppelen, kan elk onderdeel afzonderlijk vervangen worden, als het stuk is of een upgrade nodig heeft. Bovendien kunnen servers 'resources' delen, zoals de opslagcapaciteit of rekenkracht van co-processors als de Intel Xeon Phi. Dit maakt de servers flexibeler. Intel zal een ontwerp indienen bij het Open Compute Project om uiteindelijk tot een gestandaardiseerd ontwerp te komen.

Het prototype dat Quanta bouwde, kan overweg met Intel's Xeon server-cpu's en Intels aankomende 22nm Atom-soc's, met codenaam Avaton. Het prototype wordt getoond tijdens de Open Compute Summit, die deze week plaatsvindt.

Reacties (29)

[Midas.e]

Voor facebook is dit een groot voordeel aangezien ze minder hot spaces hebben. Je weet dat CPU's en storage heet wordt, geheugen haast niet. Tevens ben je veel minder gebonden aan 1 stuk hardware wat stuk gaat, nu kan je geheugen weer direct inzetten op een andere machine, storage of cpu power.

[TommyB]

Jammer dat dan juist weer het geheugen en de cpus niet gescheiden zijn maar in een enkel rack zitten...

[Verwijderd]

Dat is niet jammer, dat is logisch.
Geheugen moet wel in hetzelfde rack direct op het moederbord anders wordt de latency te hoog en heb je dus een bottleneck.
Bovendien heeft een server board vaak zo veel dimm sloten dat je makkelijk tot 1 TB ram in je server kan zetten dus upgraden is zo simpel als in je pc... klik ram er bij en klaar.

Deze oplossing is juist voor het upgraden van storage, grafische power en co-processors.
Zo kan je makkelijk een heel rek met harddisks / ssd's toevoegen, een zwik graka's vervangen of een extra rack met co-processors plaatsen.
Ook is de switch van storage server naar computation server naar rendering server enz. zo veel makkelijker.
Gewoon de racks die bij die taak horen erbij prikken en klaar.

[Verwijderd]

Het geheugen en de cpu's zitten in de afbeelding inderdaad in een enkele rack maar dat wil niet zeggen dat dit het gevalt hoeft te zijn. Je trekt een kabel naar de rack ernaast en het zit in meerdere racks.

[Olaf van der Spek]

Lage latency is voor geheugen zo belangrijk dat de afstand tussen CPU en geheugen zo klein mogelijk moet zijn.

[Verwijderd]

Precies, en afstand = latency.
Ik denk ook niet dat we verschillende racks kunnen krijgen met alleen geheugen. Cisco doet met het UCS platform wel speciale memory blades maar deze zitten met een backplane in hetzelfde chassis.

[PcDealer]

Jij doelt denk ik op de Cisco UCS B250 M2 Extended Memory Blade Server:
http://www.cisco.com/en/US/products/ps10914/index.html

Dat is geen memory blade die alleen geheugen bevat zoals je lijkt te suggereren, maar een dual socket server die meer geheugen kan huisvesten dan normaliter (384GB DDR3). Meer geheugen betekent vaak meer sockets (4) voor dezelfde hoeveelheid van 384.

[VictordeHolland]

Je wilt het geheugen zo dicht mogelijk bij de processors hebben, anders wordt de latency van het geheugen veel te hoog. Zelfs met een 100Gbit verbinding is het niet handig als de CPU telkens 1ms op het geheugen moet wachten. Bovendien haalt DDR3-1600 theoretisch al 12,8GB/sec (~100Gbit), dus met 1 reepje geheugen is die optische verbinding verzadigd.

[massareal]

Als je gebruik maakt van GPU computing, dan is dit geen probleem.
Je GPU(s) neemt dan het merendeel van de berekeningen voor zijn rekening.
Deze worden dan in een appart rek gekoeld en kunnen makkelijk geupgrade worden en/of bijgeprikt worden.

[Verwijderd]

En de GPU maakt geen gebruik van geheugen?

[Reactie gewijzigd door Verwijderd op 22 juli 2024 20:10]

[TheekAzzaBreek]

Dat is ook een nadeel, door alle cpu's bij elkaar te zetten wordt je hotspot een stuk hotter en zal je forsere koeling moeten inzetten.

Het voordeel lijkt me meer in de dynamische omgang met resources zitten. Al je netwerkkaarten in een pool bij voorbeeld betekent dat je voor failover niet alles dubbel hoeft aan te schaffen, maar met bv 10% redundacy kan volstaan.

Het is eigenlijk een vrij logisch vervolg op grid/cloud architecturen, waar voldoende snelle low-latency interconnects nog voor ontbraken. Nu dat opgelost lijkt, kan je dit soort dingen opzetten.

[FireDrunk]

Maar als alle warmte op 1 plek zit, kan je wel efficienter koelen, wie zegt dat de racks daadwerkelijk in dezelfde ruimte staan? Misschien kan je wel 2 racks met CPU's en GPU's in een ruimte zetten met super deluxe state of the art koeling, en een flink aantal racks met storage / netwerkspul in een ruimte met goedkopere minder krachtige, maar veel efficientere koeling. (denk aan buitenlucht, warmte wisseling, water, weet ik het )

[Maximilian]

Misschien kunnen we dan weer denken aan Intel's minerale olie koeling voor de CPU's en GPU's

http://www.engadget.com/2...vers-mineral-oil-cooling/

Voor de rest van de onderdelen zoals schijven, heb je minder koeling nodig dus wordt je hele serverpark tussen de 60 en 80% efficiënter.

Edit: http://www.treehugger.com...l-oil-keep-them-cool.html

/\ met filmpje

[Reactie gewijzigd door Maximilian op 22 juli 2024 20:10]

[Zarc.oh]

Soort van blade-achtig concept, maar dan niet in een blade-chassis?
Klinkt erg interessant, maar wat is de rol van Facebook in het hele verhaal?
Want dat lees ik er niet in terug...
Hebben die het paatje geleverd ofzo? :-P

[Verwijderd]

Wat Facebook hiermee te maken heeft lees je hier:

nieuws: AMD introduceert Open 3.0-moederbord voor servers

Dit is Intel's versie van het Open Compute Project wat AMD Open 3.0 noemt.
Facebook heeft de opdracht hiervoor gegeven, Intel en AMD hebben samen gewerkt om aan deze vraag te voldoen.

[Icey]

Facebook heeft een gigantisch serverpark en zal dus hard opzoek zijn naar efficientere oplossingen (hetzij in ruimte, stroom, kosten etc).

[Verwijderd]

Maar hoe zit het met latency. Leuk dat je 100Gbit/s capaciteit kunt verstouwen, maar als de latency tussen opdrachten door grotere afstanden tussen componenten groter wordt kan het wel eens betekenen dat je juist tegen knelpunten op loopt.

[Verwijderd]

Voor disk storage lijkt me dat wel prima maar voor memory... als je mem rack 3m verderop staat heb door de afstand ongeveer 20ns latency extra door de verbinding (6m met 300.000km/s). Dat gaat nog wel, maar als je je mem rack aan de andere kant van het gebouw hebt staan ga je dat wel merken. Daar bovenop komt natuurlijk nog de latency van de photonics chips maar die zal ook niet meer dan een paar nano seconden zijn mag ik hopen.

[Mr_Light]

“This technology also has such low latency that we can take components that previously needed to be bound to the same motherboard and begin to spread them out within a rack.”

http://venturebeat.com/2013/01/16/silicon-photonics/

recorded live stream van de OCP conferentie:
http://new.livestream.com/ocp/winter2013/videos/9497710
(zitten gelukkig 'lege' stukken in de 8 uur )

[Reactie gewijzigd door Mr_Light op 22 juli 2024 20:10]

[Aertsvijand]

Modulair bouwen to the next level! Klinkt als een interessante evolutie. Ik bedenk me wel dat dit enerzijds meer mogelijkheden geeft voor een goede airflow (componenten warmen elkaar ook minder op), maar er moet natuurlijk wel een groter volume gekoeld worden en met alle afstand tussen de verschillende boards neemt één unit natuurlijk ook wel terug meer plaats in, waardoor de "rekendichtheid" van je infrastructuur daalt.

Ik vraag me wel af wat het verschil is tussen opslaggeheugen en harde schijven?

Edit: natuurlijk is dit ook wel interessant voor bedrijven die hun investeringen willen spreiden. Dan kan je vb. eerst voor mooie CPU's gaan en er dan later gewoon GPU-racks aanhangen voor je parallele rekenkracht wat op te voeren. Moet je daar natuurlijk wel nog de ruimte voor voorzien, want ik kan me voorstellen dat de afstand tussen twee dergelijke racks ook weer niet té groot mag zijn.

[Reactie gewijzigd door Aertsvijand op 22 juli 2024 20:10]

[Sorcerer8472]

Je kunt wel heel gericht koelen nu; CPU-rack geef je veel meer koeling dan het geheugenrack bijvoorbeeld. Dus ik denk dat dit wel een makkelijk op te lossen probleem is hoor

[TheekAzzaBreek]

... zo is er een rek met enkel het moederbord, de cpu's en het geheugen ...

Die geheugenracks zijn er dus nog niet, ik vraag me af waarom. Bandbreedte is er zat, misschien is de latency van de interconnects te hoog? Speelt dat dan niet voor coprocessors?
Ik hoop dat er op de Summit wat whitepapers vrijkomen met wat meer achtergrond.

[LOTG]

Is dit nu ook hotpluggable? Als racks resources delen (bijvoorbeeld geheugen) en je wilt er een paar modules bij prikken/vervangen moeten er dan 3 racks offline(2x systeem rack + 1x geheugen rack) ? Of kun je gewoon het stekkertje insteken en klaar?

En hoe word dat delen momenteel geregeld? Is dat 1 kabel per module, of per block modules? Of moet je ergens instellen welke hardware via welke poort communiceert?

Het is wel makkelijk zijn om servers uit te breiden met zo een modulair systeem.

[Sorcerer8472]

Lijkt me wel. Soort controller ertussen en gaan met die banaan. Je wil juist dat een groot uitgebreid systeem als dit makkelijk en hotswappable uit te breiden is

[Royvano97]

Mooi idee, is ook veel fijner mbt cooling lijkt mij

[schietschijf]

Begrijp ik het goed dat op deze manier ook clusters en supercomputers gemaakt kunnen worden?
Op deze manier zou je wel heel gemakkelijk de capaciteit kunnen uitbreiden; extra cpu is redelijk snel gekoppeld, extra geheugen zo klaar...

[roelof.zijlstra]

Na het doodgeboren kindje genaamd e-sata, waarbij mijn droom van modulaire opslag en video rekenkracht een flinke knauw kreeg, en alle nieuws over optische connects binnen computers, eindelijk concreet en positief nieuws op beide fronten.

Dit doet mij op vele fronten deugd. Koeler, veel sneller, modulair en redundant. Ik hoop dat wij eindelijk binnen 10 jaar op consumer electronics mogen rekenen die dit verwerken. Ik zal met alle plezier thuis een omgeving in elkaar zetten met meerdere vertuele pc's op een gedeeld en modulair upgradeable systeem.

[Waterbeesje]

Dit is een mooie ontwikkeling voor de servers, 100Gbit/s is wel snel. Zou dit qua energieverbruik ook zuiniger zijn dan de veelgebruikte koperen verbindingen?

Ook goed om te horen dat de Xeon en Atom server boards hiermee worden uitgerust, zowel de snelheidsmonsters als de energiezuiniger servers kunnen zo profiteren van deze technieken.

Als ik alles zo eens bekijk, kunnen straks de videokaarten allemaal in een apart rack? Kan me er nu nog niet veel bij voorstellen. Een videokaart via een kabeltje aansluiten...

[churchill9]

Zou dit qua energieverbruik ook zuiniger zijn dan de veelgebruikte koperen verbindingen?

Staat letterlijk in de text.

De snelheden van de optische techniek liggen veel hoger dan er met koperen draden behaald kan worden, terwijl het energieverbruik lager ligt.