TU/e-promovendus ontwikkelt compacte zuinige optische switch met 4 x 128 poorten

Een promovendus van de Technische Universiteit Eindhoven heeft een prototype ontwikkeld van een switch die meer poorten dan een standaard switch biedt bij een laag energiegebruik, door optische transceivers dicht bij de processor te plaatsen.

TU/e-promovendus Gonzalo Guelbenzu ontwikkelde een switch met afmetingen van 20x20cm die 0,25U rackspace inneemt en minder dan 150W vergt. In een rackeenheid kon hij zo vier van deze switches plaatsen. In het midden van het pcb zit de switching-asic, die omringd is door elf on-board optics-transceivers. Door de transceivers zo dicht mogelijk bij de processor te plaatsen, wordt niet alleen ruimte, maar ook energie bespaard.

Elke van deze transceivers ondersteunt twaalf poorten, maar de asic kan alleen overweg met maximaal 128 poorten. De rackunit ondersteunt daarmee in totaal 4 x 128 10Gbit/s-poorten en een bandbreedte van 4 x 1,28Tbit/s. Standaard zitten de transceivers met fiberingang bij switches op het frontpaneel, waardoor er slechts plaats is voor 32 stuks en het totale aantal poorten voor de hele rackunit op 128 poorten uitkomt.

Het prototype van Guelbenzu verbruikt in totaal 600W, wat meer is dan de 300W die een standaard rackeenheid verbruikt, maar de toename in het aantal poorten weegt hier volgens hem ruimschoots tegenop. "Dit betekent dat je vier keer zoveel informatie kunt verwerken in dezelfde ruimte, terwijl je slechts twee keer zoveel energie verbruikt."

De promovendus deed onderzoek naar het verbeteren van het netwerk dat servers binnen het datacenter met elkaar verbindt, met als doel het energiegebruik van datacenters te verbeteren. Volgens de TU/e verbruiken datacenters alleen al in Nederland ongeveer twee terawattuur per jaar. Volgens Guelbenzu zijn verdere besparingen te realiseren door wavelengthdivision-multiplexingtechnieken te gebruiken in datacenters die gebruikmaken van elektrische en optische componenten.

Gonzalo Guelbenzu de Villota heeft zijn proefschrift met de titel ‘Scalable electro-optical solutions for data center networks’ donderdag verdedigd.

Reacties (59)

[CAPSLOCK2000]

Waarom zitten er 4 van die bordjes in 1 unit?
Een enkele unit kan alleen al 128 poorten bedienen, die drie anderen lijken dus overbodig? Had er dan een 4U unit van gemaakt met 512 poorten voor hetzelfde energieverbruik. (Nou ja, niet helemaal, ik weet niet wat de verhouding is tussen het verbruik van de optics en dat van de chip).

[NovapaX]

De huidige behuizing biedt plaats an 3x16 MTP poorten (48 poorten)
Een enkele MTP poort is een patch voor 12 fibers.
In totaal heeft de behuizing een theoretische ruimte voor 48x12 = 576 fiber patches naar binnen toe.

De 4 switches kunnen in totaal 4*128 = 512 van die patches/poorten aansturen.

[rippiedoos]

Nu zitten er gewoon 4 switches van 128 poorten in 1U. Dat scheelt dus 3U aan ruimte. En het plaatje laat zien dat er 1 unit is aangesloten en er aan de voorkant nog ruimte is voor 2 extra aan kabelsetjes. En als de stroom, ruimte en kosten met (ongeveer) 50% per unit afnemen heb je dus nu een 1U-unit voor de prijs van een 2U-unit met de mogelijkheden van een 4U-unit. En omdat datacenterruimte nog steeds duur blijft is alle ruimte- en stroombesparing altijd welkom.

[The Eagle]

Mooie oplossing. Ik zet alleen mijn vraagtekens bij de aansluiting op de overige fibre kabels. 128 bij elkaar zijn er wel erg veel, daar gaat vermoed ik geheid wat knellen. En wegwerken lijkt me ook niet even makkelijk. Fibers mogen dan dunner zijn dan UTP of STP, uiteindelijk moet die bundel wel ergens je datacenter in

[Mathi159]

Lijkt me niet zo'n probleem? In het ergste geval staat een deel van je datacenter leeg omdat het nu veel compacter kan

[totaalgeenhard]

Uhm..

Op een rij racks van stuk of 30 racks staat hooguit een kwart rack met switches.

Ook de energie besparing is bullshit meeste servers hebben standaard geen fiber deze hiervan voorzien kost geld en human resources.

In de toekomst nieuw te bouwen DC kun je voorzien van deze switch maar ik durf te betwijfelen dat er een partij haar infra gaat vervangen hiervoor.na afschrijving van huidige switch.

Om maar te zwijgen over vendor lockin, integratie in infra (monitoring en management) en gebruik van non-proven tech.

Energie besparing is ook jereinste bs als je energie van fiber in server toevoegen in ogenschouw neemt.

[walteij]

En bekijk het nu eens als de fiber switch voor je storage units?
Universiteiten en multinationals hebben regelmatig meerdere racks complete vol met alleen maar storage.

Als je 4 complete racks gevuld hebt met je SAN's, kun je ook 3-4 racks ernaast volzetten met hypervisors. Die wil je toch allemaal een snelle verbinding met je SAN aanbieden.
Dus minimaal 10 gbit, en bij voorkeur sneller dan dat, en ook nog eens minimaal 2 aansluitingen per hypervisor.Met twee van deze switches (ja, voor redundantie) kun je dus een hele stapel hypervisors aansluiten op je SAN, maar ook SAN replicatie kun je door diezelfde switches laten lopen, zonder dat de snelheid daar onder te lijden heft.
Nog twee van deze switches kun je dan inzetten voor de verbinding met je frontend switches (richting werkplekken/internet/etc).

Dus lager stroomverbruik, eenvoudiger beheer (4 units in plaats van 16 units beheren), meer ruimte voor andere hardware.

Zeker voor bedrijven die alle hypervisors nu al op fiber hebben aangesloten, zowel storage als ethernet (ja, ze bestaan, ik werk momenteel bij een dergelijk bedrijf) is dit echt wel een geschikte oplossing. Minder dan 10 gbit/s wordt gewoon niet geaccepteerd.

[Reactie gewijzigd door walteij op 24 juli 2024 12:18]

[totaalgeenhard]

Bottleneck komt op andere plek je lost het er niets mee op.

Er is vast een business case te verzinnen waarin dit de meest voor de hand liggende oplossing is.

[Reactie gewijzigd door totaalgeenhard op 24 juli 2024 12:18]

[walteij]

De meeste hoeveelheid data wordt vaak verplaatst tussen de SAN's zelf (voor replicatie, of bijvoorbeeld VM-backups en vmotion (vm en/of storage) acties). Daarvoor wil je een zo hoog mogelijke snelheid.
Met een goede verbinding tussen het frontend en de backend, is de enige bottleneck, de 'gewone' gbit kabel tussen de frontend switch en het workstation. Maar daar merkt de medewerker toch niets van.

Ik heb EMC Isilon devices gezien die onderling met 20gbps aan het repliceren waren, maar de enige reden dat dit niet sneller ging, was omdat er maar 2 10 Gbit glasvezel kabels tussen de 2 devices lagen. Als dit er meer waren, was het evenredig sneller gegaan.

Als je het netwerk goed ontwerpt, is de enige bottleneck de (verbinding naar) het endpoint.

[Reactie gewijzigd door walteij op 24 juli 2024 12:18]

[Pb Pomper]

In elk proces heb je altijd per definitie een bottleneck. De kunst is om deze te identificeren en controleren.

[Verwijderd]

als je tegenwoordig een virt bak koopt zonder 4x10gbit ben je verkeerd bezig (heck ik heb intel 710 kaartjes thuis). Voor de prijs moet je het niet laten want de nic is maar een fractie vd tco. Ram en cpu cores (>32 cores, >128Gb) is grootste deel.

Wat me ontgaat is of er een dwdm colored uitkomt of een standaard 10g shortrange, is factor 10 in prijs voor je sfps. Within dc zal het wss niet spelen maar je zit ook nog met variabele signaalsterktes tussen de kanalen dan.

[Reactie gewijzigd door Verwijderd op 24 juli 2024 12:18]

[Shunt]

En dat kan nu met 1/4e van de aantallen U.
Ik geloof niet dat ruimte de grootste drijvende factor zal zijn in deze situatie, maar juist het combineren van minder ruimte en minder benodigde energie om meer te doen.

Al onze nieuwe servers hebben fiber. Al ons nieuwe speelgoed heeft minimaal 4x fiber. verder zou je een beest als deze ook in kunnen zetten voor andere doeleinden als standaard datacenter werk. Denk aan ISP's of internet hubs. Geloof mij maar dat je daar nogal wat fiber kabeltjes hebt lopen.

Deze hardware zal niet gebruikt worden aangezien het hier gaat om een prototype, dikke kans dat dit opgekocht / gelicentieerd gaat worden aan een of meerdere vendors.

Vendor lock-in? het is niet eens een product van een vendor. Het gaat om een prototype ontworpen en gebouwd als een promovendus project. Zo beginnen een hele hoop van onze mooie technologische speeltjes.

Energie besparing is juist op het moment een van de grootste ontwikkelingen binnen het datacenter wereldje. Iedere grote stap in de ontwikkeling van datacenters heeft meer en meer te maken met het energieverbruik. Zit het hem niet in de koeling zit het hem in het daadwerkelijke verbruik van de apparatuur. Of dit nu voor het milieu is of voor de portemonnee boeit niet. Het resultaat is het zelfde 600w vs 1200w is een simpele kosten berekening, is de besparing van het verbruik de aanschaf waard. Is die berekening positief voor het energie zuinige product zal dat de toekomst zijn. (mits aangeboden door een gerenommeerde partij) Is het niet kosten effectief dan zal het waarschijnlijk een stille dood sterven.

[totaalgeenhard]

Goed onderbouwd!

Klopt zelfstandig gaat dit niet van de grond komen.

(mits aangeboden door een gerenommeerde partij)

Inderdaad.

[supersnathan94]

Daarbij komend is ook dat je minder koeling nodig hebt voor je switches. Lager opgenomen vermogen == lager vermogen wat verloren kan gaan aan warmte. Koeling is 1 van de grootste energieslurpers in datawarahouses. Iedere joule die je kunt besparen is dubbel meegenomen in het kostenplaatje.

Je betaald namelijk 1 keer om hem nuttig te gebruiken en je betaald daarna nog een keer om hem weer af te voeren in de vorm van warmte.

[NovapaX]

Altijd leuk hoe men vanuit de luie stoel degelijk onderzoek en hard werk onderuit denkt te kunnen halen met een paar ongefundeerde aannames.
Het is een onderzoek.... natuurlijk is dit nog helmaal niet production ready.

[NemesisWolfe]

Als belastingbetaler heb ik wel degelijk iets in te brengen.

Gelukkig niet.

Universiteiten hebben gelukkig de vrijheid om zelf te bepalen hoe ze hun geld besteden. Daar heeft de belastingbetaler NIETS over te zeggen.

[Reactie gewijzigd door NemesisWolfe op 24 juli 2024 12:18]

[tweazer]

Universiteiten hebben gelukkig de vrijheid om zelf te bepalen hoe ze hun geld besteden. Daar heeft de belastingbetaler NIETS over te zeggen.

Ja en nee. De 3e geldstroom is een eufemisme om te zeggen dat iets gesponsord wordt door het bedrijfsleven. Daar heeft het bedrijfsleven een vorm van nut van, financieel, of publiekelijk voordeel.

De basis geldstroom wordt door het ministerie van onderwijs bepaald. Daar zit een stuk funding in voor onderwijs (oude cijfers waren 40k per afgestudeerde student), gebouwenonderhoud, personeel en 'strategisch onderzoek'. Direkt heeft de belastingbetaler daar geen invloed op, wel via media, gremia en meningsvorming. Het zou bijvoorbeeld een universiteit niet sieren als al het geld wordt gestoken in 'hoe ministeck zo optimaal mogelijk op te staan en welke kleur ministek het meest door mieren wordt gewaardeerd'. Een positieve vorm van sturing is de solar race is australie. Als sturende/coordinerende interne gremia kun je de vsnu, surfnet, kivi en andere partijen zien. Externe gremia zouden unilever, philips, de wetgever (onoirbaar onderzoek, bij dna cloning etc), nasa, airbus kunnen zijn: ze bieden geen funding, maar wel stageplekken en/of praktijkfeedback. Is de consument niet tevreden vanwege een issue over deze producent, zullen de universiteiten daar ongeschreven wel naar acteren.

[Neko Koneko]

Moet jij vandaag niet in de rechtzaal zijn Willem?

[sfc1971]

Maar wel twee keer zoveel energie te vreten. Wat is duurder?

[NovapaX]

Nee, je verwerkt vier keer zoveel data met twee keer zoveel energie.
Dat betekent dus dat je dezelfde hoeveelheid data met de helft van de energie kan verwerken.

[sfc1971]

"Dit betekent dat je vier keer zoveel informatie kunt verwerken in dezelfde ruimte, terwijl je slechts twee keer zoveel energie verbruikt."

Is dit alleen ruimte besparend of ook energie besparend? Ik lees dat laatste er niet uit.

[guysp]

Normale 1u switch: 32 poorten en 300 Watt verbruik.
Deze 1u switch: 128 poorten en 600 Watt verbruik.

Je hebt een verdubbeling in verbruik, maar vier keer zoveel poorten beschikbaar. Daarnaast heb je dus ook niet meer 4* 1u van 32 poorten nodig, want dat past hiermee op 1u. Meer ruimte voor servers over dus.

[tweazer]

en wat ik nog niet lees: minder kabelafstand, elke cm draagt bij aan vertraging ...

[Paprika]

4x zoveel informatie en 2x zoveel energie met de volledige unit zal dus evenveel informatie met de helft van het verbruik zijn voor 1 transceiver.

[supersnathan94]

Dat ligt er aan tegen welke paramter je het verbruik afzet. Kijk je naar verbruik per HE dan is het inderdaad 2x. Kijk je naar het verbruik per data eenheid dan is het de 0,5x

[Paprika]

Je zult ze ook niet allemaal aanzetten als ze niet allemaal worden gebruikt. In het plaatje wordt nu ook maar 1 unit gebruikt.

[Wim-Bart]

2 x zo veel energie voor 4 x zo minder ruimte. Standaard gebruiken 4 x 1 U hoog 300 Watt per U rackeenheid en zouden er 4 x U gebruikt moeten worden. Een normale opstelling zou dus 4 x 300 = 1200 Watt gebruiken. Hij doet het zelfde in 1 U met een verbruik van 600 Watt per U.

Dus ja, hij verbruikt per U 2 x zo veel, maar in plaats van 4 U verbruikt zijn oplossing maar 1 U. Zijn oplossing verbruikt dus 50% minder energie en 75% minder ruimte.

[kdeboois]

Veelal zitten er 12 optische fiber in één kunststof mantel. Dan is het te doen.

[Gwaihir]

Dat zijn inderdaad de (44 bruikbare) aansluitingen hier. 44 'kabels' dus. (Zie p. 45 in het brondocument.)

Hoe wordt dat vervolgens gebruikt dan? Elk bundeltje moet nog ergens gesplitst worden. En overgezet op koper? Of bebben servers tegenwoordig al (vooral) fiber aansluitingen?

[MeMoRy]

Koper? Waarom zouden ze dat doen?
We hebben het hier over datacenter toepassingen hè? Geen thuisnetwerk.
Ja, servers hebben 10-40-100 Gbit SFP+ of QSFP aansluitingen.

[Reactie gewijzigd door MeMoRy op 24 juli 2024 12:18]

[Yoshi]

genoeg redenen..; fiber is vooralsnog vrij prijzig tov koper. Er zal nog steeds een goede afweging moeten gebeuren :); al is het maar legacy investements die blijven staan. Neem nu het verhaal van Fibre Channel. Klinkt allemaal interessant, tot je daadwerkelijk gaat berekenen wat de kost daarvan is. Dan begint de afweging en merk je dat vooral de kritische applicaties daarop werden gezet en de rest gewoon op koperen infrastructuur.

never count out copper. hoewel die laatste niet echt meer opgaat voor de aankomende hyperscale-infrastructuur-rollouts. Het is vooral bij deze dat ik de toepassing wel zie aanslagen.

[Reactie gewijzigd door Yoshi op 24 juli 2024 12:18]

[kdeboois]

De hoeveelheid energie die het kost om dit soort snelheden op koper te zetten zijn significant. Verder is de fysieke grote dan vaak de beperking wat het het gewoonweg onmogelijk maakt. Fiber it is op deze snelheden en afstanden.

[MeMoRy]

10 Gbit koper is niet goedkoop. 40 Gbit nog veel duurder. Plus hoe hoger de snelheid, des te korter je kabel kan zijn met koper.

[Ron]

Dat valt best mee, vanuit mijn werk zien we dat 10g transceivers heel hard aan 't commoditizen zijn

[MeMoRy]

Dat klopt, maar die hebben dan niet zo'n enkele connector aan het uiteinde.
I stand corrected.

[Reactie gewijzigd door MeMoRy op 24 juli 2024 12:18]

[NovapaX]

jawel hoor, dat is de MTP connector. Daarmee sluit je in een keer gewoon 12 fibers aan.

[steven2992]

Het gaat om 128 poorten per bord, dus 512 poorten per 1u rack unit.

[MeMoRy]

Shit, heb ik Gonzalo's verdediging toch gemist.

Ik vond het verloop van zijn promotie opmerkelijk. Hij is vooral bezig geweest met het designen van de ASIC en het PCB.
Is dit nog wetenschappelijk onderzoek, of is het gewoon productontwikkeling?

[w0w]

Dat had je mooi bij zijn verdediging kunnen vragen

[MeMoRy]

Bij een promotie verdediging mag alleen de commissie vragen stellen.

[tweazer]

Vziw kunnen publiekelijk wel vragen gesteld worden : na het publiekelijk deel gaat de promotie verdediging/vergadering gedurende een korte periode over in een besloten deel waarbij enkel de promovendus en comissie aanwezig zijn, waarbij door hen vragen worden gesteld, mogelijk inhoudelijk ivm de onderzochte (soms geheime) materie, mogelijk om de kundigheid van de promovendus besloten te kunnen beoordelen.
Bij sommige universiteiten/opleidingen worden vragen vanuit het publiek als onwelkom beschouwd (vb KUB economie, credo is dan dat bij vragen de promovendus geen volledig onderzoek heeft gedaan), bij andere universiteiten is het juist een blamage als geen publieke vragen worden gesteld (credo is dan dat de materie niet toegankelijk genoeg is gepresenteerd (TUE natuurkunde).

Aan de andere kant: zoveel soorten, zoveel smaken, enkel mijn ervaringen in mijn ISO/vsnu/universiteitstraad periode.

[MeMoRy]

Oh interessant. Ik heb op de TU/e al een hoop promoties meegemaakt, en nog nooit gezien dat er ruimte was voor vragen vanuit het publiek. Alleen bij master presentaties is dat voor zover ik weet.

[CaptJackSparrow]

De rackunit ondersteunt daarmee in totaal 4 x 128 poorten en een bandbreedte van 4 x 1,28Tbit/s. Standaard zitten de transceivers met fiberingang bij switches op het frontpaneel, waardoor er slechts plaats is voor 32 stuks en het totale aantal poorten voor de hele rackunit op 128 poorten uitkomt.

Moet ik hieruit begrijpen dat er fysiek maar ruimte op de unit is om een kwart van de poorten die de inwendige elektronica aankan ook daadwerkelijk te gebruiken? Als dat zo is dan is het nut hiervan me nog niet recht duidelijk.

[Gwaihir]

Nee, 'standaard' = bij het ontwerp wat hij juist verbeterd heeft.

[Pabz]

Pagina 86 staat Table 5.4 Savings (%) in power and cost of EFT, HFT, and EHFT. Het gaat om case D waarbij 2 hybride lagen zijn gebruikt (EHFT-D MSS -55.6% reductie in energie, SSS -55.6% reductie in energie, MSS -48.8% reductie in kosten, SSS -45.5% reductie in kosten).

Our 25G real case scenario investigation concludes that the minimum hybrid
topologies achieve savings of 45% in switches, 60% in transceivers, 50% in fibers, 55% in power consumption, and 48% in cost.

Dit lijkt me een behoorlijke winst in efficiency. Ik ben verder een totale n00b maar een ELI5 van iemand die kort kan uitleggen wat dit in de dagelijkse praktijk kan betekenen is welkom :-)

[MorbidKetchup98]

Toch wel leuk om dit soort dingen te lezen over mijn uni, geweldig slimme plaats en mensen.

[tweazer]

Het mooiste vind ik nog dat het kan, dat het gedaan wordt in ons kleine kikkerlandje met mooie resultaten.

[AJediIAm]

Ook mijn geek hartje gaat hier sneller van kloppen. Leuk artikel.

[goarilla]

Doet me wat denken aan dit artikel https://www.servethehome....gator-at-ocp-summit-2018/ waar Facebook zijn eigen hw voortselt en de optiek zo dicht mogelijk bij de asic plaatst (https://www.servethehome....for-400GbE-Generation.jpg).

[xmenno]

Normaal is de heatsink van een ASIC het grootste wat er in een switch zit, en dan is er ook nog heel veel ruimte nodig om de optics te koelen.
Ik vraag me af hoe hij dat heeft opgelost, want koeling lijkt hier heel minimaal.
Misschien is de gebruikte ASIC niet vergelijkbaar met die voor gebruik in een datacenter.
Dan nog is het misschien een mooi concept voor FTTH deployments.

[Accretion]

Mensen, universitair onderzoekt biedt niet altijd iets wat direct in elke situatie toe te passen is.

Dit prototype is een, maar het onderzoek ook zeker. Als met het onderzoek bestaande switches geoptimaliseerd kunnen worden of nieuwe switches gemaakt kunnen worden die daadwerkelijk wel binnen jou idee past, dan is het toch ook onderzoek waard.

[goarilla]

niemand gaat zn serverpark verbouwen voor een afgestudeerd studentje, van niemand is publiekelijk bekend dat ze problemen hebben met niet genoeg poorten in hun switch (dan zet je er gewoon een switch bij...)

Die paper draait niet alleen om de PCB, waar dat 4 switches worden geconsolideerd in 1. Maar ook over hoe beter gebruik te maken van de al bestaande DC netwerken via slimme management technieken (SDN). Facebook, Google, Amazon, Microsoft ze zijn er allemaal mee bezig !