IBM integreert optische connector in chip voor snellere en zuinigere datacenters

Onderzoekers van IBM Research hebben een manier ontwikkeld om optische connectors rechtstreeks op chips en printplaten te integreren. Dat brengt zowel hogere snelheden als een lager stroomverbruik met zich mee. De technologie moet vooral van pas komen in AI-datacenters.

Waar datacenters tegenwoordig gebruikmaken van optische kabels om data van en naar de systemen te versturen, verloopt de communicatie in en tussen de chips zelf nog via 'kabels' van koper. Door de zogenaamde co-packaged optics te integreren in chips en pcb's moet het stroomverbruik met meer dan 80 procent kunnen worden verlaagd, aldus IBM Research-ingenieur John Knickerbocker. De daling van 5 picojoule per bit naar minder dan 1 moet een gigantische hoeveelheid stroom besparen wanneer duizenden chips miljoenen bewerkingen verrichten.

Dit moet mogelijk zijn door een nieuwe optische link: de polymere optische golfgeleider. Deze kanalen hebben een diameter van 50 micrometer, slechts een vijfde van de conventionele dikte. Tests tonen aan dat het moet lukken om ze verder te verkleinen, tot slechts 20 of 25 micrometer. Dat komt overeen met een bandbreedteverhoging van 1000 tot 1200 procent.

Knickerbocker en zijn collega's zijn er ook in geslaagd om het signaalverlies te beperken tot minder dan 1,2dB per volledige optische link. Doorgaans is dat 1,2 tot 2 decibel per kanaal. Bovendien vertonen optische golfgeleiders met een dikte van 18,4 micrometer minder dan 30dB crosstalk, wat erop wijst dat de techniek geschikt moet zijn om naar hoge bandbreedtes op te schalen om chips met elkaar te verbinden. Door meerdere golflengtes licht per optisch kanaal te versturen moet het mogelijk zijn om de bandbreedte met minstens 4000 procent te verhogen en potentieel tot wel 8000 procent.

IBM's nieuwe modules zijn bedoeld om compatibel te zijn met standaard elektronische passieve packagingprocessen, wat kan leiden tot lagere productiekosten. Het bedrijf is in staat om ze te produceren in zijn fabriek in Bromont, Canada. Momenteel werken de onderzoekers aan een roadmap voor de technologie en verzamelen ze feedback van klanten over hoe ze de technologie in de praktijk kunnen toepassen.

Exploded view van IBM's 'co-packaged optics'-module

Reacties (18)

[CapnCrinkle]

Wat is deze 80% "verlaging" van stroomverbruik dan precies, in realistische cijfers?

Ik neem aan dat deze 80% enkel gaat over het "vervoeren van de data" naar een andere locatie.
Hoeveel stroom gebruikt dit überhaupt? Ik heb geen idee hoor, maar 80% klinkt gewoon super indrukwekkend en ik zou graag echte verbruikscijfers zien om het ook te kunnen relativeren.

Ivm reacties een verduidelijking;

Ik bedoel in realistische cijfers wat het in totaal zal besparen.

Gemiddeld datacenter zal rond de 876.000 MWh per jaar verbruiken.

Naar schatting zit er 20% tot 30% van dit stroomverbruik in de communicatie. Uiteraard gaat deze vernieuwing echter enkel om de on-board chips --- Ik neem aan dat we minimaal de zaken als switches, externe kabels etc hier al vanaf kunnen trekken.

Je bespaart dus eigenlijk enkel stroom op het kleine stukje koper wat gewoonlijk in de PCB zit, of zie ik dat fout?

Indien dit zo is, hoeveel % van het stroomverbruik is dan überhaupt de originele 100%? Is dit 0.001% van een datacenter's stroomverbruik? Meer? Minder?

Van die 876.000 MWh per jaar, gaat ons dit 1MWh, 100KWh of zelfs maar 1KWh besparen? Hierin heb ik oprecht geen idee --- hier ligt mijn vraagstuk eigenlijk.

[Reactie gewijzigd door CapnCrinkle op 13 december 2024 17:31]

[ToolBee]

De mens kennende gaat dit geen besparing opleveren maar gaan we met dezelfde energie lekker meer berekeningen maken.

[CapnCrinkle]

Technisch gezien kun je dat natuurlijk wel als besparing zien. Het is efficiënter. Je krijgt meer voor minder.

[dasiro]

dat staat er toch in: De daling van 5 picojoule per bit naar minder dan 1.

een bit is nu nog een electrische lading (electronen) die wordt verstuurd en door nu licht (fotonen) te gebruiken die door een optische kabel lopen ipv koper is er minder energie nodig, waarschijnlijk omdat er minder ruis/verlies is.

[CapnCrinkle]

Ja, dat deel begreep ik nog

Maar hoeveel % verbruik van een datacenter zit er in het verplaatsen van bits?

Stel een datacenter verbruikt 500KW/h. Heeft dit dan een impact van 1KW/h? 1W/h?

Gaat het op jaarbasis per datacenter überhaupt meer dan een paar KW/h schelen?

[beerse]

Wel beschouwd is het energie verbruik allemaal het verplaatsen van bits, dat is wat datacenters doen.

Het bericht hier is vooral dat de omzetting tussen elektrisch en optisch niet in een fom, netwerkkaart of andere glasvezel aansluit kaart gebeurt maar direct in de chip en dat er in de computers dus ook met glasvezel gewerkt kan/zal gaan worden. Hoeveel dat in het grote geheel gaat schelen zullen we nooit precies weten, dat is afhankelijk van wat je mee telt. Veel is al verglaasd.

[Raymond Deen]

40.000.000.000.000pJ (40J) voor een Terabyte aan data, oftewel 0,011Wh, wanneer je koper gebruikt en 0,0022Wh met de nieuwe optische koppeling.

Ams -ix record van afgelopen 1 december is 14tbps, oftewel 0,875 TB/s. Op zoveel bandbreedte zou het ongeveer 28Wh verbruik schelen in een uur.

Of ik maak een rekenfout, of het artikel noemt verkeerde getallen, of het verschil in verbruik valt wel mee.

[latka]

Staat in de text: het kost nu 5 picojoule en dat zou 1 picojoule worden. Schakelen op hoge snelheid over koper kost erg veel stroom. Je ziet het bijv. bij ethernet: 1gigabit netwerk doe je met minder dan een watt. Als je naar een 10Gbit netwerk gaat vliegt het verbruik omhoog als je dat over koper doet (makkelijk 7 watt oid). Als je dat zelfde netwerk over glasvezel doet ben je voor minder dan een watt klaar met 2x omzetten van netwerk naar fiber en terug.

[raymondw]

Het verbruik is met beide iets meer, maar qua verhouding klopt het wel.

De vraag in een DC is meer, wat kost het het. Ze betalen peanuts voor een kWh, maar de hardware kost wel een factor extra.
10/25Gb switch met rj-45 en een rol koper kabel op 250w VS een switch met allemaal losse gbics en allemaal vaste kabellengte glas kabels op 100w.

Wat kost een koperbaan op een pcb en wat kost dezelfde baan in glas?
Op een 7, 9 of 14 laags server pcb zullen de kosten significant zijn.
Er zijn nu al OEMs die een split maken in pcb tussen low en high power cpus.

Kort gezegd: Mooie techniek
Nu even afwachten wat het kost.

[laurxp]

Voor de grote cloudproviders is het juist precies andersom. Hardware schaf je één keer aan, maar voor die elektriciteit moet je constant betalen - en voor iedere watt aan stroomverbruik heb je ook nog extra koeling nodig.

Een netwerkmodule die 10W extra verbruikt over een levensduur van 5 jaar verbruikt in totaal 438 kWh, en richting de 500 kWh als je alle koeling meerekent. Als je €0.20 / kWh betaalt, heb je dus per poort een budget van €100 voor een efficiëntere netwerkmodule.

In de praktijk gebruikt praktisch niemand koper voor 10Gb, laat staan 25Gb. Het is enorm energieverslindend, heeft dure kabels nodig, heeft een extreem beperkte kabellengte, en bied heel weinig flexibiliteit. Fiber is op technisch vlak een héél stuk beter, en het is ook nog eens goedkoper. 10GBASE-T was voor datacentra eigenlijk al achterhaald toen het geintroduceerd werd, en 25GBASE-T bestaat alleen op papier. Wellicht dat we het over een jaar of 10-20 op de consumentenmarkt zien als de laatste stuiptrekking van koper, maar veel verder zal het niet komen.

[Reactie gewijzigd door laurxp op 14 december 2024 14:11]

[foobar79]

Koper (DAC kabel) is binnen het rack super gebruikelijk:
Het is goedkoper, gebruikt MINDER energie dan een SFP en heeft ook nog eens een lagere latency.

[banaan-X]

Met name elektriciteitsverbruik in grote datacentra. Photonica wordt al gebruikt in datacentra, maar de efficientie in de overgang van elektronen naar fotonen (van data naar dataverkeer) is nog voor verbetering vatbaar. Op dat vlak speelt deze ontwikkeling. Of dit specifieke onderzoek een wereldschokkende ontwikkeling is, kan ik niet zeggen, daar weet ik hier niet genoeg van af.

[PaulHelper]

Oke, als je naar de bron gaat kun je wat terugrekenen. Ik doe dit snel dus als er iets fout gaat gebruik de originele getallen.
Er staat bespaart 5000US home annual energy bij trainen LLM current gen zelf zeggen ze zoals gpt4. Gpt4 kost 50 - 60 gigawatt uur. Gemiddeld is huishouden = snelle google 10 500 kilowatthours. Nou dan 5000*10 500= 52 500 000kwh = 52.5Gwh. dus wat zei zeggen is dus dat er echt een hoop bespaart zou worden op LLM trainen. Maar zoals ik zeg moet er verder induiken om te durven zeggen of dit daadwerkelijk het geval is.
Weet verder hun berekening niet of dat ze simpelweg alle but transport over 1 kam scheren

Ter info ze zeggen dit bij increased datacenter efficiency want LLMs trainen is 1 van de doeleinden

[eBait]

Supermooie ontdekkingen dit. Benieuwd waar we over een paar jaar staan, want op dit moment zijn er nog de nodige uitdagingen, zeker op het moment dat er iets defect raakt op van dit soort packages. Gelukkig lijken we met Linear Drive Pluggable optics een groot gedeelte van de voordelen die men in CPO ziet (enkele van dubbele DSP) ook naar pluggable optics te brengen.

[Wimhaw]

Polymer optical waveguide is al een behoorlijk oud concept. Van 1994 t/m 2001 heb ik bij Akzo Nobel/ JDS Uniphase optische chips geproduceerd op basis van PolyCarbonaat polymeer. Zelfs tot 5µm optische kanalen zijn mogelijk. Helaas werd deze technologie niets omdat in 2001 MEMS opkwam.
Dus de pilot plant van JDS Uniphase werd opgeheven.

[mr32]

Jammer, want het is nu weer relevant. Desalniettemin hebben we in ons lab nog altijd veel plezier van de optische componenten van JDS Uniphase!

[The-Source]

Deze "startup" is z'n 20 jaar oud maar is puur gefocust op ontwikkeling van optische chips en dan dus met name als interlink voor high compute situaties. Best interessante video vind ik YouTube: Moore's Law is Dead — Welcome to Light Speed Computers

[massareal]

Grofweg is dit iets van 16% besparing van elektriciteit van het totaal verbruik van een data center.
(uitgaande van dat de 20% van de energie voor communicatie gebruikt wordt)