Tien jaar Open Compute Project

Twaalf jaar geleden zat Facebook met een probleem. Het aantal gebruikers groeide explosief en met hen ook de kosten van Facebooks datacenters. De servers, switches en opslag die het moest inkopen, waren te duur en de stroomkosten voor het draaien van die apparatuur rezen ook de pan uit. Daarom dacht Facebook: waarom maken we zelf geen datacenterapparatuur? En als we die apparatuur maken, waarom doen we dat niet open source, waarbij we de productie uitbesteden aan de laagste bieder?

Uit die gedachte ontstond in april 2011 het Open Compute Project, een plan om de hardwaremarkt voor datacenters op te schudden met een opensourceplatform voor apparatuurspecificaties en standaarden. De hardwaremarkt was er een van gepatenteerde apparatuur en servicecontracten. Tien jaar later worden servers van onder meer Facebook en Microsoft gemaakt volgens specificaties van het OCP, zijn tientallen grote partijen aangesloten bij het platform en kopen datacenters jaarlijks voor miljarden aan OCP-apparatuur in. Hoe heeft Facebook de datacentermarkt in tien jaar weten te veranderen met het Open Compute Project?

Facebook bouwt een server

Het begon allemaal toen technicus Amir Michael in 2009 bij Facebook aan de slag ging. Zijn taak was Facebooks servers efficiënter maken, zei hij in 2012 tegen Wired. De stroomkosten, de ruimte die servers innemen en dat Facebook alles bij verschillende fabrikanten moet kopen: dat moest beter. Michael ontwierp voor Facebook een eigen serverchassis. Dat bleek vierenhalve kilo minder te wegen dan de in massa geproduceerde servers die Facebook inkocht. Hij haalde alles uit die server wat hij overbodig vond voor Facebook. Dat maakte de server ook nog eens energiezuiniger dan die van traditionele servermakers. Dat eerste prototype werd verder uitgewerkt. Facebook had in december 2010 een definitief ontwerp en noemde het Freedom Server, maar het moest nog wel gemaakt worden.

Facebook zocht de samenwerking met onder meer Intel en AMD voor het speciaal ontwikkelen van cpu's voor de servers, en met Quanta, Delta en Power-One voor de ontwikkeling. Ook ontwikkelde Facebook een eigen voeding, samen met Synnex, dat een divisie oprichtte voor Open Compute servers: Hyve. Die samenwerkingen waren lucratief voor de partijen die aan de slag konden voor het grote Facebook. Dat stelde echter wel een voorwaarde, bedacht door Facebook-topman Jonathan Heiliger. De fabrikanten moesten de ontwerpen van de apparatuur openbaar delen, open source dus, via het Open Compute Project.

Facebook Open Compute Server — Facebooks Open Compute Server of Freedom Server. Foto: OCP

Tegen Business Insider zei Heiliger in 2015 dat het OCP vooral een groen initiatief is. Het draaide allemaal om minder stroomverbruik. Heiliger dacht daarbij gelijk: waarom delen we Facebooks hardwaredesigns niet? De hardware gaf Facebook geen competitief voordeel, want het maakte de apparatuur voor zichzelf en niet om te verkopen, schreef hij in een brief aan Mark Zuckerberg. Door de ontwerpen open source te maken zouden er meer gebruikers komen en konden anderen de ontwerpen verbeteren, waar Facebook ook weer voordeel bij zou hebben. Zo kwam hij met het plan om een opensourceplatform voor serverhardware te ontwikkelen.

Dat eerste jaar deelde Facebook via het Open Compute-platform een hele reeks ontwerpen die werken met de nieuwe server van Facebook. Bij de oprichting deelde het direct de volledige specificaties en cad-files van zijn zelfontworpen datacenter in Prineville, Oregon. Het is het eerste datacenter dat Facebook zelf ontwierp. Vrijwel alle daaropvolgende datacenters van Facebook volgden dit eerste ontwerp. Het datacenter was volgens Facebook op dat moment 38 procent energiezuiniger dan de bestaande datacenters die Facebook gebruikte, en het heeft Facebook 24 procent minder gekost om dit datacenter te bouwen dan andere datacenters.

Facebook deelt niet alleen de Freedom Server, maar ook het ontwerp van Open Vault, modulaire bouwblokken voor opslag die in een 2U Open Rack-chassis passen. In eerste instantie is dit niet meer dan jbod, ofwel just a bunch of disks. Het Open Vault-ontwerp werd de basis voor een serie serveropslagontwerpen die in de jaren daarna volgden, waaronder een Open Vault-ontwerp met een SAS-controller en een Open Vault voor cold storage. Ook maakte Facebook in dat jaar een serverchassis en een ontwerp van een Triplet Rack-server waar het chassis in past open source. De opensourcedocumenten bevatten uitgebreide omschrijvingen, thermale specificaties en cad-tekeningen. Daarnaast kwam Facebook met ontwerpen voor een nieuwe voeding met back-upaccu.

Facebook Open Vault — Facebooks Lightning JBOF uit 2018, de derde versie van Facebooks Open Vault-opslag. Foto: OCP

Het Open Compute Project gaf Facebook ook een voordeel, legt Rolf Brink van Asperitas uit, die zelf betrokken is bij het project. Als enorme datacenterpartij kon het eisen stellen aan bedrijven waarbij het hardware inkocht. Facebook zei: ga open source of verlies ons als klant. Door standaarden te ontwikkelen en eigen hardware die vervolgens door verschillende partijen gemaakt kon worden, kon Facebook niet alleen energie besparen, maar kon het ook goedkoper inkopen. Het had niet langer te maken met één aanbieder die de prijs bepaalde. Het kon aanbiedingen van apparatuur vergelijken en fabrikanten tegen elkaar laten opbieden voor de laagste prijs voor identieke hardware. Die was immers niet langer gepatenteerd, maar open source en OCP-compatibel. "Elke leverancier moest hetzelfde board gaan maken voor Facebook. Het had verschillende leveranciers nodig en die kon het tegen elkaar uitspelen voor de laagste prijs", zegt Brink.

Niet iedereen kon die strategie waarderen. Zo liep er tussen 2015 en 2017 een rechtszaak tegen Facebook voor het openbaren van hardwarespecificaties van de Britse datacenterbouwer BladeRoom. Volgens dat bedrijf heeft Facebook via het OCP bedrijfsgeheimen geopenbaard van BladeRoom en Bripco. Beide stellen door Facebook onder druk gezet te zijn om gepatenteerde ontwerpen te openbaren via het Open Compute Project van wat Facebook later het Rapid Deployment Data Center noemde, maar dat eigenlijk een ontwerp van Bripco en BladeRoom was. Uiteindelijk kwamen de partijen buiten de rechtszaal om tot een overeenkomst.

Facebook krijgt bijval

Desondanks sloten grote partijen zich bij het project aan. In het eerste jaar Intel, Dell, Rackspace en investeringsbank Goldmann Sachs. En AMD ontwikkelde in dat jaar de Spitfire-server volgens OCP-specificaties. IBM volgde in 2013, Microsoft en Cisco in 2014, AT&T, Google, Apple, HP en Nokia in 2015, Deutsche Telekom in 2016, Nvidia en Seagate in 2017, 3M, Arm en Tencent in 2018, ASUS en Samsung in 2019, Shell in 2020, en Huawei en ByteDance in 2021. Zij sloten grotendeels betaalde lidmaatschappen af, die tot zestigduizend dollar per jaar kosten. Die lidmaatschappen geven hen toegang tot alle gedeelde documenten en tot een jaarlijkse conferentie. Hoe meer ze betalen, hoe minder ze aan het project hoeven bij te dragen.

De deelnemers deelden door de jaren heen talloze ontwerpen voor servers, netwerkapparatuur, rackontwerpen, socs, grafische kaarten, opslag en koeltechnieken. Bedrijven die actief bijdroegen naast Facebook, zijn onder meer Seagate, Toshiba, Western Digital, Wiwynn en Microsoft. Dat laatste leverde in 2014 een reeks ontwerpen voor cloudservers aan en Gigabyte heeft inmiddels een reeks OCP-systemen voor datacenters ontwikkeld.

OCP server — Een complete OCP-server. Foto: OCP

De verschillende componenten die binnen het OCP worden ontwikkeld, worden niet allemaal even snel door de markt overgenomen, legt chief technology officer Bill Carter van de Open Compute Project Foundation uit. "De switchgear die we ontwikkelden, werd vanaf dag één goed ontvangen en snel overgenomen, omdat die korte metten maakte met de propriëtaire switch. Al snel kwamen nieuwe bedrijven met hardware- en software-ingrediënten die bouwden op de OCP-switchgear, zoals network operating systems, hardwareplatforms, data plane software en orchestration software." Facebook introduceerde de eerste versie van die switch, Wedge, in 2014. In 2016 volgde een 100GB-versie: de Wedge 100.

Ook Facebooks Open Rack-ontwerp werd goed ontvangen, maar volgens Carter duurt het lang voordat datacenters bereid zijn om de overstap te maken naar het rack, dat breder en hoger is dan een traditioneel EIE-310 19"-rack. "Daar komt bij dat datacenters 240V-wisselstroom of 208V-krachtstroom gebruikten en Open Rack in het begin efficiënter werkte met 415V- of 480V-krachtstroom. Dat betekende dat 19"-apparatuur niet werkte met Open Rack en veel datacenterbeheerders waren niet bereid om de hele boel in één keer om te bouwen. Daardoor bleven ze afhankelijk van vorige generaties 19"-apparatuur. Pas een aantal jaar later, toen er meer leveranciers met Open Rack-producten en geïntegreerde rackoplossingen kwamen, omarmden bedrijven het Open Rack-ontwerp."

Facebook OpenRack — Facebooks Open Rack-ontwerp. Foto: OCP

Niemand praat openlijk over ideeën

Het Open Compute-principe is een totaal andere manier van denken dan de datacentersector, vooral een aantal jaar geleden, gewend was. Datacenters zijn over het algemeen juist heel geheimzinnig over de apparatuur die ze gebruiken en hoe ze opereren. Er is zelfs een ongeschreven 'Fight Club'-regel bij sommige datacenterproviders: dat je niet praat over datacenters. DataCenter Knowledge schreef daarover in 2006 een uitgebreid artikel. Het idee is dat eigen ontwerpen een competitieve voorsprong kunnen geven op de concurrent en dat het openbaren van de ins en outs van een datacenter een veiligheidsprobleem is.

Carter legt uit dat een rapport uit 2007 met de werkelijke kosten van datacenters voor veel bedrijven een wake-upcall vormde om energiezuinigere serveroplossingen te ontwikkelen. Dat gebeurt echter allemaal achter gesloten deuren. "Slimme mensen bij bedrijven als Google en Microsoft gingen toen nieuwe ideeën ontwikkelen voor de stroomvoorziening en koeling van datacenters, maar niemand sprak openlijk over die ideeën. In die vroege dagen gold echt die Fight Club-analogie." Het duurde jaren voordat de ideeën uit die late jaren 2000 de standaarden van nu werden, onder meer op het gebied van luchtkoeling. "In tegenstelling tot toen, werkt de OCP-gemeenschap nu gezamenlijk aan het ontwikkelen van standaarden voor vloeistofkoeling voor datacenters", stelt Carter.

Een Nederlandse partij die zich in 2017 bij het OCP aansloot om daarover mee te denken, is Asperitas. Het bedrijf onder leiding van Rolf Brink ontwikkelt immersiekoeling voor datacenters. "Wat het OCP bijzonder maakt, is dat het als een van de eerste zei dat de sector alternatieven nodig heeft voor luchtkoeling. Dat was behoorlijk visionair, want dat zei het in een tijd dat de leden van het OCP er zelf nog niet mee bezig waren", legt Brink uit. Er werd een werkgroep opgezet en grote partijen als Intel, 3M, Shell en Microsoft gingen meedenken over vloeistofkoeling.

Dat zij wilden meedenken laat volgens Brink de kracht van het OCP zien. "Het kernpunt van het OCP is open source, zodat iedereen de laagste kosten kan halen, dus het doorbreken van de proprietary nature van deze sector. Het OCP is heel goed in het afdwingen van samenwerking en open source maken. Je krijgt het fomo-effect", legt hij uit. "In eerste instantie was het Facebook dat zei: als je wil dat Facebook klant wordt, moet je open source worden, anders nemen we je hardware niet af. Nu worden er standaarden ontwikkeld waar concurrenten van grote bedrijven hun naam onder zetten. Die bedrijven denken dan: ik moet ook meedoen. Ze beginnen wantrouwend, maar vervolgens gaan ze zelf inhoudelijk bijdragen."

Toch herkent Brink ook wat Carter zegt over die beginjaren van het OCP. "Er is inmiddels geen oem meer die niet op de een of andere manier meedoet met het OCP. Partijen die bijdragen aan de technologie, staan voor in de rij bij leveringen. Het is een vooraanstaand platform voor industriestandaarden geworden. Het OCP is in de afgelopen jaren een sleutelfactor geweest", stelt hij. "Een paar jaar geleden wilde iedereen elkaar nog afmaken. Nu trekt iedereen samen op."

Een blik in een datacenter van Facebook. Beeld: Facebook Engineering

Open source om de groten te dienen

Het project wist dus in de afgelopen tien jaar zijn strepen te verdienen in de datacentermarkt. Inmiddels bestaan er OCP-servers, racks, mezzanineboards, switches, netwerkapparatuur, gateways, opslag en meer, ontwikkeld door allerlei verschillende fabrikanten. Op die manier kan iedere datacenterpartij die dat wil, een barebonesysteem bouwen en naar eigen smaak inrichten.

Ze bieden meer flexibiliteit dan traditionele hardwarebedrijven, legt Vinita Arora, sales director van het bedrijf Circle B uit, dat kant-en-klare OCP-oplossingen maakt voor bedrijven die ermee willen werken. "De meeste whitelabel-oplossingen op de markt komen met software die compatibel is met hun hardware. Zo heeft Dell zijn eigen firmware en wil alleen dat die eigen firmware gebruikt wordt op zijn hardware", legt ze uit. "Omdat OCP-hardware open source is, draai je ook opensourcesoftware zoals Linux, Red Hat of VMware, en gebruik je OCP-firmware. Dat maakt dat je de backbone precies kunt inrichten op de applicaties die je wil draaien." Het OCP is dan ook in eerste instantie geschikt voor partijen die meer willen kunnen aanpassen dan wat de meeste oem's verkopen, en daar is een markt voor. De hyperscales, maar ook telecompartijen, banken en zelfs supermarktketen Walmart gebruiken OCP-apparatuur.

Toch is het niet alsof elk datacenter op OCP-apparatuur draait. Sterker nog, in Nederland is er naast de grote hyperscales maar één datacenter dat OCP-apparatuur aanbiedt. Dat is het Amsterdamse datacenter van het Duitse Maincubes, dat sinds december 2020 'OCP-ready' is. Alle andere colocatiedatacenters gebruiken apparatuur van andere oem's. "Dat OCP-datacenter richt zich op zakelijke klanten", legt solutions manager Franklin Hendriks van Maincubes uit. "De OCP-servers komen hier in een volledig gebouwd rack binnen, samengesteld door Circle B." Circle B ontwikkelt voor Maincubes complete OCP-racks en levert ze inclusief service aan zakelijke partijen die met het OCP aan de slag willen. Het is hiervoor gecertificeerd door de OCP Foundation.

De dienst die door Circle B en Maincubes wordt geleverd, is echter een uitzondering. Het Uptime Institute, dat onder meer onderzoek doet naar de wereldwijde datacentermarkt, stelt dat er nog steeds een lage adoptie is van het OCP. In een onderzoek in 2019 onder Uptime-leden had 33 procent zelfs nog nooit van het OCP gehoord, legt uitvoerend onderzoeksdirecteur Andy Lawrence van het Uptime Institute uit.

"Hoewel het Open Compute Project erg innovatief en economisch belangrijk is, heeft het nog amper de colocatie- en enterprisemarkt bereikt", zegt Lawrence. "En dat is nog steeds een meerderheid van de markt, hoewel er veel hyperscales zijn. Dat heeft ermee te maken dat colocatie- en enterprisedatacenters vooralsnog sterk georiënteerd zijn op de huidige generatie ontwerpen. Wat je krijgt, is een verhaal van twee markten; aan de ene kant heb je de open hyperscalemarkt en aan de andere kant gesloten, propriëtaire markten. Het OCP is zo gericht op hyperscales dat er amper een ecosysteem is voor de rest."

Een server-rack van Facebook uit 2013 — Een serverrack van Facebook uit 2013. Foto: Facebook

"De twee belangrijkste gebruikers van het OCP zijn en blijven Microsoft en Facebook", voegt Uptime-onderzoeksdirecteur Daniel Bizo toe. "Het OCP is ontworpen om op schaal uitgerold te worden." Dat bevestigt Vinita Arora van Circle B. "Als je een paar servers draait, is het niet logisch om OCP-apparatuur te gebruiken. Het voordeel van OCP komt met schaal en daardoor is het OCP voornamelijk geschikt voor middelgrote of grote bedrijven. Met OCP-apparatuur kunnen zij snel en makkelijk opschalen, de apparatuur is ook nog eens zuiniger en efficiënter op de lange termijn en op schaal, en servers kunnen makkelijk geüpgraded en vervangen worden, omdat OCP-servers volledig toolless werken."

"Voor Microsoft en Facebook is het logisch om compleet gevulde OCP-datacenters te hebben", concludeert Bizo. "Ze kopen honderdduizenden systemen per jaar. Met het OCP kunnen ze onnodige kosten wegsnijden, maar de enterprisemarkt is een ander beest. Enterpriseklanten zijn gewend om bediend te worden door grote resellers, en oem's als Lenovo en Dell draaien honderden of duizenden verschillende stukken commerciële software. Dat moet allemaal werken en software bepaalt uiteindelijk infrastructuur."

Dat erkent OCP-baas Carter, al zegt hij dat dat vooral gaat over het Open Rack-ontwerp. "De adoptie van het Open Rack-ontwerp is enigszins beperkt tot de hyperscalemarkt, doordat hele serverruimtes in één keer vervangen moeten worden als er wordt overgestapt, zoals ik eerder uitlegde. Er zijn echter ook OCP-producten waarvoor dat niet opgaat, zoals de switchgear en 19"-compatibele servers van onder meer Hyve, Wiwynn en Inspur. En er is een aantal grote enterprisepartijen die Open Rack gebruiken. Nog los daarvan zijn er honderden bedrijven die Open Rack-oplossingen gebruiken van ITRenew, een bedrijf dat Facebook-apparatuur refurbisht en verkoopt als geïntegreerde oplossingen op basis van de Open Rack-architectuur."

Lawrence en Bizo denken dat de traditionele datacentermarkt en de opensourcemarkt uiteindelijk wel naar elkaar toe bewegen. Bizo: "De vraag is alleen wanneer ze samenkomen, in de komende vijf jaar, de komende tien jaar? En of de open standaarden dan leidend worden over de hele breedte van de datacentermarkt." Dat hangt sterk af van de servicemarkt achter het OCP, stelt hij. "OCP-apparatuur is zo gemaakt dat ze perfect werkt voor Facebook en Microsoft, maar lang niet zo geschikt is voor een kleinere partij die niet de schaal en kennis in huis heeft om ermee om te gaan."

De serverapparatuur, de opslag, de netwerkswitches: alles is gestript tot de kern. Dat wil zeggen dat apparatuur ook niet standaard van firmware en managementsoftware is voorzien. Dat is prettig voor Facebook en Microsoft, want die ontwikkelen dat zelf wel om perfect aan te sluiten bij hun wensen, maar dat is lastiger voor een partij wier kerntaak niet het verwerken van data is. Volgens Bill Carter is de OCP Foundation er druk mee bezig om het makkelijker te maken om met het OCP te beginnen. "We moeten het voor derden die OCP-hardware willen leveren als complete oplossing, makkelijk maken om aanpassingen te maken. Dat hebben we dit jaar gedaan voor de firmware."

Niet alleen het OCP maakt serverhardware open source

Hoewel veel grote partijen inmiddels allerlei OCP-oplossingen ontwikkelen, doen ze dit grotendeels niet exclusief, maar eerder erbij. Partijen als Intel, AMD, Dell en HP ontwikkelen wel voor het OCP, maar dat is maar een klein deel van wat ze ontwikkelen en in een aantal gevallen, zoals servers van AMD (Winterfell en Watermark) zijn de OCP-versies simpelweg aangepaste versies van hun eigen, gepatenteerde hardware.

Ook is Facebook niet de enige en de eerste die probeert om serverhardware open source te maken. Google probeerde het een paar jaar voor Facebook en nu nog zijn er verschillende andere opensourceprojecten, waaronder Open19, een initiatief van LinkedIn, inmiddels onder de vleugels van de Linux Foundation. Open19 ontwikkelt net als het OCP standaarden voor datacenterapparatuur en serverbricks, en is dus een directe concurrent. Bij dit initiatief zijn onder meer grote partijen als Equinix, Cisco en HP aangesloten. Equinix gebruikt Open19 als onderdeel van zijn bare-metaldienst Equinix Metal, met onder meer servers in Amsterdam. Ongeveer 40 procent van de Equinix-infrastructuur draait inmiddels op Open19-standaarden. Open19 richt zich in tegenstelling tot het OCP primair op kleinere datacenters. De Open19-server is ontwikkeld voor de traditionele 19"-racks, in tegenstelling tot het OCP.

De toekomst van het OCP

Hoewel er verschillende serviceproviders zijn die diensten aanbieden aan kleinere partijen, is het OCP vooral geschikt voor hyperscales. Daardoor is het nog niet de voornaamste of enige uitgever van standaarden voor de datacentersector. Zoals Rolf Brink zegt: "Het OCP is niet per se geschikt voor vier of vijf servers. Dan wil je niet met drivers en tools klooien." De drivers en tools zijn toegespitst op managementinfrastructuren voor grootschalig gebruik, legt Brink uit. "Dat is niet altijd even praktisch voor de kleine gebruiker die vaak minder kennis heeft." Brink zegt dan ook dat het OCP, als het wil groeien naar een bredere markt, nu moet inzetten op het ontwikkelen van 'handigheidjes' om het toegankelijker te maken. Hij gelooft er dan ook in dat Open Compute toe kan gaan naar wat open source nu is voor software.

Met het tienjarige bestaan van het Open Compute Project heeft de Foundation onlangs een nieuwe richting aangekondigd. Ze geeft aan onder meer te gaan focussen op koeling, kunstmatige intelligentie, open silicon en glasvezel. Boven alles wil de Foundation open interfaces ontwikkelen, zodat componenten toegankelijker en makkelijker schaalbaar zijn, en moeten er nog meer partijen komen die complete Open Compute-oplossingen kunnen bieden.

Ook het kritische Uptime Institute ziet toekomst in opensourcehardware via het OCP, vooral nu er naarstig wordt gezocht naar nieuwe oplossingen voor het koelen van servers. "Dit zou weleens een kantelpunt kunnen zijn", zegt Andy Lawrence over het OCP en koeling. "De sector heeft vloeistofkoeling nodig. Die oplossingen zijn nu gepatenteerd, duur en kleinschalig. Als het OCP dat kan oplossen, is dat erg interessant."