Overheid VK investeert 225 miljoen pond in supercomputer met 5448 GH200-chips

De Britse overheid heeft toegezegd 225 miljoen pond te gaan investeren in de supercomputer Isambard-AI. Volgens de University of Bristol, waar Isambard ondergebracht wordt, moet dit de snelste supercomputer van het VK worden.

De machine wordt aangedreven door 5448 Grace Hopper-superchips van Nvidia, laat de University of Bristol weten. Deze GH200-chips combineren een H100-gpu met een Nvidia Grace-cpu op een enkele module van ongeveer 200 miljard transistors. Iedere Grace Hopper-superchip heeft 72 Neoverse V2-cpu-cores en 16.896 CUDA-cores. Dat betekent dat Isambard-AI in totaal meer dan 392.000 cpu-cores en ruim 92 miljoen CUDA-cores krijgt. Ook heeft het systeem bijna 25 petabyte aan opslag.

Daarnaast wordt genoemd dat de supercomputer meer dan 200 petaflops aan fp64-rekenkracht haalt op basis van de TOP500 Linpack-benchmark. Het systeem biedt ook 21 exaflops aan 'AI-rekenkracht'. De universiteit beweert dat er hiermee tot 200 biljard berekeningen per seconde uitgevoerd kunnen worden, en dat Isambard-AI daarmee op papier tien keer sneller is dan de huidige snelste supercomputer van het Verenigd Koninkrijk. Het systeem zou daarnaast in de top tien snelste supercomputers ter wereld terechtkomen.

Het is de bedoeling dat de machine in de zomer van 2024 in gebruik wordt genomen. Het systeem gaat dan gebruikt worden door een breed scala aan Britse organisaties voor AI-toepassingen, zoals het trainen van large language models, big data en robotica. Met deze investering wil het VK een wereldwijde leiderspositie verwerven op het gebied van AI, aldus de fabrikant van het systeem, Hewlett Packard Enterprise.

De supercomputer wordt ondergebracht in een zelfgekoelde en op zichzelf staande datacenter in het National Composites Centre. De locatie is gelegen in het Bristol and Bath Science Park, waar ook de eerder aangekondigde Isambard-3-supercomputer volgend jaar moet komen te staan. Voor laatstgenoemde heeft de Britse overheid eerder dit jaar 10 miljoen dollar beschikbaar gesteld.

Het National Composites Centre, waar de Isambard-AI-supercomputer volgend jaar ondergebracht moet worden

Reacties (43)

[downtime]

Voor wie zich afvraagt waarom het ding Isambard heet: https://nl.wikipedia.org/wiki/Isambard_Kingdom_Brunel

De man is in 2002 verkozen tot één-na-grootste Brit aller tijden: https://nl.wikipedia.org/wiki/100_Greatest_Britons

[Tapijtmepper]

En voor wie zich af vraagt wie Grace Hopper is.

https://nl.m.wikipedia.org/wiki/Grace_Hopper

Fantastische dame
https://www.youtube.com/watch?v=9eyFDBPk4Yw

[Keypunchie]

Ook de uitvinder* van de term "bug" :-)

*Of op zijn minst door haar populair geworden

[Reactie gewijzigd door Keypunchie op 23 juli 2024 21:00]

[boner]

Ze heeft iets meer om trots op te zijn.....
Een van de alleergrootsten in de IT wereld. Minstens vergelikbaar met Turing, Tim berners-lee, Moore, Dennis, Ritchie en 'onze eigen' Dykstra

[Keypunchie]

Je hoeft mij niet te vertellen wat een grootheid Amazing Grace is, hoor :-) Ik vind dit alleen een leuke voetnoot!

[Lord Anubis]

Ben eigenlijk wel benieuwd als 'alle' info over dat/een land ingevoerd wordt wat AI uitspuugt over wat het juiste beleid moet zijn voor dat land.

[thomasv]

En wie dan de AI vertelt wat goed beleid en wat slecht beleid is uiteraard, want een bias is snel geïntroduceerd en er is geen general purpose AI op het moment wat dat zelf uit gaat zoeken (machine learning all the way down).

[DigitalExorcist]

Strikt genomen zou je daar parameters voor kunnen invullen. Enquetes bij de bevolking van een gebied afnemen, over langere tijd, maar ook meetbare zaken zoals besteedbaar inkomen, armoede, criminaliteit, opleidingsniveau, werkgelegenheidscijfers, etc.

Daarna bouw je 3 onafhankelijk ontwikkelde AI-systemen met dezelfde datasets, en je laat elke beslissing afwegen door alle 3 de systemen - heb je een meerderheid aan stemmen van die 3 systemen over een bepaald punt? Dan is dat 'goed beleid'.

[Reactie gewijzigd door DigitalExorcist op 23 juli 2024 21:00]

[SillieWous]

Wie bepaald welke parameters?
Wie bepaald de weging van meetbare zaken?
En dan laat ik het feit dat dit allemaal tijdafhankelijk is er even buiten.

Je kan heel veel doen, dat betekent niet dat het ergens op slaat.

[DigitalExorcist]

Er is veel open data beschikbaar over bijv criminaliteitscijfers; inkomen, besteedbaar inkomen, huizenprijzen, dat soort werk. Alles wat beschikbaar is zet je in je trainingsset.

Wat “goed” is moet je eigenlijk ook democratisch laten bepalen, maar de meeste mensen vinden criminaliteit vervelend, maar een goed besteedbaar inkomen wél fijn.

[FreezeXJ]

Tja, en in 1800 was het idee van gelijke rechten, of zelfs stemrecht voor gewone burgers totaal absurd. Ze betalen amper belasting, en nu gaan ze wel een mening hebben over de regering? Kom nou! Toen iemand voorstelde om ook paarden te beschermen tegen mishandeling kwam het kabinet helemaal niet meer bij van de slappe lach. Toch ben ik blij dat er mensen tegen die algemene mening in gestemd hebben, op basis van overtuiging.

AI inzetten is net zo nuttig als een polling-bureau: afhankelijk van de vragen die je stelt krijg je andere antwoorden. Je kunt nooit alle vragen stellen, dus je krijgt een vooraf beinvloede subset van antwoorden.

Als laatste is er uiteraard een gewenst beleid, en is er een uitvoering die zelden voldoet aan het ideale plaatje. Ga je dat ook meenemen?

[Wraldpyk]

Als je dat inzet als trainingsset, dan krijg je bias. Namelijk, als iemand met een bepaald inkomen, in een bepaalde wijk, opgepakt wordt als verdachte van, bijvoorbeeld, diefstal, dan gaat het algoritme op basis van statistiek een bias hebben om deze persoon sneller als schuldige neer te zetten als wanneer iemand van exact dezelfde diefstal beschuldigd wordt, maar dan uit een rijke wijk komt en de persoon een hoog inkomen heeft.

Zie ook https://www.penguin.co.uk...hm-hello-world-hannah-fry

[syphx]

Je traint op het herkennen van patronen. Dat er een bias is/ontstaat is mijns inziens dan ook niet verkeerd. Bepaalde criminele activiteiten zal ook meer voorkomen in bepaalde doelgroepen.
De vraag zou vervolgens moeten zijn: “Wat maakt dat juist deze groep eerder in de criminaliteit beland”.

[rvt1]

Maar volgens mij dat niet een bias. Een bias, zoals Ik het begrijp laat iets zien dat er in werkelijkheid niet is. Dus incorrect getraind .
Als er dus een het systeem zegt dat een bepaalde groep meer crimineel is terwijl dat niet zo is in werkelijkheid, dat is een bias.

[syphx]

Het patroon wordt herkend in de data set dat in is gegeven en dat is er dus gewoon. Als de data set incompleet is kan je mogelijk een verstoord beeld krijgen.
De conclusie (ook in een volledige dataset) die er vervolgens uit wordt getrokken kan onjuist zijn.

Vandaar om één of meerdere lagen dieper te gaan.

Voorbeeld: mensen met een paarse huidskleur zijn vaker crimineel.
Dan kan je je afvragen hoe het komt dat criminaliteit vaker in deze groep voorkomt.
Kijkend naar de overeenkomsten in de parameters van deze groep (maar significant afwijkend van de andere groepen) geeft een goede richting om het probleem bij de bron aan te pakken.

Dus denk dat het goed kan werken mits je er goed gebruik van maakt. Maar geloof dat AI adviserend moet zijn en altijd gechecked moet worden door een mens.

[DigitalExorcist]

Het patroon wordt herkend in de data set dat in is gegeven en dat is er dus gewoon. Als de data set incompleet is kan je mogelijk een verstoord beeld krijgen.De conclusie (ook in een volledige dataset) die er vervolgens uit wordt getrokken kan onjuist zijn.

... maar dát lijkt me niet voorbehouden aan AI. Ook menselijk onderzoek heeft hier last van. Als jij een onderzoek doet ben je ook afhankelijk van de bronnen die jij raadpleegt. Als die incompleet of gekleurd zijn (en dat kan vrij makkelijk door je te laten beïnvloeden door je eigen denkwijze, politieke kleur, ervaringen en voorkennis of aannames) krijg je óók verkeerde uitslagen.

Daarom is het zo belangrijk om *open data* te laten analyseren door AI. Meetbare gegevens vanuit *zoveel mogelijk bronnen*. Dát is waar AI echt kan shinen. En tuurlijk, je laat een AI niet zélf wetswijzigingen doorvoeren, natuurlijk draag je geen bestuurlijke macht over - maar een AI kan prima onderbouwen op basis waarvan bepaalde keuzes geadviseerd worden. Laat een AI naar bronnen verwijzen en je krijgt er met gemak 100 tegelijk want de AI ként al die informatie. Maar dan ook ál die informatie.

[DigitalExorcist]

Maar je trainingsset moet bestaan niet alleen uit 'verdachten' maar ook 'daders'. Je bent pas dader als de rechtbank je schuld aantoonbaar vindt. En wát blijft er dan aan bias over?

Je zou kunnen stellen dat het 'goed beleid' is om op sommige momenten of locaties extra politie-toezicht te houden, of andere preventieve maatregelen te treffen.

"Verdacht worden van..." is één ding, maar schuldig zijn aan... is een ander ding. En zakkenrollen is wat anders dan witteboordencriminaliteit zoals belastingontduiking, wat je toch vaker tegenkomt bij mensen met een hoger inkomen. (Of bedrijven).

[SillieWous]

Oh ja, want zo werkt het. Meer inkomen==goed, minder criminaliteit==goed, etc. Er is totaal geen wisselwerking tussen factoren, en je kan altijd zeggen A moet omhoog/omlaag en B moet tegelijk omhoog/omlaag.

[DigitalExorcist]

Juist. De AI kan dus prima ingezet worden om de verbanden te zoeken, en daarom is het dus belangrijk om zoveel mogelijk data te hebben. Heeft meer inkomen bijv. te maken met scholing? Hoeveel budget gaat daar heen, wat is het uitvalspercentage, wat zegt de inspectie maar ook: wat zeggen docenten en leerlingen zelf over hun (leer)omgeving? Krijgt iedereen dezelfde kansen, zo niet, waarom niet en wat is daar nodig?

Soms krijg je op basis van dat soort vragen en data ook verrassende inzichten in waarom iets wel of niet goed werkt. Alles heeft een oorzaak, en ook gevolg(en). AI is juist erg goed in het correleren van dit soort dingen en zeker als je het niet op één gemeente focust, maar álle gemeenten in bijv. Nederland of de Benelux of groter verband naast elkaar legt. Waarom wordt het Gooi als 'rijk' gezien en Winschoten niet? Waarom is de Schilderswijk vaak negatief in het nieuws maar hoor je nooit iets uit Tytsjerksteradiel ?

En "perfect" ga je het nooit krijgen. Maar er is ongetwijfeld een model te vinden waar de mééste mensen baat bij hebben. En hoe hoger dat percentage, hoe beter. En op een gegeven moment houdt dat op. Als het 1 miljard kost om 0,1% hoger te komen kun je ook bepalen dat dát niet tegen de kosten opweegt. Ergens zit een natuurlijke grens. En dat 'ergens' is te berekenen.

EDIT:

Dit is wat Bing Chat er zelf van zegt:

(...)

Ja, als de data geanonimiseerd is en er regelmatig enquêtes worden uitgevoerd om de trainingsset te verrijken, dan kan een AI-model inderdaad waardevolle inzichten en adviezen geven. Het is belangrijk om te onthouden dat AI een hulpmiddel is dat mensen kan helpen bij het nemen van beslissingen, maar het uiteindelijke oordeel moet altijd bij de mens liggen.

AI kan patronen en trends identificeren die voor mensen moeilijk te zien zijn. Het kan ook scenario’s simuleren en de mogelijke uitkomsten van verschillende acties voorspellen. Dit kan beleidsmakers helpen om beter geïnformeerde beslissingen te nemen.

Echter, zoals je al aangaf, zou de AI altijd adviserend moeten zijn en geen beslissingsbevoegdheid moeten hebben. Dit is om ervoor te zorgen dat de menselijke factor niet verloren gaat in het besluitvormingsproces en om eventuele fouten of vooroordelen in het AI-model te compenseren.

Het is ook belangrijk om te onthouden dat, hoewel AI krachtige voorspellingen kan doen, het nog steeds afhankelijk is van de data die het krijgt. Als de data onvolledig, verouderd of bevooroordeeld is, dan zullen de voorspellingen van het AI-model dat ook zijn. Daarom is het essentieel om ervoor te zorgen dat de data die wordt gebruikt om het model te trainen zo nauwkeurig en representatief mogelijk is.

[Reactie gewijzigd door DigitalExorcist op 23 juli 2024 21:00]

[carlo]

'goed beleid' verandert continu, je zal zo'n AI dus continu moeten blijven voeden met nieuwe data. Degene die bepaalt welke data er wel/niet in gaat heeft daarmee enorme macht op welk beleid de AI zal uitspugen.

Het klinkt allemaal heel wetenschappelijk verantwoordt, toch zit daar een enorm risico, denk aan de toeslagenaffaire (doel was menselijke willekeur uit het proces te halen maar het middel was erger dan het kwaad).

Ik ben geen voorstander van een AI die hierin leidend zou zijn. Prima als zo'n systeem aanbevelingen doet, maar een gekozen vertegenwoordiging moet de uiteindelijke beslissingen nemen.

[svenk91]

Een AI als ChatGPT? Die gaat waarschijnlijk op de oude lijn door. De meeste AI doet nog altijd aan interpolatie of extrapolatie.

[DigitalExorcist]

Moet je álles wat enigszins te maken heeft met openbaar bestuur ook daadwerkelijk opensource maken. Er is in NL heel veel open data beschikbaar, ik ben inderdaad ook wel nieuwsgierig wat er zou gebeuren als je ál die data bij elkaar in één model zou gieten en een LLM erop los zou laten. Wat zou je dan voor onverwachte resultaten krijgen..

[MRIdev]

42

[PFY]

Die moest ik even opzoeken

[Scriptkid]

42

Damd @MRIdev was me net voor

[Reactie gewijzigd door Scriptkid op 23 juli 2024 21:00]

[Vlizzjeffrey]

Daar ben ik echt niet benieuwd voor, als je ziet dat AI al faalt voor veel simpelere zaken dan wat jij voorsteld.

[BadRespawn]

Ben eigenlijk wel benieuwd als 'alle' info over dat/een land ingevoerd wordt wat AI uitspuugt over wat het juiste beleid moet zijn voor dat land.

Je kan chatgpt ook vragen een beleidsdocument te produceren, maar het is helemaal de vraag ik ook een meer geavanceerd LLM slim genoeg is om wat dat betreft iets nuttigs te produceren.

[MrMonkE]

286 Miljoen in Euro.
Ik wist niet dat je voor dat geld in de top 10 kan komen.

[Scriptkid]

met 67 miljoen inwoners betaald dus elke burger 4 euro aan dit systeem,

Of 16 euro per gemiddeld huishouden

[MrMonkE]

En het laten draaien zal ook een flinke duit kosten.

[downtime]

Zo te zien is het maar één onderdeel van een grotere investering van 900 miljoen pond: https://www.bristol.ac.uk...eptember/isambard-ai.html
Die 225 miljoen zal wel alleen voor dit ene systeem zijn.

[dmantione]

Ik heb er een idee dat er een ernstige tulpenmanie aan het ontstaan is naar de topmodellen van Nvidia. Kaarten van €30000 per stuk. Hoe nuttig kunstmatige intelligentie ook is, over twee jaar is dit verouderd en waardeloos. Hierin grote bedragen investeren is kapitaalvernietiging vergelijkbaar met hyperinflatie, maar dan in de spullen die je koopt die in enorm tempo waardeloos worden.

[downtime]

Klopt. Maar als je twee jaar wacht op lagere prijzen heb je de kans om serieus mee te doen in deze tak van sport alweer gemist. En het is voor de kleinere landen sowieso al een stuk moeilijker dan voor landen als de VS of China.

[dmantione]

Kwestie is denk ik niet van niet meedoen: Er wordt geen rekenkracht gehamsterd i.p.v. kijken naar de behoefte. Maakt niet uit welke prijs gevraagd word, het wordt gretig neergeteld in de angst de boot te missen. Dat blijk achteraf vaak niet zo verstandig.

[Webaccess]

Ik vermoed dat met de vraag naar steeds meer rekenkracht de bedrijven/overheden niet de luxe hebben om te wachten totdat dit mainstream wordt. De snelle afschrijving of technisch minder relevant worden van deze apparatuur is dan ook van beperkt belang.

Twee maal zoveel apparatuur met 'slechts' de helft dat van rekenkracht tegen de helft van de kosten zou wellicht een rekensom waard kunnen zijn maar als je ruimte (racks/gebouw), energie en mogelijk toekomstige upgrade mogelijkheden ook mee gaat nemen wordt het verschil volgens mij al weer een stuk kleiner.

[Maurits van Baerle]

De kosten van de apparatuur, en de absoluut gigantische energiekosten, maken dat de grote LLM modellen op dit moment verlieslijdend zijn. Microsoft's CoPilot betaal je $10 per maand voor maar kost hen tussen de $20 en $80 per maand. So Far, AI Is a Money Pit That Isn’t Paying Off

Maar goed, ik denk niet dat dit computersysteem voor LLMs gebruikt gaan worden. Ik verwacht dat het serieuzere toepassingen gaat krijgen.

[MSalters]

Klopt, maar AI is een gebied waar de jaarlijkse vooruitgang nog erg hoog is. En gezien het "winner takes all" effect in tech wil Microsoft nu al de markt veroveren, zodat ze gebeiteld zitten wanneer de kosten onder de $10/maand duiken. Vanaf daar is het dikke winst.

[DaveFlash]

skynet wordt dus brits, interessant...

[vinkjb]

Kunnen ze beter aan de bevolking of britse zorg geven, het gaat superslecht daar.

[Maurits van Baerle]

Dat het hier dramatisch slecht gaat ben ik direct met je eens, maar om dan helemaal geen fundamentele investeringen te doen gaat ook wel ver. Laten we niet vergeten dat de begroting van de Britse regering ook wel een stuk groter is dan die van Nederland dus dat half miljard investeren hier een kleinere deuk in de begroting slaat dan in Nederland.

[vinkjb]

Eens...

[Roel1966]

Zit mij zo af te vragen wat dan het nut van zo'n supercomputer is en waarvoor die dan ingezet gaat worden en vooral wie er dan gebruik van gaat maken. En tja ergens zegt mij een stemmetje dat dit meer een prestige project is dan dat het daadwerkelijk zinvol is.

Evenzogoed zou ik wel eens dan de afmetingen willen zien van zo'n moderne supercomputer en dan een vergelijking met een supercomputer van jaren terug.

[DigitalExorcist]

Het is gewoon een serverruimte vol met racks met servers. Dat er wat slimme interconnects tussen zitten om al die racks aan elkaar te knopen maakt het een supercomputer

Maar er staat toch vrij duidelijk waar het voor bedoeld is? LLM's (Large Language Models), andere AI-toepassingen en robotica. Big data verwerken. Trainen van AI-modellen, noem maar op.