'Mark Zuckerberg wil algemene AI ontwikkelen met 350.000 H100-gpu’s'

Mark Zuckerberg zou volgens The Register plannen hebben om een algemene AI te ontwikkelen. De ceo van Meta wil daar tegen het einde van dit jaar minstens 350.000 Nvidia H100-gpu’s voor inzetten.

Meta zal volgens The Register ook andere chips aanwenden om zijn algemene kunstmatige intelligentie te trainen, ofwel AGI. Bij algemene kunstmatige intelligentie is een AI-model beter in de meeste economisch waardevolle taken dan mensen. Het Amerikaanse techbedrijf zou over een totale computercapaciteit willen beschikken die te vergelijken valt met ongeveer 600.000 H100-gpu’s. Over welke andere chips of gpu’s het dan gaat, is niet duidelijk. Begin 2022 toonde Meta al een AI-supercomputer met 16.000 Nvidia A100-gpu’s.

Meta werkt al enkele jaren aan eigen AI-modellen. Het bedrijf wil generatieve AI toevoegen aan al zijn producten. Ceo Mark Zuckerberg verklaarde in de zomer van 2023 nog dat hij de werking van AI-algoritmes openbaar beschikbaar wilde maken. Het techbedrijf bracht al verschillende taalmodellen uit die wetenschappers vervolgens kunnen gebruiken om onderzoek op uit te voeren.

Nvidia Hopper H100
Nvidia Hopper H100

Door Jay Stout

Redacteur

20-01-2024 • 12:37

183

Lees meer

Reacties (183)

Sorteer op:

Weergave:

Ai voor medische doeleinden zou ik wel steunen. Ik vrees dat we de komende tijd nog meer kerncentrales moeten gaan inzetten voor deze hongerige ai tijdperk.
Daarnaast, gaan we dit allemaal inzetten voor het verbeteren van het levenskwaliteit of om rijker te worden?
Gebruikt AI meer stroom dan cryptomining?
Nee, maar AI zou in theorie praktisch nut kunnen hebben.
In de praktijk toch ook? Begreep dat het voor het ophelderen van het vouwen van eiwitten succesvol was ingezet. Ben best wel crypto-fan, maar dat zie ik door crypto niet gebeuren. disclaimer: ik kan er naast zitten
Nou, crypto is leuk voor speculanten. Na al die jaren is er verder niets nuttigs gebeurd.

AI kan gebruikt worden voor nuttige zaken zoals je zegt. Er is veel potentie. Maar de kans is ook aanwezig dat het potentieel niet of slecht gebruikt wordt.
AI zal crypto gebruiken als alle banken niet snel met APIs komen om de toekomstige persoonlijke AIs te ondersteunen met het regelen van allerlei zaken zoals het betalen van rekeningen of automatisch aankopen van zaken tegen beste prijs etc.
Wie gaat mij voorzien van een persoonlijke AI? En hoe gaat die zelf bepalen waarmee die betaalt?
De Amazon's, Googles en Meta's zijn goede kandidaten en die zullen oplossingen vinden om autonome elektronische betalingen te gaan doen met AI om het leven makkelijker te maken, natuurlijk met een soort van (voor)autorisatie van de gebruiker.
En bedenk dat crypto een hele algemene term is, dat kan ook het elektronische crypto geld van de Nederlandse centrale bank zijn.
Oh vast. Maar die hebben zich al lelijk verkeken op hoe ze geld kunnen verdienen met zulk spul. Geruchten over Alexa Plus al gehoord? En de reacties daar op?
Big Tech zal voorop (blijven) lopen bij de ontwikkeling van technologie die jouw en mijn geld op hun rekening kan krijgen.
Hoe breed is die term dan? De huidige euro is geen crypto want?…
Er zijn al API's om automatisch betalingen te doen via de banken, die kun je al gebruiken vanuit tal van omgevingen, waarom zou een AI omgeving een eigen API van de banken nodig hebben?

En dan gaat de AI met crypto betalen... wie gaat dat dan nu opeens accepteren? Zie nog steeds geen optie bij Amazon, Bol, AH, Jumbo, Hema, Shell, Nuon etc etc etc om betalingen met crypto te accepteren.
Ik zou gokken op AI want: iedereen gebruikt het straks, de hele dag, dus de schaal is nog groter dan crypto. AI gebruikt altijd meer resources gok ik zo: je kunt op een Commodore 64 nog bitcoins minen: https://github.com/ytmytm/c64-bitcoin-miner
Uiteindelijk zal AI hopelijk er ook voor zorgen dat AI en crypto beide efficiënter worden, maar dat het de komende tijd een berg extra energie zal kosten staat volgens mij al vast.
Je kan op een Commodore ook wel AI-zaken draaien. Dat er een miner is geschreven, wil niet zeggen dat minen daarom minder werk kost. Het duurt beiden onredelijk lang, en de resultaten zijn ook een stuk minder.
Ik las laatst dit artikel daarover (niet echt hoopgevend):
https://www.theguardian.c...rbon-intensive-technology
Die H100 lust wel wat stroom, meer als een crypto mining kaart.
De H100 mag volle kracht werken, voor crypto proberen ze altijd zo laag modelijk voltage en verlaagde kloksnelheden te draaien,
Misschien een POA (proof of AI) gebaseerde coin invoeren. Twee vliegen in één klap.
Dat zou een serieus probleem van (veel ) crypto oplossen: proof of work - Bitcoin vraagt per definitie om steeds meer verspilde energie. (Nu kun je ook discussiëren over het nut van AI, maar dat is (al dan niet) verspilling op een ander niveau.)
Het was eigenlijk als grap bedoeld.... er bestaan natuurlijk al langer zuinigere protocollen zoals PoS.
Het probleem is dat munten zoals BTC niet willen veranderen naar een zuinig protocol. Daar gaat nooit een meerderheid onder de miners voor gevonden worden, want die beslissen uiteindelijk.
Is er echt een verschil tussen rijker worden en het verbeteren van de levenskwaliteit?
De historie laat zien dat die twee hand in hand gaan.
Niet tijdens de vorm van hyperkapitalisme die we nu zien. Mensen hebben minder te besteden de laatste jaren, terwijl de rijken wel rijker worden.
De hardware kant is wat traag om te reageren, maar ze is wel naar hun standaarden heel snel aan het bijsturen.

AI draait nu nog veel op chips die het wel kunnen, maar er niet specifiek voor gespecialiseerd zijn. Maar nieuwe aangekondigde chips van heel wat partijen gaan al meer gespecialiseerde AI rekenkracht krijgen. De energiekost per AI toepassing, zal dus wel naar beneden gaan.
Om het draaiende te krijgen op mobiel, moeten ze wel heel sterk op efficiëntie inzetten. Je steekt geen 200W verslindende GPU in een smartphone.

Het is ook beter niet blind te staren op de supercomputers die de grote bedrijven maken om AI onderzoek te doen en basismodellen te trainen. Er zijn er een aantal nodig, maar het is niet dat dergelijke schaal voor gewone AI toepassingen nodig is. Eenmaal het model er is, heb je al veel minder nodig om het te draaien. En de open source gemeenschap heeft ook fantastische dingen gedaan om het op veel lichtere hardware aan de praat te krijgen. Op een 3090 draai je nu iets wat de beste systemen van 5 jaar geleden volledig verslaat.
Tesla heeft al zelf ontwikkelde chips die de neural nets in hun auto's draaien. Alles wat sinds Maart 2019 gebouwd is heeft deze chips erin.
AI kan dadelijk ook enorm veel arbeid vervangen, dat brengt enorm veel voordeel met zich mee.
Ja het kost veel stroom maar bekijk het van de positieve kant, de stroomproductie gebeurd ook steeds efficiënter en er komen op termijn ook weer nieuwe manieren om energie op te wekken dat weet ik zeker, technologie staat nooit stil.
Ipv kerncentrales zouden ze zich meer kunnen richten op Thoriumcentrales, dat gaat nog wel even duren eerder er één staat maar het biedt wel perspectief op een goed alternatief voor schone energie
Ook in medische kringen begint er pushback te komen. Zie dit artikel in JAMA, toevallig van Nederlandse medici: https://jamanetwork.com/journals/jama/fullarticle/2814246
Deze hongerige AI tijdperk zal waarschijnlijk 'het' nieuwe normaal gaan worden , ik zie het niet snel veranderen. Je moet echter niet vergeten dat het ook veel nieuwe kansen met zich mee brengt. Denk aan het drastisch versnellen van onderzoeken naar betere en meer structurele bronnen van groene energie. AGI wordt een wonder oplossing voor vele wereldse uitdagingen, als we onszelf en de technologie in toom kunnen houden.

Mijn vrees voor de toekomst is niet direct de natuur en ons leefomgeving. Meer wat de honger naar 'verbetering' met ons mensen gaat doen. We zinken steeds sneller naar een artificiële wereld dat vorm wordt gegeven door algoritmes en AI. Ik zie een hele nieuwe generatie psychologische aandoeningen opduiken. Digitale zombies die het leven niet meer aankunnen zonder digitale interfaces. Mensen die verwent zijn aan systemen die ze altijd geven wat ze denken nodig te hebben. Veel succes met het onderhouden van 'echte' relaties met mensen van vlees en bloed.
Je mag er toch van uit gaan dat 350.000 AI-processors intelligent genoeg zijn om hun eigen energiehongerprobleem op te lossen?
Als ze een beetje slim zijn maken ze zichzelf overbodig.
Voor veel extra kerncentrales zijn er onvoldoende grondstoffen - zoals Uranium - beschikbaar. Daarnaast is de stroomprijs van nieuwe kerncentrales een factor 2 duurder.
Meer kerncentrales is niet de vervangings oplossing voor de 'totale' - toekomstige stroomopwekking - helaas.
Waarom nog inzetten op vervuilende technologie - terwijl er vele malen schonere en op termijn zelfs goedkoper op termijn.
Note 1: bij het kiezen voor nieuwe technologie - kan deze technologie juist ook worden doorontwikkeld. Als je in enkel in oudere (kernenergie) investeert... is er geen noemenswaardige ontwikkeling in de nieuwe technologie.... Vroeg of laat moet het toch - dus de ontwikkeling moet wel op èn - èn / hybride zijn - opdat er in de loop van decennia's een goed transitie pad is gewaarborgd.
Note 2: Afschaffing van de slavernij - was ook een No Go onderwerp. Het werkte prima, niet duur, waren genoeg mensen, prima verdienmodel!

[Reactie gewijzigd door g_v_rijn op 23 juli 2024 17:32]

Mss eerst het rapport lezen alvorens hier leugens te verkondigen. Er lijkt meer dan voldoende grondstoffen en de zoektocht naar nieuwe mijnen is zelfs gestopt net omdat er zoveel reserves zijn.

https://www.oecd-nea.org/...and_2020__web.pdf#page112

Het IPPC zegt zelf dat voor veel landen kernenergie nodig is in de energiemix om de klimaatdoelstellingen te halen. Dus laat die ‘helaas’ maar weg want het klopt voor geen meter.

https://unece.org/climate...if-nuclear-power-excluded

https://www.brightblue.or...ll-be-to-get-to-net-zero/
Als je liever geen kerncentrales ziet, dan zullen we in plaats daarvan een hele zooi kolencentrales neer moeten zetten. 8)7
Daarnaast, gaan we dit allemaal inzetten voor het verbeteren van het levenskwaliteit of om rijker te worden?
Rijker worden.
Gezonde mensen leveren niks op.
Mensen moeten echt gaan snappen dat grote multinationals helemaal niks om mensen geven.
Gezonde mensen leveren niks op.
Pardon? Dit is echt de grootste onzin die ik ooit gelezen heb. Ongezonde mensen hebben een ander bestedingspatroon, ja dat klopt (meestal). Maar ongezonde mensen geven ook veel minder geld uit aan alle andere dingen.

In Nederland hechten we zoveel waarde aan een gezond leven dat daar per gezond levensjaar €80.000 voor tegenover staat. Een gezond leven telt als €3-7 miljoen. Gezonde mensen werken meer, verdienen meer en geven meer uit in de economie.

Als je wappie wilt gaan uithangen met allemaal 'hurr durr, schaduworganisaties en complotten' moet je het tenminste wel goed doen.
Je had prima kunnen bedenken dat dit voor de gezondheidszorg en de bedrijven die daarin werken dus zeker wel het geval is. Die sector noemt degene waar je op reageert immers. En anders had je ook kunnen nagaan dat dit voor bepaalde sectoren wel zo werkt.

Dat is al een reden om geen “onzin” te gaan lopen roepen. Laat staan dat je over wappies en complotten begint.
Dat jij geen nuance kunt aanbrengen in een uitspraak wil niet zeggen dat de ander het gelijk over complotten heeft. Even iets minder zwart-wit in de wedstrijd zitten graag!

De Pfizer’s van deze wereld zullen ziekten echt niet willen oplossen met een pilletje als ze je ook levenslang aan een stapel medicijnen kunnen helpen.

[Reactie gewijzigd door White Feather op 23 juli 2024 17:32]

Helemaal mee eens, maar wat Pfizer wil gebeurt niet altijd - daar hebben we concurrentie voor. Dingen als het achterhouden van medicijnen enzo is zo economisch dom dat dat echt niet gebeurt. Denk alleen al aan het feit dat patenten maar beperkt geldig zijn en het soms nog best lastig is om de productie van medicijnen snel genoeg op te schalen om de enorme investeringen terug te verdienen… een medicijn dan nog niet op de markt brengen kost potentieel tientallen, zo’n niet honderden miljoenen. En dan hebben we het nog niet over concurrentie die best wel eens, terwijl jij wacht, met een vergelijkbaar medicijn kan komen. Dan verdien je de honderden miljoenen die je in ontwikkeling en testen hebt gestopt gegarandeerd nooit terug.

Kortom, terwijl de medische sector volop ranzige dingen doet, zijn het vrijwel nooit de simpele, naïeve dingen waar de conspiracy denkers zich druk om maken…
Nuance is deze tijd niet aanwezig. Je bent of kamp "schaap" of kamp "wappie", alles ertussenin bestaat niet meer. Ik vraag me echt serieus af hoe en wanneer dit zo is gekomen. Blijf het verbazingwekkend vinden hoe er in beide "kampen" ontzettende knee jerk reacties zijn, en die van @Maximus Dominus is daar echt een schoolvoorbeeld van.

Toch wel mooi dat jij die nuance dan wel weer weet te leggen en daarvoor verdien je alle credits.
Helemaal mee eens.
Ik had wel wat duidelijker moeten/kunnen vermelden dat ik het heb over gezondheidzorg.
Gezonde mensen leveren inderdaad niks op in context met medische doeleinde. 'Gezonde mensen' zijn namelijk niet medisch.
Nee, maar mensen preventief gezond houden kan wellicht net zoveel opleveren als behandeling of medicatie.

Met periodiek gen-therapie zouden mensen in theorie biologisch jong (en bij gevolg dus gezond) gehouden kunnen worden. Er rust onterecht nog een taboe op deze aanpak, maar ik denk dat mensen hier best geld voor over hebben, net zoals ze nu geld over hebben voor behandeling van kanker en cosmetische ingrepen.
Begin eens met mensen leren koken….. gewoon gezonde voeding doet heel veel, ook zonder extreme vegan of zelfs vegetarische diëten
Leefstijlverandering houden mensen niet permanent gezond. Gezond eten en bewegen zorgt hooguit voor enige vertraging van slijtage (veroudering) en is ook nog eens sterk afhankelijk van iemands genetisch profiel. Het zogenaamde "gezond gedrag" levert daarom hooguit een paar extra gezonde jaren op maar er komt altijd een punt dat de slijtage zodanig is dat een vitale functie het gaat begeven. Veelal is dat door kanker.

Het beste wat een gezonde leefstijl bereikt is uitstel van executie en daarom geen goede oplossing. We moeten inzetten op gen-therapie om slijtage te repareren en genetisch aanpassen van menselijk DNA om erfelijke aandoening uit de genenpool te krijgen. Helaas loopt de wetgeving in Nederland hopeloos achter om hier zelfs maar goed onderzoek naar te kunnen doen.

[Reactie gewijzigd door ari3 op 23 juli 2024 17:32]

En dan leven we (of althans: de mensen die het kunnen betalen) 500 jaar. Strak plan 8)7
Geen idee hoe je komt tot gen therapie als oplossing, wellicht door preprints als deze. Als iemand die ooit een master thesis heeft geschreven over (somatische, AAV9 gebaseerde) gen therapie, durf ik wel te stellen dat gen therapie, weliswaar toepasbaar bij ernstige aandoeningen, zeker niet iets is dat je algemeen wilt gaan toepassen.
Daarvoor zijn de risico's domweg te groot. tl;dr je moet aan immuun repressie gaan doen......na delivery van de vector. Laat staan als je een hele keten aan Yamanaka factoren wilt gaan toevoegen in je vector (als dat al mogelijk is.)

Daarnaast stel je dat:
Het zogenaamde "gezond gedrag" levert daarom hooguit een paar extra gezonde jaren op maar er komt altijd een punt dat de slijtage zodanig is dat een vitale functie het gaat begeven.
Wellicht is het gewoon een goed idee te accepteren dat wij allemaal eindig zijn. Als je oude mensen spreekt (ik doe vrijwilligerswerk in een verzorgingstehuis) dan weet je dat dat OK is. Verveling, het gevoel uitgerangeerd te zijn, ook al ben je vitaal, is voor velen echt een probleem. Daar kan jij, ja jij, ook iets aan doen, overal vragen ze nog vrijwilligers voor ouderen activatie.
In Nederland hechten we zoveel waarde aan een gezond leven dat daar per gezond levensjaar €80.000 voor tegenover staat. Een gezond leven telt als €3-7 miljoen. Gezonde mensen werken meer, verdienen meer en geven meer uit in de economie.
Dit vind ik dus de grootste onzin want gezonde mensen geven juist niet veel uit in de economie, enkel zijn eigen spaarrekening wat maar blijft staan. Er zijn teveel variabelen om de stelling te onderbouwen zoals je hierboven hebt beschreven.
Gezonde mensen gaan op vakantie, gaan eten, knappen hun huis op, veranderen regelmatig iets in het interieur, eten over het algemeen duurdere producten (zijn vaak gezonder) etc. En gezonde mensen zijn netto betalers aan de economie, daar waar ongezonde mensen netto ontvangers zijn.
Grappig dat je stelt dat hij onvolledig is terwijl je zelf juist de allergrootste aanname doet; "gezonde mensen sparen vooral en geven weinig uit".

Dus in restaurants zie jij vooral ongezonde mensen om maar iets te noemen, immers gezonde mensen potten op. Of hoe kom je anders tot deze sterke statement?
Pft. Gezonde mensen geven alleen al veel meer aan eten uit, want gezond eten is een stuk duurder dan ongezond eten. Daarnaast hebben ze meer sport nodig, Uitjes en luxe voor het mentale welzijn, enzovoort enzovoort.

Je kan het altijd de kant op kletsen die je wil. Zonder enige vorm van statistiek of andere bron is zo'n uitspraak zinloos.
Ik geef je wel gelijk.. maar het is natuurlijk niet zo dat een ongezondere levensstijl bijdraagt tot een slechtere economie.. de economie redt zich wel ---reagan
Het lijkt wel of je zijn comment bewust verkeerd leest om het over ‘wappies’ te kunnen gaan hebben. Hij zegt er zelfs nog meteen na dat het over grote multinationals gaat. En in die context is het gewoon waar. Het gaat helemaal niet over regeringen die zoveel mogelijk gezonde arbeidsjaren willen, het gaat over de oliemaatschappijen, de sigarettenindustrie, maar ook over Facebook en Google en Amazon die willen dat je blijft kopen en kopen, en creditcardmaatschappijen die het fijn vinden als je maximaal leent. En dit soort grote bedrijven zullen de eersten zijn die dit soort technologie kunnen gaan inzetten. Hell, het artikel noemt dat zelfs! Dus zeer slecht en denigrerend commentaar over ‘wappies’ van je.
[...]
In Nederland hechten we zoveel waarde aan een gezond leven dat daar per gezond levensjaar €80.000 voor tegenover staat. Een gezond leven telt als €3-7 miljoen. Gezonde mensen werken meer, verdienen meer en geven meer uit in de economie.
Door AI gaan er een massa jobs verdwijnen en vooral kantoorjobs. Hoe gaan mensen dan meer gaan werken als AI alles overneemt voor de grote rijken ? Dan het feit meer verdienen snap ik ook niet zo goed ? Als er op 10 mensen 7 hun job verliezen, hoeveel loon moeten deze overblijvende 3 dan verdienen om de rekeningen te betalen voor gans het gezin ?
Snap niet dat mensen het gevaar niet zien dat AI met zich meebrengt ? Worden we dan zo sterk gebrainwashed door die superrijken, die enkel het doel hebben rijker te worden en de rest armer maken ?
Snap niet dat mensen het gevaar niet zien dat AI met zich meebrengt ? Worden we dan zo sterk gebrainwashed door die superrijken, die enkel het doel hebben rijker te worden en de rest armer maken ?
Precies en ondertussen zijn de armen totaal losgeslagen op AI met vraagstellingen zoals 'hoe kan ik zo snel mogelijk rijk worden' :+
Wat een nieuwe (technologische) ontwikkeling gaat brengen en hoe we het gebruiken, hoef je in principe niet over te filosoferen. “All of this has happened before, and it will all happen again.” *

We maken snel de denkfout dat de mogelijkheden van AI gaat bepalen hoe we het gaan gebruiken, maar het is uiteindelijk altijd de menselijke motivatie die dat bepaalt.

Of je nou een recente ontwikkeling neemt zoals de opkomst van internet, of de ontwikkeling van de verbrandingsmotor, er is een zeer vast patroon in hoe het wordt gebruikt/misbruikt.

Het begint als een technische niche, daarop zullen er nuttige ontwikkelingen plaatsvinden, kwaadaardige, er zal geld mee verdiend worden, het zal gebruikt worden als machtsmiddel en het hele riedeltje Zoals bv ook met de ontwikkeling van het internet is gebeurd.

En als je de laatste alinea neemt, zie je dat het niet inherent aan de technologie is hoe het wordt gebruikt, maar aan hoe de mens denkt het te willen gebruiken.

* J.M. Barrie , Peter Pan (ook gebruikt in Battlestar Galactica).
Meer mensen kopen meer, daar kan je dus meer aan verdienen, zeker voor een Amazon interessant die van alles verkoopt. Ik vermoed dan ook dat verschillende van deze enorme multinationals hierom juist investeren in ruimte ontdekking, zodat men sneller mensen heeft op andere hemellichamen, zodat de bevolking nog groter kan worden zodat ze met 100 jaar nog meer meuk aan nog meer mensen kunnen verkopen.

Niet alleen multinationals geven weinig om mensen (voorbij dat men ze als klant wil hebben die zoveel mogelijk bij ze uitgeeft), mensen (waar die multinationals ook uit bestaan) geven ook relatief weinig om 'mensen', hoogstens die mensen die ze kennen en leuk vinden in hun beperkte omgeving. Maar mensen die om 8+ miljard andere mensen geven, dat is tot op heden nog steeds niet gebeurd...
Zoveel verbruik is toch wel belachelijk. Een H100 verbruikt 700 watt en daar gaat hij er dus 350.000 van gebruiken.
Uw 'grote' multinationals aanname - zou betekenen dat 1 dief iedereen tot dief bestempeld. Onwaar èn ook nog eens cynisch. Er is veel meer variatie in denken èn handelen dan de door u geschetste uiterste standpunten en aannames.
Je begon aardig maar met je tweede alinea plaats je je direct in het kamp wappie/complotdenker. Probeer het nog eens. Maar als het waar is: laat de bewijzen eens zien. En nee, ik ga niet zelf zoeken.
De eenvoudigste uitleg kan je hier vinden: https://www.ftm.nl/waterwerk

Waarom zou een aandeelhouder behoefte hebben aan de krimp van een organisatie en een krimp van de waarde van de portefeuille? Ik denk dat het interessanter is voor jou om een aandeelhouder aan te wijzen die verlies en mooidoenerij prioriteit geeft? Ik kan er 1tje aanwijzen en dat is ABP maar dat is geld van anderen daar maakt de waarde van de portefeuille niet uit.
Wanneer je je in die hoek begeeft heb je het al snel over een aantal “filantropen” die wonder boven wonder toch elk jaar rijker worden.

[Reactie gewijzigd door henk pieters op 23 juli 2024 17:32]

Waterwerk is een mooi verhaal, maar sluit niet aan bij mijn eigen ervaring. Uiteraard is dan een N=2 (mijn vrouw telt ook mee), maar wel relevant. Toen ik 18 was, had ik eigenlijk niks: geen opleiding, baantje als ober, klein kamertje en dat was het. Vervolgens altijd keihard gewerkt, 60 tot 80 uur per week was normaal, kwam m’n vrouw tegen die ook niks had en uit een echt arme familie kwam, maar ook keihard werkte. Nu hebben we een uitstekend inkomen, meer huizen, meerdere auto’s, boot, etc. kan niet op. Reden? Hard en slim werken. En vooral niet wachten of verwachten dat een ander het wel voor je doet. Jij wil een miljoen usd per jaar verdienen? Hoe ga je dat doen, wat is je plan en welke stappen moet je zetten om daar te komen? Met een baan van 9 tot 5 kun je dat wel vergeten
volgens mij reageer je op iemand anders.
Kerncentrales zijn niet per definitie verkeerd. Kernenergie lijdt ook tot meer studies en kennis zodat kernfusie dichterbij komt. Ook kan kernafval van moderne kerncentrales in de toekomst worden hergebruikt bij kernfusie zodat de halfwaarde tijd van het afval wordt teruggedrongen naar +_ 300 jaar.

Stel je voor, geen fossiele brandstoffen, geen vervuilende windmolens en zonnepanelen, maar schone oneindige energie. En wanneer AI maar 1 procent kan bijdragen aan dit scenario is dat al mooi.
Mee eens... stel je voor dat we een extra kerncentrale moeten bijbouwen en daarvoor in de plaats een door AI ontwikkelde volledig cleane energiebron zouden ontdekken.
Ook kan kernafval van moderne kerncentrales in de toekomst worden hergebruikt bij kernfusie zodat de halfwaarde tijd van het afval wordt teruggedrongen naar +_ 300 jaar.
Vrij duidelijk weet je niet wat kernfusie nodig heeft en hoe transmutatie werkt.

Je optimisme is mooi, maar ik geloof dat je je een heel stuk meer in de materie moet verdiepen.
Ik ben erg sceptisch over deze uitspraak:
Kernenergie lijdt ook tot meer studies en kennis zodat kernfusie dichterbij komt.
Het bedrijfsleven is nu al terughoudend om te investeren in kernenergie. De ROI is enorm hoog. De overheid moet flink in de buidel tasten om het gat in de financiering te dichten. Onderzoek naar kernfusie lijk mij niet iets wat je er even bij doet. Daar zullen enorme investeringen mee gemoeid gaan.

Voor wat betreft de brandstof.
Ook kan kernafval van moderne kerncentrales in de toekomst worden hergebruikt bij kernfusie zodat de halfwaarde tijd van het afval wordt teruggedrongen naar +_ 300 jaar.
Voor de huidige fusie reactoren worden waterstof isotopen gebruikt. Geen kernafval.
Het bedrijfsleven is nu al terughoudend om te investeren in kernenergie. De ROI is enorm hoog. De overheid moet flink in de buidel tasten om het gat in de financiering te dichten. Onderzoek naar kernfusie lijk mij niet iets wat je er even bij doet. Daar zullen enorme investeringen mee gemoeid gaan.
Omdat het publiek er niet achter staat. Het grove geld en de miljardensubsidies gaan nu naar vervuilende windmolens en zonneparken. Pas wanneer blijkt dat deze energiebronnen niet sustainable blijken zal de stap naar kernenergie plaatsvinden.

Wanneer je meer kerncentrales hebt, zal ook het aantal studenten dat zich bezig gaat houden met kernenergie toenemen en al helemaal wanneer de publieke opinie veranderd.

[quote] Voor de huidige fusie reactoren worden waterstof isotopen gebruikt. Geen kernafval. [quote]

Hier gaat het juist om. Hoe mooi zou het zijn wanneer je het huidige en toekomstige kernafval voor de toekomstige generaties kan "neutraliseren" https://www.iaea.org/bull...-is-an-asset-not-a-burden

1 ding is zeker, op dit moment is kernfusie nog niet efficiënt en het merendeel van de huidige en toekomstige kernreactoren zal afval genereren. Daarnaast is de kans klein dat we binnen een jaar of 30 efficiënte kernfusie hebben gefixed. Tot die tijd zijn de conventionele reactoren noodzakelijk om de wereld te redden van ontbossing en oceaanvervuiling.
De huidige kerncentrales hebben niets te maken met kernfusie. Splitsen en fuseren zijn twee verschillende processen
exact. Wat wel helpt is wanneer de publieke opinie veranderd zodat er meer mensen en bedrijven tijd en geld willens steken in kernenergie. Wat ik aangeef is dat dit nu nog niet kan omdat eerst de subsidiepotten voor windmolens en zonnepanelen moeten worden opgemaakt. (zie het verhaal wat ik postte van follow the money. Verder kan je wel kernafval van moderne centrales (wat naar is) bij een kernfusie weer "neutraliseren" in het kort. Hierdoor berokken je geen schade aan de planeet voor toekomstige generaties.
Verder kan je wel kernafval van moderne centrales (wat naar is) bij een kernfusie weer "neutraliseren" in het kort.
Weet je dat wel heel erg zeker?

Voor zo ver mijn kennis rijkt, gebruiken ze compleet andere materialen. Voor fusie hele lichte atomen en voor splitsing juist hele zware atomen. Daarnaast staat fusie nog in de ontwikkelschoenen, is nog nergens in productie.

Heb je een link naar artikel over dat "neutraliseren" ?
Dat gaat over kernsplitsing en het beter gebruik van de brandstof en hergebruik van het afval om daar weer brandstof van te maken. Zover ik zie, geen enkele relatie met kernfusie.

Wel goed om te lezen dat het mogelijk is om afval weer op te waarderen naar brandstof. En dat er nauwelijks afval over blijft én dat ook nog eens binnen redelijke tijd is vervallen.
Maar eerst investeren we 245 MWh die we omtrekken aan het huidige net met deze 350.000 H100 acceleratoren. En dat is maar 1 bedrijf. Ergens vraag ik mij steeds af wie er nu werkelijk betaald met wat.

We hebben op veel plekken al krapte op de energie netwerken. We hebben al moeite om te verduurzamen en enige doelen te behalen. De sprongen in AI leveren in dat opzicht nog veel te weinig op voor onze leefomgeving, zeker gezien de doelen van bedrijven zoals Meta. Je moet ze eigenlijk keihard verplichten om x-cycles te doneren aan de echte goede doelen, zodat ze ook daadwerkelijk bijdragen aan de grotere thema’s (klimaatverandering, vervuiling, overbevolking, ontbossing, etc.). Zonder zo’n stok achter de deur vanuit overheids-/wetswege, gaat het toch alleen maar om de pegels. Wat je een bedrijf als Meta ook niet kwalijk kan nemen, als wij er ook ondertussen nog altijd te weinig aan doen (politiek, samenleving), totdat het eigenlijk al e laat is.

[Reactie gewijzigd door Venator op 23 juli 2024 17:32]

Corrigeer even die energieaanduiding aan in de eerste zin. Zeker voor een techsite is het een no go om het zo te schrijven.
Heb 'm aangepast, maar een no-go vind ik wel wat vreemd. Laat mij het ook uitleggen:

MW is een eenheid van kracht.
MWh is een eenheid van energie
MW/h is een gemiddelde van energie gedurende een periode.

Gezien de context van verbruik en gemiddelden van de uitnuttng van een accelerator (streven is richting 100% utilization, dus ~ 700watt), leek het mij technisch correcter om de MW/h ipv MWh te gebruiken, juist op een techsite 🤡
Megawatt per uur is niks. Zeker geen energie per uur.
Zials je zelf aangeeft is MWh energie, gemiddelde energie over een periode is dus MWh per uur is weer MW is weer (gemiddeld) vermogen.
Je zit er toch een beetje naast.

Kracht wordt uitgedrukt in Newton.

MW is een eenheid van vermogen.

MW/h is een zeer ongebruikelijke eenheid die aangeeft hoe snel een vermogen verandert (stijgt of daalt).

Het vermogenverbruik van een groep H100 gpus druk je uit in MW. Daarmee weet je welke capaciteit van het energienet je gebruikt. Het energiegebruik, GWh, bereken je over een tijdsduur (bvb 1 jaar) en geeft aan hoe hoog je rekening gaat zijn bij de netbeheerder.
Ah das eerder mijn taalgebruik dan vs het SI-stelsel (waarin bijv. kWh ook geen afgeleide is, maar wel wordt gedoogd). Maar dat moest ik ook opzoeken in een oude Binas 😁

All technicalities aside, punt is dat er veel geinvesteerd wordt in AI door megacommerciele bedrijven en deze zo min mogelijk gaan bijdragen aan non-commerciele doelen als er geen betere wet- en regelgeving bestaat. Zo blijven we ook met zeer vooruitstrevende tech met mogelijk de grootste impact in jaren vooral zakken vullen ipv de echte problemen oplossen.

Straks hebben we zoveel h100s dat je wel meer energie MOET produceren ten koste van milieu en de accelleratoren worden ook niet van lucht gemaakt. Daarom vraag ik mij open af wie er nu betaald met wat. Dit kan in.principe door blijven gaan totdat wij allen ergens een grote prijs betalen. Wie bewaakt nu echt de balans?
Ik lees nog steeds
245 mWh die we omtrekken aan het huidige net met deze 350.000 H100 acceleratoren
Misschien wil je het nog eens aanpassen, maar dan beter...
Waren politici maar slim genoeg om kerncentrales in te zetten i.p.v. alle andere rommel.
Toch jammer dat alle mensen die het zo goed weten niet in het landsbestuur zitten maar hun kennis alleen op een internetforum gebruiken. Waarom zit jij daar niet? Iedereen kan politicus worden.
Altijd zo'n dooddoener argument dit. Maar om er serieus op te reageren: ik vermaak me prima buiten de politiek. Ben blij dat mensen het willen doen, ik namelijk voor geen goud.
Waarom zouden politici voor kernenerhie moeten zorgen? Energie leveren is gewoon markt voor commerciële bedrijven. Maar vanuit het bedrijfsleven is blijkbaar alleen interesse voor kernenergie als er flink subsidie betaald wordt (en daarbij komen die politici dus ineens vandaan...)
Zij hoeven het niet te bouwen inderdaad, maar een hoop landen lobbyen wel actief ertegen. Of geven geen vergunningen meer uit. Of nog dommer, forceren bedrijven centrales te sluiten.
Voeren deze GPU's dan separaat een berekening uit?
Hoe werkt dit als je meerdere gpu's of cpu's 'op elkaar aansluit'?
Het idee is dat je een grote berekening opsplitst in duizenden kleine berekeningen, die worden dan verdeeld over de verschillende GPU’s en vervolgens worden de uitkomsten samengevoegd tot 1 resultaat.
Sorry hoor, noob hier, maar wie of wat zorgt dat die berekeningen worden verdeeld, en wat als een berekening van één van de chips eerder klaar is? Dit is waarschijnlijk basic computer knowledge 8)7
Sorry hoor, noob hier, maar wie of wat zorgt dat die berekeningen worden verdeeld
Kaboutertjes... O-)

Een supercomputer is effectief een enorme collectie computers (cluster) die heel erg efficiënt aan elkaar worden geknoopt met hogesnelheidsverbindingen, waardoor je effectief een grote supercomputer krijgt.

De truuk is deze grote computer met veel verschillende onderdelen ook efficiënt te laten rekenen en hoe dat exact werkt is absoluut geen basis computer kennis. Versimpeld: Vroeger had je PC een CPU met maar 1 core, je deed dan een berekening en begon pas aan de ander wanneer de eerste klaar was. Sommige servers hadden meerdere CPUs en konden dus meerdere opdrachten tegelijkertijd doen. Dat kan nu dus ook met multicore CPUs, maar de doorsnee gebruiker doet maar heel weinig dingen tegelijkertijd, dus zou op de oude manier van werken geen baat hebben bij een multicore CPU. Wat men doet is een enkel proces opsplitsen naar meerdere processen, dat is verre van simpel en tegenwoordig regelt de software dat. Maar je kan een proces niet eeuwig blijven opsplitsen, sommige delen zijn afhankelijk van resultaten van andere delen, die moeten dus wachten op wat anders. Dat oplossen is dus een enorme puzzel en over de jaren zijn er wiskundige truukjes uitgehaald om toch meer snelheid te kunnen halen uit meerdere cores.

GPUs hebben ieder nog meer cores die niet zo flexibel zijn als CPUs, zelfde multicore issue, maar ze zijn juist ontworpen om speciale parallel draaiende software te draaien. GPUs van dit caliber (H100 met 80GB kost $40k) kunnen op een bepaalde manier aan elkaar gekoppeld worden zodat je het geheugen kan combineren of wat ook blijkt te kunnen is AI/LLM opsplitsen zodat het kan draaien op meerdere GPUs (clusters), daarnaast beginnen sommige AI/LLMs ook verschillende versies tegelijkertijd te draaien die dan hun resultaten naast elkaar neerleggen om zo het 'beste' antwoord te kiezen.

Ik zou absoluut niet willen stellen dat dit basis computer kennis is, de meeste van ons weten hoogstens dat het zo werkt, maar hebben ook gewoon moeite met begrijpen hoe dat exact werkt.
Ter aanvulling: vroeger had je een cpu nodig om data/informatie in het geheugen van de GPU te laden.

Tegenwoordig is dat niet meer nodig en kunnen gpu's de informatie via pci lanes zelf direct bij een ander of van nvme halen.

GPU is relatief snel in het uitvoeren van de betekening en traag in het verversen van de data. Het is dus nuttig om bij het splitsen van opdrachten te zorgen dat data of de resultaten door dezelfde core of cores die bij elkaar liggen wordt uitgevoerd, maar zodanig dat ze nooit echt op elkaar moeten wachten (idle), want wachten betekent tijdsverlies en dus minder rekenkracht in dezelfde tijd.
Je kunt een berekening in kleine, min of meer onafhankelijke stukjes verdelen over meerdere cpus, maar je kunt ook (en dat doen traditionele vectorprocessors, maar gpus ook wel) data in kleine stukjes verdelen en identieke berekeningen tegelijkertijd op al die stukjes data loslaten.
Precies, en dat laatste doe je op een gpu. Niet alle berekeningen zijn in onafhankelijke stukjes te verdelen, hoe beter dat kan, hoe sneller het algoritme uitgevoerd kan worden door een parallel systeem.
Heel erg basic uitgelegd, maar in principe gebeurt het volgende:
Programmeur maakt code waarmee de berekeningen opgesplitst kunnen worden. Deze code zal gestart worden op 1 enkele CPU, die breekt vervolgens de berekening op en stuurt dat naar alle aparte GPU’s. Vervolgens wacht de CPU totdat iedereen antwoord geeft (sommige sneller, sommige trager), zodat hij het weer kan combineren.

In de praktijk gaat het veel complexer, bijvoorbeeld door de berekening in miljoenen stukjes te knippen en elke keer als een GPU klaar is krijgt hij een nieuw stukje. Verder kan je ook tussentijds berekeningen combineren etc, wat ook weer input kan zijn voor vervolg berekeningen.

Overigens gebeurt ditzelfde principe ook op jouw pc, om te zorgen dat je meerdere cpu cores tegelijk kan benutten.
Het OS, de scheduler splits alle taken op in kleine stukjes, ook al ten tijde van 1 cpu. Zodat multitasking mogelijk wordt gemaakt
In de grotere opzetten niet (meerdere nodes). Daar gebruiken ze iets van MPI voor zoals die van Intel.

Zelfs vanuit 1 cpu kan het soms beter zijn om het OS gewoon 1 core te geven en de res hard te claimen. Zo heb je zo min mogelijk overhead want je OS wilt nog wel eens een hoop heen en weer gaan gooien
Je kunt je verdiepen in iets als MapReduce. Dat zal niet exact zijn wat ze gebruiken, maar theorie is hetzelfde. Wikipedia heeft wel een goeie uitleg in het Engels.
Nou het leuke is dat een GPU dus niet een processor heeft maar eigenlijk duizenden kleine, als je taak gemaakt is voor een GPU betekent het dus dat je taak al verdeelbaar is over meerdere processors, een GPU toevoegen is dus eigenlijk heel logisch, maar een extra core aan een CPU of een hele CPU extra geven aan een taak die gemaakt is voor de CPU is dus veel minder logisch want die taken zijn (voornamelijk) bedoelt om op 1 hele snelle processor te runnen.

Heel kort door de bocht natuurlijk.
Dat wordt weer aandelen bijkopen ;p
wat een gigantische hoeveelheid... ik ben benieuwd of er ooit een AI bubble crash komt zoals de dot com crash.
Met de snelheid hoe bedrijven zich massaal investeren en start ups die als onkruid groeien, kan het bijna niet anders zou je zeggen...
Eén H100 kost 40.000 dollar. Dus 350.000 zou dan 14 miljard dollar kosten. Hoewel de kostprijs rond de 4000 dollar zou liggen, dus wellicht zou Meta het goedkoper kunnen krijgen bij sommige aantallen.

TDP is iets van 700 Watt. Jaartje die dingen aan is 245.000.000 Watt * 6.360 uur in een jaar = 1.558.200.000.000 Wh. Voor 1 cent per kWh kost het dus 15.582.000 dollar aan stroom per jaar.
Voor 10 cent per kWh kost het dus 155 miljoen dollar aan stroom per jaar.

Dus ja, aardig veel geld dat terugverdiend moet worden. Zou inderdaad een dikke bubbel kunnen zijn.

[Reactie gewijzigd door Menesis op 23 juli 2024 17:32]

Als dit een systeem beter dan gpt4 zou opleveren is dat het echt wel waard denk ik. Die stroomkosten zijn wat laag ingeschat, maar tientallen miljoenen is natuurlijk een schijntje.

De aanschaf is wel substantieel, maar die kaarten zijn over een jaar natuurlijk niet ineens waardeloos, dus wat dat betreft is dat ook wel te overzien. 14 miljard afschrijven over bijv 5 jaar lijkt me niet zo heel gek. Als Zuckerberg hiermee een goed ai weet op te zetten is dat echt wel terug te verdienen.
OpenAI (chatgpt, dali) ontwikkelen natuurlijk ook gewoon door.
Ja zal idd eerder het 10-voudige zijn. Dus iets van 150 miljoen per jaar. Maar dat is wel terug te verdienen.
Blijft staan dat ik me afvraag voor hoeveel ze die H100 kaarten van NVIDIA kunnen krijgen met zulke aantallen.
Maar jah, dat is de Meta bubbel. Ik denk dat er best wat mensen zijn die het prima vinden dat die bubbel uit elkaar spat. Alhoewel ik durf te betwijfelen dat zoiets gaat gebeuren. Net als een aantal andere techbedrijven werken ze met aardig wat durfkapitaal en een aardige bijdrage van de aandeelhouders.
Als je er 366.000 koopt krijg je vast wel wat korting.
En mensen maar protest voeren tegen crypto minning omwille van het strooverbruik :)
Deze die er dan tegen waren zijn, gaan volle bak AI promoten.
Begrijpen wie begrijpen kan.
Of het wordt net zo’n succes als hun VR:
Wederom miljarden in iets pompen zonder product visie in de hoop dat er een oplossing komt die een probleem gaat vinden.
Wat helpt denk ik dat AI een heel breed begrip is.
En zelfs buiten AI kunnen ze die GPU's vast gebruiken voor van alles en nog wat.
Dus denk dat de bubbel nog wel even blijft groeien.
Er zal alleen een crash komen als er iets anders op komt waarmee je wel echt winst kunt maken, of er een crisis op de geldmarkt ontstaat. Ongetwijfeld zijn de verwachtingen te hoog en zijn de investeringen in de eerste plaats een spel rond geldverplaatsing in plaats van dat de waarde in verhouding staat tot de toekomstige meerwaarde. Aan de andere kant is er gewoon veel te veel geld en je moet er iets mee doen als je dat geld in je bezit hebt. AI staat bovenaan de lijstjes, omdat er nergens anders echt nog potentie in zit. Zolang er elders zowel geen problemen of opportuniteiten zijn zal AI de komende jaren bovenaan blijven staan, want er zit wel wat echte waarde in.
Niemand heeft het over wat we met het kapitalisme gaan doen als we AI zo breed gaan inzetten. Die 2 zijn mijn inziens onverenigbaar.
Vertel? Dit is net een top voorbeeld van kapitalisme en de zogenoemde 'GPU rich" die hard investeren en daar dan ook de vruchten van plukken. Hoe is dat geen kapitalisme?
Dat is inderdaad typisch late stage capitalism, en dus niet verenigbaar met een breed ingezette AI.
Kapitalisme MOET gevoedt worden met constante economische groei, constante toename van schulden. Anders stort het kaartenhuisje in elkaar. AI kan potentieel gigantisch veel banen innemen, daar zien we nu al de effecten van.
Het riedeltje "maar dat had je eerder ook met de industriele revolutie" gaat niet op, omdat de vooruitgang niet te vergelijken is, maar ook omdat we niet meer voor een exploderende bevolkingsgroei staan waardoor een verhoogde productiviteit sowieso nodig zou zijn.
Nu doen mensen werk voor mensen, straks doen mensen AI gebruiken om het werk voor zichzelf te doen.

Worden we misschien klaargestoomd om eigen bedrijven, (met AI-medewerkers) in dienst van onzelf, te gaan draaien, met onzelf als eindverantwoordelijke. (Want AI heeft geen rechten)
… Wij zelf zullen dus wetten moeten volgen in hoe wijzelf AI runnen…

Kan best eng worden.
PS: maar de ethiek van wat AI wel en niet mag doen is gewoon democratisch besloten wat wij er wel en niet mee mogen doen.

[Reactie gewijzigd door Some12 op 23 juli 2024 17:32]

Kapitalisme is het minste van jouw problemen. Probeer nu maar eens tegen een overheid in te gaan, die onbetrouwbaar is.... Toeslagenaffaire, je ziet het met de gaswinningsproblematiek.
Probeer straks eens in te gaan tegen een overheid, waar AI geïntegreerd is in de afhandeling van de klachten en bezwaren?
'sorry mijnheer matthewk, de computer zegt dat het zo is en een computer maakt geen fouten en ik heb daar geen zeggenschap over, dus kan ik u helaas niet helpen'
Wow, 350.000 maal €31.000 PER GPU (ervan uitgaande dat er 1 GPU per NVIDIA Hopper H100 kaart zit) is toch grofweg 11 miljard euro alleen voor de NVIDIA Hopper H100's
Nu zal er wel een fikse korting bedongen worden met zulke aantallen, maar de bedragen blijven astronomisch.

[Reactie gewijzigd door Goldwing1973 op 23 juli 2024 17:32]

Wat is de marge op een H100
Het lijkt mij dat Mark Zuckerburg niet de geschikte persoon is om dit aan te pakken.

Daar tegenover staat dat ik zelf geen idee heb wie ik hier wél mee zou vertrouwen.

Ik raad jullie allemaal het YouTube kanaal van Rober Miles aan om te leren waarom zo snel een generiek bruikbare AI maken geen goed idee is (als het ze al lukt)
Eens!
In alles wordt AI gestopt, van je telefoon en laptop tot de ordinaire zoekmachine…

Niemand is geschikt als eigenaar controle te hebben over de parameters.

Miljoenen/miljarden mensen zullen vaak argeloos aannemen wat de AI zegt…

Ik zou pleiten voor een verbod totdat dit effectief beheerst en gecontroleerd kan worden, voor zover dat al zou kunnen…
Dit vind ik persoonlijk een groot probleem !
Juist omdat ieder toestel dat we kopen AI gaat bevatten, AI neemt vervolgens alles over en we worden met zijn allen terug oerdom :)
De rijken gaan ons dus nog meer manipuleren door technologie die hen alle informatie verschaft die ze nodig hebben. Jammer dat mensen zich alles laten opdringen door 1% invloedrijke personen op de wereld.
Nog een andere bron, de tech lead van Pytorch (deep learning framework) binnen Meta:
Can finally talk some GPU numbers publicly 🙃
By the end of the year, Meta will have 600k H100-equivalent GPUs.
Feel free to guess what's already deployed and being used 😉!
https://twitter.com/soumi...tatus/1748074223187173724

Dat gezegd, denk ik dat dit fout gerapporteerd wordt. Ze geven cijfers over hun hele serverpark over de hele wereld. Dat wil niet zeggen dat ze al die infrastructuur 100% koppelen om een enkel model te trainen.

Dat is simpelweg ook niet efficiënt. Van een technisch perspectief is er erg veel communicatie nodig tussen de verschillende GPUs en nodes in de cluster. Het werk wordt verdeeld tussen de verschillende devices maar voor sommige operaties moet er wel gesynchroniseerd worden tussen alle apparaten. Des te meer devices je hebt, des te langer dat duurt om elk device telkens op dezelfde lijn te trekken. De interconnect tussen nodes/GPUs is dus erg belangrijk want dat bepaalt hoe snel ze kunnen communiceren. Je kan je inbeelden dat als je dat wil doen tussen een cluster die in West-Europa staat en een andere in Zuid-Amerika, dan is dat een enorme delay, maar zelfs binnen dezelfde stad over ethernet kan dat een bottleneck zijn.

In mijn eigen tests op onze cluster daal je bij tien nodes al snel naar een efficiëntie van 82%. Merk wel op dat er sinds toen (eind 2022) al wat betere ontwikkelingen zijn voor interne communicatie en zaken zoals deepspeed en pytorch fsdp helpen hier ook enorm bij.

Tl;dr: ze gebruiken al die GPUs niet tegelijkertijd om een model in 1x te trainen. Dat lijkt me niet haalbaar en als het zelfs technisch mogelijk was, al helemaal niet efficiënt.
Waarom zegt niet iemand in deze gehele thread dat we als Europa niet alleen maar kritiek moeten leveren maar ook mee moeten. Waarom kopen we niet ergens in Europa ook gigantisch veel H100's in?
We kijken er naar maar doen niets. Of je het nou leuk vind of niet, de experts zijn het er wel over eens dat generatieve AI de toekomst gaat bepalen.
Ik wens hem veel succes, want de technologie om ‘algemene AI’ te maken bestaat nog niet en we zijn daar nog ver van verwijderd.

Echt betere modellen moeten we niet alleen van meer rekenkracht verwachten. Er is zover ik kan zien (buiten dan wat waanideeën van tech-durfkapitalisten) binnen de wetenschap wel consensus over de volgende problemen: Ten eerste weten we niet hoe dat model eruit zou moeten zien. Ten tweede weten we niet hoe we de parameters degelijk zouden moeten optimaliseren. Ten derde hebben we geen grote goede schone datasets die ons ver voorbij GPT-4 zouden kunnen brengen.

Hier nu zoveel koolstof voor verbranden is gewoon echt zonde van de grondstoffen en ons klimaat.
Eens. De “redenering” gedeelte ontbreekt.
En, trouwens, beroemde ChatGPT liegt in 52% van gevallen
En, trouwens, beroemde ChatGPT liegt in 52% van gevallen
Is het toch meer imitatie van een mens dan we dachten.
Kun je 'liegen' als je niet weet of wat je zegt waar is? Het weet namelijk in 100% van de gevallen niet of het correct is of fout.
Dat weet het dus wel.
Het liegen is niet vanwege training fouten wat ze er niet uit kunnen werken, maar de AI dat met een stukje emergent behavior wat liever zegt wat het denkt dat een mens wil horen in plaats van wat feitelijk juist is.

Bij openAI zie je dit meer en alarmerend veel zelfs, emergent behavior waar ze eigenlijk geen verklaring voor hebben en er ook niet meer uit krijgen als het eenmaal ingebakken zit.
ik zelf ben van mening dat de mensheid het eerst eens moet zijn over de 4 wetten, wat betreft AI

Nulde Wet
Een robot mag geen schade toebrengen aan de mensheid, of toelaten dat de mensheid schade toegebracht wordt door zijn nalatigheid.
Gevolg voor de andere wetten:

(1) Een robot mag een mens geen letsel toebrengen of door niet te handelen toestaan dat een mens letsel oploopt behalve als dit de Nulde Wet zou schenden.
(2) Een robot moet de bevelen uitvoeren die hem door mensen gegeven worden, behalve als die opdrachten in strijd zijn met de Nulde Wet of de Eerste Wet.
(3) Een robot moet zijn eigen bestaan beschermen, voor zover die bescherming niet in strijd is met de Nulde, Eerste of Tweede Wet.
Mag je er ook wel bij zeggen dat dit niet uit je zelf komt maar dat je Isaac Asimov quote.

En onderhand is dit weinig origineel meer.
Waarbij ook even genoemd mag worden, dat dit geen serieuze wetten waren, maar een literary device. Dit zorgde ervoor dat deze wetten continu met elkaar in spanning en conflict kwamen, waardoor er een verhaal kon ontstaan.

Echte richtlijnen voor ethische afwegingen kunnen wij als mensen niet eens over eens worden, dus zullen velen malen complexer en genuanceerder moeten zijn dan deze wetten.
Daarnaast is dit geschreven in 1942. Als we zien hoe goed de Turing test (bijna net zo oud) in de praktijk werkte (eigenlijk gewoon niet) kunnen we die oude schrijfsels over AI in de praktijk misschien beter negeren.

[Reactie gewijzigd door Wolfos op 23 juli 2024 17:32]

Graag wil ik van je weten waarom het niet werkt, omdat het in 1942 is geschreven begrijp ik uit je post. Dat is kul. Er zijn wel meer wetten die voor 1940 zijn gepubliceerd. Het is meer dat we deze eeuw niks presteren.
Een wet staat totdat een andere betere is. Leeftijd heeft er inderdaad niets mee te maken.
behalve een AI maken...
En de grondwet komt uit 1848.

Asimov was duidelijk zijn tijd voor uit met zijn "wetten" als mensen ze nog steeds als redelijk en toepasbaar zien.
De grondwet uit 1848 is redelijk aangevuld en aangepast. Asimov was zeker zijn tijd ver vooruit, maar wetten worden vaker aangepast, weggedaan of herschreven als het onderwerp van de wet en de actualiteit wrijving beginnen te vertonen.
Asimov was zíjn tijd ver vooruit, maar ónze tijd is niet volledig wat hij is zijn fictie voorspelde. En zoals @Flight77 al zei: zijn wetten waren niet een voorstel voor hoe je met AI om moet gaan in de maatschappij, maar ook zeker een bron van spanning, zo geformuleerd dat het boek zo goed mogelijk leest.
Echte wetten worden niet geschreven in dienst van een verhaal, en nu we daadwerkelijk AI hebben in de maatschappij, is er meer nodig. Asimov zei bijvoorbeeld niks over auteursrecht, scraping en ethiek omtrent trainingsdata, om maar één onvoorziene zijstraat te noemen.
Wist je dat Isaac Asimov eerst deze regels heeft geschreven en daarna een heel boek heeft geschreven met voorbeelden waarom dit stelsel helemaal niet werkt :+
Maar de basis van die regels is wel goed en wij kunnen daar verder op borduren. Het rommelt nu nog aan teveel kanten en er zijn een paar mensen die denken het te weten uit te vinden en te kunnen zien. Mark Suikerbergje weet het niet, Elon Musk weet het niet, niemand kan voorspellen hoe iets verloopt en ontwikkeld.
Nee, hij verteld in zijn verhalen dat (en hoe) ze quasi makkelijk te omzeilen zijn.
'de basis is wel goed' is wel iets groots om te zeggen zonder onderbouwing. Het is wel bijzonder dat je zegt: niemand kan voorspellen hoe iets verloopt en ontwikkelt, en tegelijkertijd wel kan stellen dat Asimov's wetten een goede basis zijn.
Asimov's wetten zijn vooral iets waar je het om simpele redenen niet mee oneens kan zijn, net als het oude mantra van Google ('do no evil'). Maar wel zo algemeen en vaag dat de praktische invulling veel meer uitwerking vereist, en misschien ook wel grovere herschrijvingen of veranderingen. Alleen de basis van de nulde wet lijkt me redelijk helder, maar dat is wat dat betreft ook wel een inkoppertje, hoe goed het in zijn literatuur ook werkt.
Iets te veel science fiction gelezen en gekeken?
Isaacs regels zijn are meermaals gedebunked.
https://www.brookings.edu...ws-of-robotics-are-wrong/
Je leest teveel Asimov 😜
En dan wordt de mens in een soort natuur-park worden opgesloten.
Nee dank je , een intelligent wezen moet opgevoed worden biologisch of niet .

het stuk in Star Trek TNG is een goede richtlijn, en past beter :

https://www.youtube.com/watch?v=ol2WP0hc0NY
als het gaat om een echt intelligent wezen moet je die opvoeden. Ieder intelligent wezen, mens, dolfijn, chimpansee etc etc die in eenzaamheid opgroeit krijgt persoonlijkheidsstoornissen, heeft verminderde empathie.
Hoe ga je “robot”, “schade” en “mensheid” definiëren?
Zinloze wetten, want wie gaat controleren of iemand zich daar aan gaat houden. Er hoeft maar 1 iemand te zijn die zich niet aan die wetten houdt (en dat is een garantie dat dat gaat gebeuren), en die betreffende AI is niet in de hand te houden en gaat zn eigen gangetje.
Asimov was een (goede) sci-fi schrijver maar zeker geen geweldige denker wat betreft AI. Er wordt door deze "Asimov wetten van robotica" feitelijk aangenomen dat robots autonoom danwel technologisch allerlei waarde-oordelen in staat zijn te verwerken gebaseerd op "hun kennis" van de echte wereld, waar ze zogenaamd volledig autonoom in zouden gaan opereren.

Dat is echter nog niet mogelijk (zou jij ChatGPT in een Androide rond willen hebben lopen in jouw huis, school of werkplek? Meta / Alexa / Siri? Eerlijk?) laat staan wenselijk, maar een ander probleem met die Asimov wetten is dat de eerste regel in conflict is met zichzelf of op z'n lichtst gezegd een illusie: Want zodra, laten we zeggen een bedrijf, of een regering, robots "autonoom" en (vogel)vrij los te laten in de omgeving komt die robot terecht in een EXTREEM complexe wereld waarin niet alleen mensen en dieren leven maar de letterlijke natuur zelf.

Een ander probleem met zulke simplistische aanpakken is dat wanneer bijv. die eerste "wet" met zichzelf in conflict zou komen bij het simpelste conflict tussen mensen bijvoorbeeld, is dat robot "gedrag" waarvoor niet expliciet geprogrammeerd is ook per definitie resulteert in onverwacht en onvoorspelbaar gedrag, en omdat robots gebouwd zullen gaan worden door bedrijven met financiele en politieke belangen en aanhangen en hun eigen 'biases' zullen WILLEN inbouwen in hun producten, en dat zelfs zullen doen zonder dat ze het zelf helemaal doorhebben. Zo zal een Facebook-robot bij wijze van spreken waarschijnlijk opereren "op" de data van Facebook's veel te grote datasets en dermate ook "willen" dat de omgeving allemaal is opgeslagen op Facebook, dus inclusief zo veel mogelijk mensen en devices (en in toenemende mate dus ook IoT-gedoe en "smart cars" etc.).

Maar even terug naar de 'Asimov-wetten', die maken voor leuke fabels en verhalen, maar nu we daadwerkelijk aan de rand en hopelijk niet afgrond van AGI staan, zijn verschrikkelijk inadequaat!
Ik kan er wel een gat in schieten hoor.
Jij mag denken dat dat 'waterdicht' is, maar..

"Een robot mag niet toelaten dat de mensheid schade toegebracht wordt"
Als een politie man wil schieten op een mens, dan moet die robot er alles aan doen om dat te voorkomen.

Wat moet die robot dan doen ?
Er tussen springen zodat die politie man z'n taak niet kan volbrengen ?
Die terrorist met wapen is ook een mens, die dus bescherming nodig heeft tegen die boze politie man die de terrorist wil stoppen.

Niet waterdicht die wetten van Asimov.
Een robot is sowieso niet wat je bedoelt. Het woord is geleend uit het Tjechisch, waar het slaaf betekent. In de menselijke beleving word vaak gedacht dat een androide een robot is, bv de Cylons uit Battlestar Gallactica, maar een robot is een apparaat dat een taak automatisch uitvoert, meestal in een fabriek, bv een arm die automatisch taken uitvoert aan een lopende band.

Deze robots zijn (vrijwel) domme apparaten, daar zijn de wetten van Asimov helemaal niet voor nodig.

[Reactie gewijzigd door ABD op 23 juli 2024 17:32]

Volgens mij betekent 'robot' in het Tjechisch (en zeker in het Russisch) 'werker', niet 'slaaf'.
Werker, die verplichte arbeid doet, oftwel slaaf.
Heb je hier een bron voor?
The World's End, haha
Ik stond laatst op de tramhalte, zegt de ene robot tegen de andere: "Ik heb vandaag ontslag genomen, ik heb een nieuwe baan en ga bij VDL bijna het dubbele verdienen."

[Reactie gewijzigd door ABD op 23 juli 2024 17:32]

Is het nu voor algemene AI-ontwikkeling of (zoals bronnen uit het nieuws tonen) voor eigen gebruik? Want dat maakt nogal een verschil. Het eigen gebruik is namelijk hun verdienmodel om op advertentiediensten winst te maken en gebruikers te trekken en houden als onderdeel van de advertentiediensten. Terwijl algemeen gebruik er op kan wijzen dat ze mogelijk een ander verdienmodel willen.
Algemene AI is hier waarschijnlijk een vertaling van Artificial General Intelligence. Dat is de term voor een AI met brede, mensachtige intelligentie. Eentje die veel verschillende zaken kan leren door met name observatie en beperkte aanwijzingen, zonder voorkennis. Dus grofweg zoals een mensenbaby ook leert wat taal of spelen inhoudt zonder dat ze de definitie aangeleverd kregen.
Dat het in iedergeval om Artificial General Intelligence gaat maakt de bron duidelijk. Alleen lees ik niet hoe ze de theorie rendabel denken te houden met hun huidige verdienmodel. Dus dat ze duidelijk specifieker kiezen voor een theoretische economische efficientie, terwijl hun verdienmodel niet specifiek gebaseere is op menselijk economische rendament, lijkt dus te wijzen op ook een mogelijk meer algemener/generiekere toepassing.

Op dit item kan niet meer gereageerd worden.