Nvidia stelt datacenter-gpu B200 mogelijk uit naar 2025 door designproblemen

Nvidia heeft de leveringen van zijn volgende AI-videokaart voor datacenters, de B200, uitgesteld. Dat meldt The Information op basis van ingewijden. Het bedrijf kwam naar verluidt 'designproblemen' op het spoor.

Nvidia zou zijn B200-chip later dit jaar willen uitbrengen, maar heeft de release 'met minstens drie maanden' uitgesteld, zeggen twee bronnen aan The Information. Dat zou betekenen dat de grootschalige leveringen op zijn vroegst in het eerste kwartaal van 2025 plaats kunnen vinden. Nvidia neemt dit besluit vanwege 'designfouten die ongebruikelijk laat in het productieproces werden ontdekt', maar daar wordt in het artikel niet verder op ingegaan. Volgens de ingewijden is Nvidia momenteel bezig met proefproductieruns om achter de oorzaak van de problemen te komen.

De chipfabrikant zou zijn klanten deze week op de hoogte hebben gesteld van het uitstel. Volgens The Information kan dit besluit ook impact hebben op grote techbedrijven als Meta, Google en Microsoft. Zij zouden gezamenlijk tientallen miljarden dollars aan B200-gpu's hebben besteld. De bedrijven willen deze chips gebruiken om hun geavanceerde AI-modellen te trainen. Een woordvoerder van Nvidia zegt tegen The Verge dat het nog steeds het plan is om de productie van de chip in de tweede helft van 2024 op te voeren, maar wil verder niet op het gerucht reageren.

De Blackwell-datacenterchip werd afgelopen maart aangekondigd. De B200 telt 208 miljard transistors en bestaat uit twee twee verbonden gpu-chiplets (B100). De AI-gpu zou tot tweeënhalf keer sneller zijn dan zijn voorganger, de H100, maar veel minder energie verbruiken. Door de sterk toegenomen vraag naar AI-toepassingen werd Nvidia in juni voor enige tijd het waardevolste bedrijf ter wereld.

Nvidia Blackwell

Reacties (73)

[StackMySwitchUp]

Shit take: Nvidia ziet dat de eerste "AI" trend voorbij is en verwacht annuleringen? De volgende stap in de ontwikkeling van AI is het gebruik van business data, maar omdat bedrijven die closed source willen houden is dit van beperkt nut. Men is al aan het overstappen op eigen modellen, en AI compute wordt daarmee meer een verkoopbaar item dan het trainen van LLMs (waarbij dat laatste vooral profiteert van heel veel parallelle computing kracht)

Ik praat een beetje uit mijn nek, vandaar de "shit take" maar het is ongeveer mijn verwachting.

<edit> Er wordt weer stevig gemodereerd op basis van "eens of oneens" en niet of het ontopic is. Jammer. ik stop met reageren. </edit>

[Reactie gewijzigd door StackMySwitchUp op 5 augustus 2024 06:43]

[Druid]

Daar zou ik graag met je over verder willen filosoferen, want ik heb een hele andere kijk daarop. Ik denk dat dit nog niet eens het startsein is van AI, laat staan dat de trend voorbij is. Kijk alleen al naar de aankondiging van iOs 18 en wat voor impact dat zal hebben.

[Osiummaster]

Maar net als de dotcom bubbel is dit niet gerelateerd aan de potentie van het web (of nu AI) maar aan wat mensen er daadwerkelijk voor willen betalen op dit moment.

Er zit veel potentie in AI maar momenteel wordt er nog niet zoveel geld mee verdiend dat ze die biljoenen investeringen oneindig kunnen financieren.

[ALittleTooLate]

Ik denk niet dat je de LLM explosie van nu kan vergelijken met de 2000s. Uit die tijd zijn enkele van de grootste tech bedrijven voort gekomen. Er waren echt kansen om groot en succesvol te worden. En somige grote bedrijven hebben de boot gemist.

Ik zie nu de grote techbedrijven de boot niet missen en je kunt nu ook makkelijker een boot later pakken. Sommige grote bedrijven stellen hun modellen en technieken zelf vrij toegeankelijk voor iedereen om zo de status quo te beschermen. LLM's gaan in de toekomst een grote rol spelen, maar ik denk niet dat ze de huidige markt op hun kop gaan gooien.

[StackMySwitchUp]

Ik bedoel te zeggen dat de adoptie van het grote publiek inmiddels wel rond is, en men nu begint in te zien dat er vrij harde limitaties aan de kunde van LLM based AI zit. Zie mijn andere comment

[Druid]

Dat valt dik mee, met de adoptie door grote publiek. Meer dan 90% in mijn omgeving gebruikt het niet of amper. Ik gebruik het wel dagelijks en bespaart mij enorm veel tijd. Daarnaast zijn wij bezig om het op ons werk (ik werk in een ziekenhuis) AI toe te passen, waardoor het opvolgen van risico patiënten bijvoorbeeld (wat niet te doen is door menselijk werk) door AI wordt overgenomen. Er is ongelofelijk veel efficiëntie daaruit te halen.

Zo verder is Google bezig om het toe te passen bij hun google-ads. Daar is ook ongelofelijk veel mogelijkheden om dat te monetizen.

[micnocom]

Dat valt dik mee, met de adoptie door grote publiek. Meer dan 90% in mijn omgeving gebruikt het niet of amper.

Inderdaad, Ik heb het daar gisteren op een verjaardag nog over gehad, niemand gebruikt AI (of weten het niet) omdat ze dan actief moeten zoeken. Zodra het in je mobiel geïnteresseerd zit gaan mensen het gebruiken zonder perse door te hebben dat het AI is.

Niemand in mijn omgeving heeft door dat een Google magic editor achtige toepassing AI is, de iPhone gebruikers (die ik ken) weten helemaal niet zo gedetailleerd dat Apple met iOS18 in wil zetten op AI en het wel of niet gaat uitkomen in de EU, Ja ze horen nu wat op het nieuws omdat het word uitgesteld maar hebben verder geen idee hoe of wat.

"Wij" zijn bewust met dit soort dingen bezig, het niet Tweaker volk nog helemaal niet en dus gaat het eerst nog genoeg kunnen groeien.

[Reactie gewijzigd door micnocom op 5 augustus 2024 11:35]

[StackMySwitchUp]

Het wordt je door de strot geramd dus adopteren zul je. Het grote publiek weet het misschien niet, maar het wordt wel door ze gebruikt.

[DropjesLover]

Ik ben van mening dat "AI" voor 90% van de mensen weinig toegevoegde waarde heeft in de directe werkzaamheden. Mooi dat een oncoloog de tool kan inzetten om beter kanker op te sporen, maar daarna hebben de 100 mensen op de afdeling (bestraling, chirurg, anestesist, verpleging, etc) er eigenlijk niks direct met die AI te maken.

Ik werk als project engineer in een fabriek. Alleen wanneer we alles minitieus in kaart gaan brengen, overal metingen gaan doen zouden en alles bijhouden we die data in een AI kunnen zetten om te helpen met preventief onderhoud of betere machine-afstellingen. Maar dat kost veel te veel tijd/geld en de toegevoegde waarde is beperkt. De 500 man in de fabriek merken er vervolgens nog niks van.
Ik kan een AI (co-pilot) gebruiken om automatisch een nette email voor een offerte op te stellen
Bij Finance kan er een deel geautomatiseerd worden misschien, maar net finance is afhankelijk van meerdere ogen die ergens naar kijken/beoordelen/goedkeuren.

Daarnaast wordt de consument al 10 jaar doodgegooid met alles AI te noemen zonder dat dat het is. Spotify weet nog steeds geen interessante daily mix te maken (behalve uit de nummers die ik al geliked heb), online ads zijn nog steeds voor dingen die ik al gekocht heb cq bij nader inzien geen interesse in heb.

[StackMySwitchUp]

Hoe borg je dat het systeem geen fouten maakt, en als dat wel gebeurt, wie is dan verantwoordelijk? Ik weet niet hoe het wordt toegepast, maar ik word wel een beetje nerveus van het feit dat een TAALmodel wordt gebruikt om medische opvolging te doen.

[Druid]

Een systeem reageert hoe het “geprogrammeerd” is, dus vanzelf zal het eigenlijk geen fouten maken. Daarnaast, geen systeem is 100% waterdicht, ook de huidige systemen die we gebruiken bijvoorbeeld bij het controleren van interactie. Je kan je afvragen, wie is daar dan verantwoordelijk voor?

De AI is een tool, die moet je (voorlopig) dan zodanig gebruiken. In ons geval, als we die risico-patienten niet zodanig opvolgen, dan gebeurt er helemaal niks. Dus dat is alleen maar beter.

[cariolive23]

Hoe borg je dat het systeem geen fouten maakt, en als dat wel gebeurt, wie is dan verantwoordelijk?

Je neemt een nieuwe medewerker aan binnen je organisatie, en je hebt exact hetzelfde probleem:

Hoe borg je dat de nieuwe medewerker geen fouten maakt, en als dat wel gebeurt, wie is dan verantwoordelijk?

De oplossing is imho hetzelfde. Testen, controleren, verbeteren.

[moredruid]

Voor het herkennen van kankercellen op een foto wordt de AI getraind met beeldmateriaal, niet met een taalmodel.

Veel van de modellen zijn inmiddels al accurater dan een specialist en kunnen in een veel eerder stadium een tumor herkennen. Ik denk dat dit komt doordat het systeem niet alleen "visueel" controleert, maar ook de onderliggende bestandsstructuur kan analyseren en daar afwijkingen in kan vinden (een beetje a la Cypher uit the Matrix, "I don't even see the code, I see a blonde, brunette, redhead."

[voxl_]

Dat moet de wet gaan vaststellen. Tot die tijd is het het wilde westen. Dat kan je slecht, goed, of alles er tussenin vinden, maar wet is wet. Dus NU je kans slaan of braaf wachten.

[SG]

In heden worden door menselijk fouten zijn al velen on nodig overleden. O.a. door iets chronisch hoge werk druk . AI zou het theoretisch in begin slechter doen maar eenmaal goed getraind vangt het simpele fouten op. Kan ontlasten voor werkdruk tenzij personeel wordt gereduceerd voor kosten efficiëntie.

[StackMySwitchUp]

Je weet wat er gaat gebeuren toch?
In een hypothetische situatie, zou jij dan als een nabestaande accepteren "Tja, we konden er niets aan doen want de computer heeft een foutje gemaakt" ?
Maargoed, de discussie gaat nu te diep, ik vind dat "AI" zoals deze momenteel is geïmplementeerd nog niet zonder intensieve begeleiding losgelaten mag worden op data waar echte menselijke consequenties aan vastzitten. Dat houdt dus in dat als je ècht zekerheid wilt, het juist mèèr werk is om AI in te zetten. Helaas zijn de meeste beslissingmakers totaal niet uitgerust om dit in te zien, en struikelt men over elkaar om als eerste zo snel mogelijk zo veel mogelijk personeel te besparen. We shall see how that works out.

[MoneyThrill]

Dat klopt, het is niet eens het startsein. Grote investeringen moeten nog beginnen. Net daarom Amazone vlug verkocht/geldomgeld. Ook Meta zal miljarden moeten investeren? Google Alphabet-A zal beter af zijn, denk ik? Nier verkocht. Apple ook niet.

[Sn0wblind]

Er worden al miljarden geivnesteerd. Ze maken verliezen er extreem veel op. Ik zie AI alleen slagen als de resources welke ervoor nodig zijn drastisch omlaag kunnen. Er zit potentie in gespecialiceerde modellen welke daadwerkelijk kunnen uitblinken op een bepaald gebied. De huidige varianten zijn te fout gevoelig.

[ALittleTooLate]

Dat is ook een beetje het idee van investeren. Je krijgt niet meteen je geld terug en het is ook niet zeker of je daadwerkelijk je geld terug krijgt.

Het is wel duidelijk dat dit een moment kan zijn met grote winnaars en verliezers. En niemand wil verliezen.

[Sn0wblind]

Ja maar er wordt gezegd, grote investeringen moeten nog beginnen. terwijl dat al lang en breedt gedaan wordt. Er is alleen nog geen pad zichtbaar wat winstgevend kan zijn.

[ALittleTooLate]

Er zijn wel paden waarin iedereen google search links laat liggen en een LLM-assistent van bedrijf x gaan gebruiken.

Je kan niet in de toekomst kijken. En het is lastig te voorspellen waar in de economie LLM's voor de grootste opschudding gaan zorgen. Als je het geld hebt, is het misschien wel veiliger om die miljarden nu in LLM's te steken.

[Sn0wblind]

Er zijn wel paden waarin iedereen google search links laat liggen en een LLM-assistent van bedrijf x gaan gebruiken.

Want het zorgt nu voor aanzienbare benefits versus de kosten?

Ik draai overigens zelf LLM's, heb binnen de firmwa wa rik werk onze eigen models etc. Het is opgeblazen en er zijn nog zeer veel haken en ogen.

[ALittleTooLate]

Want het zorgt nu voor aanzienbare benefits versus de kosten?

Op dit moment niet. Op het moment dat het wel zo zou zijn dan is google de nieuwe Yahoo.

Het is opgeblazen en er zijn nog zeer veel haken en ogen.

Zeker, veel mensen hebben er baat bij om LLM's erg op te hypen omdat dat direct positief is voor hun bankrekening. Maar er is enorm veel onderzoek gaande en niemand weet waar de grote doorbraken gaan komen. Iedereen kent het verhaal van Nokia/blackberry/Kodak/Blockbuster/etc

[Sn0wblind]

machine learning wordt al jaren ingezet en wat er nu gehyped wordt is niets nieuws. We hebben machine learning in games voor upscaling, ziekenhuizen gebruiken al jaren machinelearning voor het analyseren van dossiers etc.

Onderzoeken geven juist steeds meer aan dat de huidige LLMs juist niet rendabel zijn en dat het waarschijnlijk niet de weg voor AI is.

[Reactie gewijzigd door Sn0wblind op 4 augustus 2024 22:44]

[cariolive23]

Onderzoeken geven juist steeds meer aan dat de huidige LLMs juist niet rendabel zijn en dat het waarschijnlijk niet de weg voor AI is.

Heb je wat links naar deze onderzoeken?

[SG]

Het probleem met trainen is de kwaliteit van de data. Als je bron X en wappie zooi als data gebruikt zou de aarde plat kunnen zijn en elke democraat politicus in VS pedo.
LLM die hoge graad van correctheid heeft zal de markt leiden totdat 2de bij gekomen is. Er is heel veel mis informatie die in data kunnen zitten en dan zal je respons uit AI tool ook fout kunnen zijn. iig zal ik AI nog niet gebruiken om feiten op te vragen.
Maar voor content generatie of tekst anders verwoorden.

[cariolive23]

Wat je nu benoemd, is een probleem zo oud als de weg naar Rome. En heeft niks met rendement te maken, waar mijn vraag juist over gaat.

Dus welke onderzoeken tonen aan dat LLMs niet rendabel zijn?

[StackMySwitchUp]

Ik ben het volledig met je eens om dezelfde redenen.

[Druid]

Vergeet MSFT niet, die bezit zowaar ChatGpt

[fenrirs]

AI geeft nu al enorm veel ruis, zelfs op onschuldige onderwerpen als slakken in een moestuin. Ja, echt, de eerste 10 hits zijn gewoon ChatGPT gegenereerde bullshit.

Ook bij meer serieuze onderwerpen zie je dat AI het vaker mis dan raak heeft. Ook bij programmeren (ik gebruik copilot en mistral) heb ik het gevoel dat het vaker tegen mij, dan voor mij werkt, gezien de hoeveelheid edits.

Domme syntax fouten lijken vaker voor te komen. Voorbeeld: json configs komen uit de AI koker als {'datapunt' = 8.445} ipv {"datapunt":8.445} (spot de twee fouten)

Als bedrijf zou ik hierop mijn beleid zeker niet willen vaststellen.

'Echte' data, dus geverifieerde kennis, gaat goud waard worden.

[Druid]

Helemaal mee eens, maar nogmaals, het gaat er om waarvoor en hoe je de “tool” gebruikt. Ik ben helemaal niet thuis in het coderen dus geen ervaring mee.

Waar ik het wel (dagelijks) voor gebruik; opstellen, brieven/mails, plan van aanpak voor een project, chatbot die voorgeselecteerde reacties voor patiënten schrijven en na bevestiging met 1 knopje verstuurd. (Dit bespaart mij uur/uren per dag).

Waarvoor we bezig zijn te gaan gebruiken; patient X gebruikt middel Y. Zou moeten stoppen na Z periode of bijkomstigheid van factor zus en zo, maar door alle overhevelingen, andere instelling, andere apotheek, andere regime, andere ziekenhuis andere specialist yada yada raakt dit overzicht kwijt. We weten dat 10% van alle ziekenhuisopnames door één groep medicatie en door zulke problematiek komt. De factoren zijn te ingewikkeld om in de dagelijkse routine toe te passen (welke patiënt? Is het wel de bedoeling dat hij nog gebruikt? Waar is het opgestart? Hoelang al in gebruik? Is de indicatie wel juist? Wat voor risicoprofiel heeft patient nu tov starten bijvoorbeeld?) dit zijn allemaal factoren die te veel tijd in beslag nemen, maar een AI- wel voor geprogrammeerd kan worden.

Al voorkom je dus een kwart van die 10% ziekenhuisopnames per jaar, dan win je enorm veel. Zeker bij een steeds vergrijzende populatie.

[fenrirs]

Dat lijkt mij een hele zinnige manier van AI toepassen

[TLLRS]

Ik denk dat iedereen het gezwets over AI (LLMs) over een jaar ofzo op de achtergrond verdwijnt. Een beetje zoals blockchain en de metaverse. De tools zijn hoogstens nuttig hier en daar, maar de facto verandert er niks.
De hype merchants zullen iets nieuws moeten verzinnen.

[naaitsab]

Nvidia ziet dat de eerste "AI" trend voorbij is en verwacht annuleringen?

De hype is nog steeds op volle toeren, dus deze nieuwe generatie gaan ze echt nog niet minderen. In tegendeel het aandeel Nvidia schoot flink omhoog bij de aankondiging.

De zakelijke wereld pakt AI nu ook steeds meer op, zoals je aangeeft. Voor BI kan een goed model heel veel tijd schelen en/of geld opleveren. In de zorg zie je het ook steeds meer terugkomen om bepaalde herhalende rapportages (gedeeltelijk) automatisch in te vullen op basis van invoer in een ECD/EPD.

De vraag blijft natuurlijk hoe veilig is dit allemaal. Uiteindelijk doet een AI net als een mens aannames die gebaseerd zijn op de kwaliteit van het bronmateriaal (de cijfers) en hoe geavanceerd het model is. Als een rapport 999 keer goed is ingevuld denk je bij de 1000e wellicht, die zal ook wel goed zijn. Welke mogelijk compleet foute informatie bevat. Dat is mijn inziens een grote keerzijde aan deze trend dat men volledig gaat vertouwen op de Ai.

[StackMySwitchUp]

De hype is op volle toeren, maar elke generatie LLM geeft momenteel diminishing returns op verbeterde resultaten. het grote probleem is dat publieke data vol zit met rotzooi. Het kost te veel om dit te fact checken, en je blijft met ongeveer 80% accurate informatie zitten. Om de trainingsmodellen "level up" te krijgen is bedrijfsdata nodig, en bedrijven zijn niet zo happig op het aanleveren van data die in een algemeen model mee mag trainen. Hierdoor is er minder vraag naar trainingscapaciteit, en ongeveer een gelijke vraag naar compute. Nvidia ziet dit misschien al aankomen (ik weet het niet, nogmaals, speculatie)

Dus ja, het is waardevol, en ja, er is vraag naar, maar de wereld begint nu ook wel een beetje de limitaties in te zien, en de "roze wolk" zit denk ik wel op zijn eind.

Dat wil dus niet zeggen dat niemand daarna nog iets met LLM gaat doen, maar ik denk dat er uiteindelijk een stuk minder vraag naar is dan de trend doet denken.

[Yalopa]

Idk zie jou heel veel negatief reageren in dit topic en ik vraag me echt af als je al ooit iets gedaan hebt met (gen) AI. Dan hebben we het niet over eens kletsen met een gratis open AI, maar een echt goede (gen) AI. toepassing.

Het in natuurlijke taal een vraag stellen over je bedrijfs documenten en die even natuurlijk beantwoord zien, (Bing enterprise chat), blokken code die op vraag gegenereerd worden (Github Copilot), zijn echte gamechangers, die ik dagelijks in mijn voordeel gebruik..

[StackMySwitchUp]

Oh ja zeker, jij gebruikt het zoals het bedoeld is. Maar jij weet waarschijnlijk ook exact wanneer dat blok code een fout bevat, of je past het aan aan je eigen doel.
En LLMs gebruiken om documenten samen te vatten, is *exact* waar het voor is gemaakt.

Ik moest laatst als ICT'er verantwoorden waarom een random pipo bij de klant met Copilot een powershell script had "geschreven" waarmee een langlopend probleem "opgelost" werd. (de optie waar men een issue mee had werd uit het register verwijderd, probleem opgelost want mensen zagen het niet meer) Bleek dat Copilot gewoon een reddit pagina had gevonden waarin dit beschreven stond.

Waar ik moeite mee heb is dat GenAI wordt toegepast als beslissingmaker, trendanalysesysteem, volledig autonome werker, communicatiesysteem zonder toezicht (chatbots)
en dat alles wat eruit rolt meteen voor waarheid wordt aangenomen.

Ik weet ook dat Google vanwege hun partnership met Reddit de meest idiote shit uitkraamt waar echte menselijke consequenties aan hangen.
Ook beoordelen ze flags op Youtube met AI, en heel vaak worden items die onterecht geflagd worden toch neergehaald, terwijl andere items die ècht tegen de TOS gaan dat niet worden.
Meta gebruikt het om content te analyseren, daar gebeurt hetzelfde (kijk wat de staat is van Facebook)

Intussen gebruiken spammers het om SEO te manipuleren.. en dat komt nog het dichtst bij de echte usecase van LLM

Ik reageer negatief omdat ik vind dat men moet inzien dat een LLM nog geen AGI is en niet als zodanig gebruikt moet worden. De concensus lijkt hier namelijk dat men dat wel doet, en dat vind ik zorgelijk.

[Reactie gewijzigd door StackMySwitchUp op 5 augustus 2024 06:40]

[Coolstart]

De volgende stap in de ontwikkeling van AI is het gebruik van business data, maar omdat bedrijven die closed source willen houden is dit van beperkt nut.

Wat is van beperkt nut? Een AI model trainen op eigen data? Raar dat je daar geen nut ziet. Het is net de heilige graal.

Men is al aan het overstappen op eigen modellen, en AI compute wordt daarmee meer een verkoopbaar item dan het trainen van LLMs (waarbij dat laatste vooral profiteert van heel veel parallelle computing kracht)

Dit begrijp ik niet. Welke AI bedrijven ook willen trainen, je zal altijd hardware nodig hebben. Of die nu lokaal staat, in de cloud maakt niet uit. Nvidia verdient hun CUDA ecosysteem.

Nvidia ziet dat de eerste "AI" trend voorbij is en verwacht annuleringen?

De vraag zal altijd maar toenemen. Nu is AI trainen nog erg duur. Het is best mogelijk dat het goedkoper gaat worden om vraag/aanbod te reguleren.

Ik weet niet of je het beseft maar AI is nog maar net gestart. Het zit nog maar amper in computers en software. De meeste AI tools staat in beta of V1 stadium.

De vraag naar AI zal vanaf nu enkel maar toenemen.

Dat mensen aandelen verkopen of kopen is niet meer of minder dan speculeren op dat aandeel. Het heeft weinig met de vraag naar AI te maken.

[Reactie gewijzigd door Coolstart op 4 augustus 2024 11:47]

[MoneyThrill]

In video zegt Warren Buffet dat hij in begin van zijn carrière 40.000 bladzijden gelezen heeft. En zei "You cannot be in love with the money but with the subject, the company "! Net daarom ben ik ingeschreven op mails van investors relations van bedrijven. Ik bestudeer hun producten en innovaties. Veel weet ik nog niet maar leer veel bij. PATROONHERKENNING in Black Boxes is uiterst belangrijk en duurt toch 3 maand om te trainen. Drdr werd menselijk genoom ontrafeld in 2 dagen ipv 14 jaar ... en zonder fouten.

[Wim Cossement]

Het mag al een tijdje geleden zijn dat ik met deze materie in contact kwam, maar voor zover weet is er niet veel rekenkracht of AI nodig om genetische code te sequencen.
In 2001 was het nog 100 miljoen dollar om een volledig genoom te laten decoderen, in 2021 nog iets van een $500.

[BlaDeKke]

Maar dan moet het echt wel problemen beginnen oplossen ipv hallucinaties en gekke plaatjes maken.

Dat AI ooit de heilige graal gaat worden staat voor mij in stenen gegrift. Maar of dat LLMs gaan zijn die op CUDA hardware draaien en dat in voorzienbare toekomst is toch een groot vraagteken. Hier en daar komen de eerste geluiden dat LLMs tegen limieten aanlopen, meer data en meer hardware tegen een LLM aangooien heeft zijn grenzen. Ik vermoed dat dat intern bij OpenAI en consorten reeds duidelijk is daar we nu wel heel weinig lawaai horen tov een jaar geleden.

Het kan goed zijn dat je gelijk hebt hoor, maar imo is dat een dubbeltje op zijn kant.

[Reactie gewijzigd door BlaDeKke op 4 augustus 2024 17:30]

[Coolstart]

Hier en daar komen de eerste geluiden dat LLMs tegen limieten aanlopen, meer data en meer hardware tegen een LLM aangooien heeft zijn grenzen.

Dat zeggen 'ze' al van dag 1 dat GPT uitkwam. Het is enkel maar beter geworden sinds dan. Dus er is echt geen sprake van harde grenzen waardoor ze zouden vastlopen. Laat staan een dubbeltje op zijn kant.

Maar dan moet het echt wel problemen beginnen oplossen ipv hallucinaties en gekke plaatjes maken.

Hallucinaties oplossen is niet zo een groot probleem. Het kost gewoon extra computerkracht omdat je een output moet controleren met die zelfde AI. Ook zie je dat modellen er standaard beter in worden.

Ik vermoed dat dat intern bij OpenAI en consorten reeds duidelijk is daar we nu wel heel weinig lawaai horen tov een jaar geleden.

Dit begrijp ik niet, ze verbeteren het net tegen een hoog tempo. Dat een nieuwe release het nieuws niet meer haalt zegt eigenlijk niet over het het taalmodel maar de nieuwswaarde is er af. In 2025 komt OpenAI met een nieuw gespoken taalmodel waarmee je converstatie kan voeren, veel beter dan de 2024 versie als je de demo's mag geloven. Dusja, dat 'lawaai' is heel erg relatief.

LLM's lopen niet tegen absolute limieten aan. De grootse limiet is nu rekenkracht, kostprijs en frameworks. Bijvoorbeeld rond validatie en compliance. Niet elk bedrijf heeft een paar miljoenen liggen om een eigen model te trainen en te valideren. LLM's zijn nu vooral general purpose omdat het je eerst de geschreven wereld moet 'begrijpen' alvorens je in detail kan gaan. De volgende stap is bijv video feeds te integreren zodat AI de wereld nog beter begrijpt. Ook daar is weer rekenkracht voor nodig. Net zoals je meer rekenkracht nodig hebt om GPT-Science te bouwen of een specifieke versie die code schrijft, zelf kan compilen en zichzelf testen in een interface etc.

Ik zie echt niet in dat het een dubbeltje op zijn kant is. Bijvoorbeeld Tesla heeft sinds V12 geen code meer in zijn autonoom model. Je kan er gif op innemen dat het niet zolang meer gaat duren dat een autonoom voertuig in alle omstandigheden beter kan rijden dan een mens. Tesla is trouwens video only. Je hebt er wel een miljardenbedrijf voor nodig om zo'n AI te bouwen. Daar zit de traagheid in. Goedkopere en zuinigere rekenkracht is een noodzaak om AI echt open te breken. Hence de Nvidia B200.

[BlaDeKke]

In je laatste alinea haal je voor mij je geloofwaardigheid volledig onderuit. Ik zie een auto naast de autostrade nog lang niet zelfstandig rijden, laat staan beter dan een mens.

Sinds een paar maand zijn de eerste papers gepubliceerd die aantonen dat LLM deminishing returns kent bij het vergroten van de dataset en rekenkracht.

Only the future will tell. Ik hoop dat je gelijk krijgt, maar ik vrees er voor.

[Coolstart]

Ik zie een auto naast de autostrade nog lang niet zelfstandig rijden, laat staan beter dan een mens.

V12.5 rijdt anders gewoon rond ;-)
YouTube: FSD Supervised v12.5.1.1 - First Impressions

Sinds een paar maand zijn de eerste papers gepubliceerd die aantonen dat LLM deminishing returns kent bij het vergroten van de dataset en rekenkracht.

Ja dat gaat over de zelfde data, zelfde concept, dat heb je bij Tensorflow ook.

[BlaDeKke]

Ja die rijdt inderdaad gewoon rond. Wat werkelijk waar gek is. Jij hebt die video’s gemist waar FSD faalt?

[Coolstart]

Je focust zo op dat falen. Wat belangrijker is, is de progressie. Update na update is er effectief progressie.

Hater focussen op wat niet kan en extrapoleren die data in de toekomst ‘zal nooit werken, enkel autosnelweg etc’. Zie eens hoeveel doden, EV’s ontbranden na een ongeval en ga maar door.

FSD faalt soms idd. Toch zie je dat ze minder en minder falen tot op het punt dat je echt al naar edge cases moet zoeken om het te laten falen. Elke keer dat het gebeurt leert de AI weer bij.

Het ‘probleem’ vandaag is dat het te weinig faalt en er te weinig data is om op te leren. Daar zullen ze weer iets op vinden natuurlijk maar uiteindelijk zal het model er komen.

Waymo rijdt ook al unsupervised. Wel op andere technologie en in een selecte regio.

Dus comments als ‘we zijn er nog lang niet’, enkel autosnelweg etc kloppen niet echt. De vraag is, wat is ‘lang’? 1jaar? 5 jaar, 10 jaar, 20 of 50 jaar?

Voor FSD is het sowieso binnen de 5jaar. Mogelijk volgend jaar al unsupervised beta en tegen 2030 unsupervised als werkbaar product. Afhankelijk van wat ‘lang’ is, is 5jaar eerder kort.

Het zal nog wel 10jaar duren voor dat het in gewone auto’s breed beschikbaar is als een compleet gevalideerd product.

[BlaDeKke]

Heb je dan gekeken naar hoe een waymo rijd? Met al die extra lidars op zijn dak? Er is een kanaal van iemand die vaak waymo taxi’s neemt. Zeer interessant om te zien. Maar dat bevestigd toch gewoon dat we er nog lang niet zijn.

Ik ben geen hater, ik probeer realistisch te zijn. Ik hou van technologie dus ik moet voorzichtig zijn met mijn bias. En ik probeer te zien naar de data die er voorhanden is. Die waymos sukkelen in afgebakende gebieden die tot in detail in kaart gebracht zijn en dat in steden die er voor geschikt zijn. Dat rijdt de komende 10 jaar niet rond in Europese steden en verkeer.

Ik wil niet anders dan autonome wagens in het verkeer, no more monkeys driving cars. Maar je moet toch realistisch blijven en je kan gewoon niet stellen dat FSD sowieso binnen 5 jaar volledig zelfstandig rijdt. Dat kan Elon noch zijn engineers zeggen. En zoals ik al heb gezegd, zo’n beweringen halen direct je geloofwaardigheid onderuit en maakt van jou een enorme opportunist.

[Reactie gewijzigd door BlaDeKke op 5 augustus 2024 16:06]

[Hoenens]

Hahaha AI over? We beginnen maar net... op dit moment trainen wij het nog, er zal een moment komen waarop het echt zelf gaat denken. En dan zijn de chips nog meer nodig dan nu.

[Visgek82]

AI Trend voorbij? dit is nog niet eens begonnen. Over 20 jaar is ALLES ai.

[Kapotlood]

Als het in de praktijk klopt dat de nieuwe B200/G200 GPU's tot 2,5x sneller zijn én veel minder (±25-50%?) minder energie gebruiken, dan denk ik dat het hooguit een klein dipje qua wachttijd is… zo'n verbetering tegenover de H100 zal de hele markt redelijk opschudden gok ik, met snelheids/verbruikswinsten waar alle afnemers een behoorlijke winst op gaan maken.

En met AMD die langzaam aan op stoom komt in die markt (maar helaas nog wel veel achter lijkt te blijven), zou het me niets verbazen als Nvidia de komende 12-18 maanden nog flink verder groeit.

[naaitsab]

Ik vraag me af hoe Tweakers aan deze constatering rondom energiegebruik komt. De H200 gebruikt om en nabij 750W en de B200 1000W tot mogelijk 1200W. Of de minder is een vertaalfout en zou meer moeten zijn. De insider informatie rondom de gaming variant van Blackwell laten ook een hoger gebruik zien dan de huidige Lovelace architectuur.

Of ze doelen op de "truc" om de powercap wat naar beneden te zetten zodat de output qua rekenkracht soort van gelijk blijft maar de chip minder stroom gebruik. Iets wat meestal niet gebeurt in dit soort server/cluster omgevingen.

[BlueTooth76]

Uiteindelijk gaat het om verbruik vs prestaties. Als een GPU bijvoorbeeld 500% meer stroom verbruikt maar 1000% sneller is, is hij onder de streep zuiniger. Datacenters bepalen hoeveel Gigaflops ze nodig hebben en de H100 was lange tijd aanvoerder van de lijst van meest efficiënte datacenter GPU's. Een GPU die meer Gigaflops per watt doet, is zuiniger.

[Reactie gewijzigd door BlueTooth76 op 4 augustus 2024 11:42]

[naaitsab]

Daarom is het altijd zuiverder om te stellen dat de chip niet zuiniger is maar wel/niet efficiënter. Verbruik is hoeveel Watt er wordt gebruikt. Efficiëntie is hoeveel "waar" krijg je terug per Watt. Het blijft een semantische discussie, zeker gezien niet elke workload en datacenter/supercomputer opzet hetzelfde is.

[StackMySwitchUp]

Ik vraag me af of het de upgrade waard is als je bedenkt dat die dingen 40k per stuk kosten, datacenter tarief voor stroom is niet de drijvende factor, koeling en rackspace wel. Als je een gpu plaatst die 2x zoveel verbruikt dan moet je op hetzelfde oppervlak 2x zoveel warmte afvoeren, en dat is vaak 3x zo duur en neemt meer ruimte in. Netto is het een lastige rekensom, maar wellicht dat Nvidia dit goed heeft geoptimaliseerd om zoveel mogelijk winst te maken.

[SG]

nvidia heeft een enorme overmarge winst op die AI GPU dat AMD helft performance kwart MSRP nog altijd ook dikke marge zal hebben. En data center trekt die AI prijzen te gortig vinden , maar te klein zijn zoals Google om zelf AI chips te ontwikkelen.
Die zeer hoge prijzen zorgt dat het zin heeft om als iNtel AMD Apple Google Amazon etc ook zelf AI cpu te ontwikkelen. Zolang de AI bubbel blijft aanhouden.

[hooibergje]

Het lijkt haast alsof alle chipbakkers zich tegen elkaar naar de hel aan het racen zijn, en dat ze het er over eens zijn geworden om nu even een half jaartje pauze te nemen om achterstalling puin wat is opgehoopt in die race weg te kunnen ruimen.

[Druid]

Oef… dit zal het aandeel niet goed doen aankomende maandag. Na een zware week, door een verwachtte recessie, kunnen dit toch de katalysators zijn die het aandeel verder naar beneden zullen drukken.

Gisteren ook naar buiten gekomen dat Buffet 49% van zijn apple aandelen heeft verkocht afgelopen kwartaal en zijn cash-stockpile enorm heeft verhoogd, blijken alle seinen op een aankomende uitverkoop. Leuk straks aandelen kopen met een dikke korting 😉.

[Finder]

Ik denk dat we de bodem nog moeten zien, maar idd die signalen zijn treffend, net als de koersval van vorige week. Het

[barbarbar]

Wellicht is hij aan het voorbereiden om Intel in te lijven. Zijn aan- en verkopen zou ik niet te veel achter zoeken. Altijd leuke speculatie, maar zijn echte beweegredenen zijn vaak simpeler. Vaak gaat het om belastingtechnische redenen, of ziet hij ergens een kansrijkere mogelijkheid. Let wel dat met een kwart triljard, je hele andere zorgen hebt dan de belegger die met een paar duizend z'n acties zit te bestuderen.

[Druid]

Het gaat mij er zeker niet om om zijn gedrag te kopiëren oid, maar zijn filosofie in de aandelenmarkt is wel een mooie om te volgen. Hij weet altijd heel dondersgoed wanneer de markt “greedy” wordt, dan zie je zijn cashpile ook significant toenemen. Er zijj ook enorm veel signalen die op een wellichte correctie/crash duiden. Er zijn aandelen die ik niet/nooit ga verkopen, maar ik probeer wel cash achter de hand te houden voor zulke kansen.

[slamhk]

Thor zal waarschijnlijk ook vertragingen krijgen.

[lighting_]

Al die tientallen miljarden van META MS etc moeten wel leiden tot omzet en winst.
Zover zie ik dat nog steeds niet gebeuren. Leuke pics en een kort filmpje. Wat hebben wij als consument eraan? Wanneer leidt dat tot vereenvoudiging op kantoorwerk?
Tuurlijk Copilot is leuk maar geen groot onderneming betaalt 20/30 euro pp per maand extra
Iedereen stapt op de trein om niet achter te blijven maar ze betalen een ongelooflijk hoge premie daarvoor.

[iRob87]

Al die tientallen miljarden van META MS etc moeten wel leiden tot omzet en winst.

Wie zegt dat het moet leiden tot omzet en winst? De grote tech bedrijven willen vooral de boot niet missen.
Grote tech bedrijven hebben twee opties. Je doet mee met AI of je doet niet mee met AI.
Als je mee doet met AI en het bleek een hype te zijn, kost het wat centjes en gaan we daarna door als vanouds.
Als je niet mee doet met AI, en je concurrent doet wel mee, kan het gebeuren dat AI toch geen hype bleek te zijn.
In het geval je concurrent je dan voorbij gaat en misschien wel de markt over neemt is er mogelijk geen tijd meer om die achterstand in te halen.

[lighting_]

Tuurlijk moet het leiden tot omzet en winst.
Het zijn commerciële bedrijven
Dat type ik toch ook. De boot niet willen missen kost een vermogen.

[W32.il0veyou]

Moet G200 niet H200 zijn? En wat heeft dat te maken met de vertraagde B200?

Edit: het artikel is aangepast en nou krijg ik downvotes 😂

[Reactie gewijzigd door W32.il0veyou op 4 augustus 2024 21:04]

[Peahimaui]

Waarom nou weer "designprobleem" in plaats van ontwerpprobleem? Kan elke journalist geen Nederlands meer?

[bussie66]

Klinkt interessanter

Moet je eens bijvoorbeeld gaan luisteren naar BNR, worden ook constant nederlandse en engelse woorden door elkaar gebruikt, terwijl er fatsoenlijke nederlandse woorden voor zijn.

Is taalgebruik van snelle commerciele gastjes die interessant wiilen overkomen.

Maar ook bij mij op het werk komt het helaas voor.

[MPAnnihilator]

Is o.a. een gevolg van het feit dat in veel van deze bedrijven Engels de voertaal is. Ik stoor mij er echt niet aan. Is gewoon gebruikelijk in functionele taal, ik zou soms ook beter mijn emails herlezen voor ik ze verstuur, maar de boodschap is belangrijker dan de vorm.

[1Joshua5]

Na intel rommeld(kunnen jullie me op een spelfout betrappen) het ook bij Nvidia. Who would have thought about that to be happening. Maar even serieus. Een Ai bubbel ligt in de lijn der verwachting om daarna weer op te komen. Ai is eigenlijk helemaal geen Ai maar ondanks dat heeft het zijn nut. Ik mag het graag gebruiken met Unity en C#. Bruikbare code leverd het niet op maar helpt je wel in de goede richting. Beter dan diverse how do i code sites.

Affijn misschien worden gamers weer ietswat belangrijker voor Nvidia maar hoop er niet teveel op toch een beetje stiekem.

[MoneyThrill]

Inderdaad, AI is eigenlijk een slechte naam .... het heeft niets te maken met intelligentie maar Patroon herkenning in Black Boxes. Zo kon bij oogonderzoek een verschil vastgesteld worden in geometrische oogstructuur bij man/vrouw. Er is dus een verschil in Patroon tussen man en vrouw maar wat dat verschil is weet men niet? En trek de stekker uit stopcontact en Intelligentie onderzoek is afgelopen. Er is altijd menselijke insteek nodig