OpenAI begint met trainen 'GPT-5'

OpenAI is begonnen met het trainen van het model dat vermoedelijk zal uitkomen als GPT-5. De training van het model kan nog maanden duren. OpenAI wil toewerken naar 'algemene kunstmatige intelligentie', een systeem dat slimmer is dan mensen.

De opvolger van GPT-4 moet onder meer de basis vormen voor chatbots, plaatjesgenerators en digitale assistenten, schrijft The New York Times. Ook introduceert OpenAI een nieuwe commissie voor veiligheid en beveiliging. Het bedrijf heeft de vorige onlangs opgedoekt. De nieuwe commissie moet ervoor zorgen dat AI-modellen veilig zijn om te worden gebruikt door het publiek en geen gevaar gaan vormen voor de maatschappij.

Nu de training is begonnen, is het afwachten wanneer de release plaatsvindt. Het trainen duurt doorgaans minstens enkele maanden, waarna bedrijven vaak ook nog maanden nemen voor het testen en afstemmen van het model op de eisen. Die tweede stap, reinforced learning from human feedback, is belangrijk om ervoor te zorgen dat een AI-model niet uit de bocht vliegt en bijvoorbeeld gaat suggereren om geweld te gebruiken of vragen beantwoordt op een manier die OpenAI in de problemen kan brengen. OpenAI zegt niet wanneer de opvolger van GPT-4 uitkomt. Het recentste model is GPT-4o.

Reacties (93)

[resistme]

Hun modellen blijven tot nu toe goed presteren in verhouding tot de rest. Maar ik had verwacht dat ze toch al een klein stapje verder waren in de voorbereiding van de volgende fase. Tenslotte is 4 al bijna 2 jaar oud sinds het begon met de eerste training en is de concurrentie veel dichterbij gekomen in die tijd. 4.5 is misschien wel al klaar en dat daardoor nu 5 kan beginnen op de beschikbare compute.

Altman gaf recent in een interview aan dat een van zijn grootste zorgen het verkrijgen van stroom is. Zuckerburg gaf het zelfde aan. De GPU zorgen nemen tenslotte af. Men sprak over de hypothetise wens om te groeien naar 1 GW supercomputers. Oftwel een gemiddelde kerncentrale. Los van millieu is dat natuurlijk ongelovelijk. Tot nu toe laten de modellen zien dat ze heel schaalbaar zijn en ik ben heel benieuwd waard de grens blijkt te liggen voor die schaalbaarheid.

Een volgend fase model is hopelijk goed genoeg om echt goede synthetische data en als scheids (voor RLFF) te fungeren voor het trainen van kleine hele domein specifieke modellen. Dat zou ze veel geschikter maken en efficienter om toe te passen op AI chips en echt op te schalen.

[Reactie gewijzigd door resistme op 22 juli 2024 16:04]

[Pannekoek17]

Een systeem slimmer dan de mens, stroomverbruik van een gemiddelde kerncentrale. En wat zeggen ze dat ze ermee willen doen: chatbots, plaatjesgenerators en digitale assistenten. Zucht... John McCarthy/Alan Turing en nog wat anderen draaien zich om in hun graf.

Ben ik de enige die het zo ongelooflijk teleurstellend vind dat dit blijkbaar is waar de focus op wordt gelegd? Als je iets creeert wat slimmer is als de mens zou je op zijn minst toch willen zien dat het iets gaat doen aan ziektebestrijding, armoede, verbeteren van het klimaatmodel van de aarde, astronomie, om maar een paar dingen te noemen...

[kozue]

Het doet deze zaken omdat het juist *niet* slimmer is dan de mens. Het heeft een paar trucjes geleerd en dat is het. Huidige "AI" is nog helemaal niet in staat om ons te helpen bij het oplossen van wereldproblemen. Dus voorlopig zit je vast aan nutteloze toepassingen die massa's stroom verspillen voor triviaal tijdsverdrijf. En dat zal met versie 5 echt niet anders worden.

[anno361]

AlphaFold bewijst toch wel het tegendeel.

Er zijn wel degelijk dingen die het beter kan.

En nee, AlphaFold is geen "Brute Force".

[Reactie gewijzigd door anno361 op 22 juli 2024 16:04]

[Ero-Sensei]

Ik heb er weinig verstand van hoor, maar ik heb meer het idee dat ze qua gebruik aan de veilige kant gaan zitten omdat het wellicht wat beangstigend is wat er uit komt wanneer de echte vraagstukken gesteld gaan worden?

Zouden ze het niet gewoon nog als 1 grote testfase zien?

[muffer]

De huidige 'AI' tools zijn niets anders dan voorspellers en generatoren. Ze kennen niet de concepten waar ze mee werken.

Als je vraagt om een plaatje van een auto gaat de generator aan de slag met het genereren van een plaatje waarvan het weet dat het overeenkomt met honderdduizenden of miljoenen plaatjes van auto's. Wat een auto is, dat het een stuur en wielen heeft weet het model niet.

Als je vraagt om een stuk te schrijven over mensenhandel gaat het model woorden zoeken die voorkomen in bestaande stukken over mensenhandel. Daarna gaat het model die woorden aan elkaar rijgen met woorden die geassocieerd worden met woorden over mensenhandel.

Het model weet niet echt wat mensenhandel is. Het weet niet dat het iets slechts is, het weet niet dat het leed veroorzaakt. Het model weet niets eens wat leed is, of überhaupt het verschil tussen goed en slecht.

Het enige wat de huidige 'AI' modellen kunnen is verbanden leggen tussen woorden, elementen van afbeeldingen en APIs waar ze op aangesloten zijn.

Naar mijn mening kun je deze modellen dat ook niet echt AI noemen. Het zijn enorm complexe versies van predictive tekst en afbeelding samenvoeg software. Echt iets bedenken kunnen ze niet, omdat ze de concepten waar ze mee werken simpelweg niet kennen of begrijpen.

[Reactie gewijzigd door muffer op 22 juli 2024 16:04]

[Dropelke]

Ik verwacht niet dat AI ooit (zelf)bewust zal worden. Hoewel niets uitgesloten kan worden, is de kans hierop wel erg klein. Wat we kunnen verwachten, is dat de mogelijkheden en prestaties van AI significant zullen verbeteren. Dit betekent echter niet dat AI (zelf)bewust wordt. Een interessant gedachte-experiment dat hierop ingaat, is de Chinese kamer. Zie : De Chinese kamer

[_NooT_]

Ik verwacht niet dat we ooit echt AI gaan meemaken zonder enige vorm van zelfbewust zijn.
Als je de huidige staat vergelijkt met mensen is deze eigenlijk superdom.
Miljoenen beelden nodig van auto’s en dan nog moeite hebben met het herkennen ervan of het genereren van een goed kloppend plaatje… Vraag eens een gemiddelde kleuter van 5 (in bijv Nederland) wat een auto is of er 1 te tekenen.
Natuurlijk zal dit er niet zo goed uitzien en ook echt niet kloppen, maar die kleuter beseft heel erg goed wat een auto is. Die heeft er slechts duizenden gezien en vaak nog dezelfde, maar die heeft ze ook ervaren. Die heeft erin gezeten en gevoeld hoe het is om verplaatst te worden op een andere wijze dan dat het kind zichzelf kan verplaatsen.
Zolang een AI een abstract model in een (enorm) gebouw is, zal deze dat nooit ervaren. Zal deze nooit onderdeel zijn van de wereld of maatschappij. Nog niet als het 100. kerncentrales aan energie verspilt.

Uiteindelijk zal.dat vast ook wel ‘aangeleerd’ kunnen worden, maar volgens mij zijn we voorlopig zo ver nog niet.

[muffer]

Een zelfbewuste AI is zeker mogelijk, maar dat zou een heel ander soort computer moeten zijn dan wat we nu kennen. Daarvoor zijn hardware ontwikkelingen nodig, niet software.

[Dropelke]

Ik ben het absoluut oneens met de stelling dat een zelfbewuste AI zeker mogelijk is. Wetenschappers hebben wel enige kennis van waar dingen in de hersenen gebeuren, maar ze hebben geen enkel idee wat bewustzijn en zelfbewustzijn bij mensen, dieren en andere levensvormen eigenlijk is. Op het moment dat je zegt dat een zelfbewuste AI zeker mogelijk is, zeg je dat het zeker mogelijk is om een nieuwe levensvorm te creëren, en dit ook buiten de DNA-structuur, aangezien al het leven op aarde uit dezelfde bron komt.

[muffer]

Dat die AI er niet komt tot we veel meer weten van hersenen is zeker waar. AI gaat er vast wel komen, maar denk niet dat ik het met mijn 32 jaar nog ga meemaken.

[Darkwolf_1982]

Hoe weet jij of zelfbewuste AI mogelijk is?
We weten zelf nog steeds niet eens wat bewustzijn is, überhaupt.

Je had wel wat onzinnige en middels achterhaalde mythes dat bewustzijn vanuit de hersenen gegenereerd word. Een slechte bijzaak van het hoge materialisme in de mindset van hedendaagse "science".
Vandaar dat ik 'm even benoem. Helaas nog veel mensen die daar in geloven...

[uiltje]

Sorry, maar ik kan een beschrijving van een taal geven en dan maakt het ding een BNF notatie voor die taal en daarna vertaalt ie het ook nog een keer naar JavaCC voor me. Deze dingen kunnen wel degelijk verschillende kennis samen voegen, en dat vind ik wel wat meer dan "voorspellen" of "genereren". Of anders kan je met dat voorspellen of genereren gewoon genoeg.

[kozue]

Misschien zijn ze bang dat als ze AI vragen hoe ze deze planeet beter kunnen maken, dat het antwoord zal zijn om de diersoort “homo sapiens” er helemaal vanaf te halen, omdat die toch alleen maar bezig is z’n eigen planeet te verwoesten voor nutteloze doelstellingen als commercie en datacentra?

[Nikvdw]

iedereen moet eens beginnen stoppen met te doen alsof stroom verbruik een slecht iets is. Elektriciteit is de fundering van de moderne samenleving. Het is de hoofdreden waarom we de afgelopen 100 jaar zulke grote stappen gezet hebben.

Why energy consumption is a good thing (bit unrelated, but the message is the same)
YouTube: Answering Common Bitcoin Criticisms w/ Lex Fridman

[Timmmeeehhh]

Het idee achter in de eerste plaatst focussen op de iets meer consumer facing dingen of tools om bedrijfsprocessen makkelijker te maken is omdat je daarmee geld kan verdienen en sneller dus betere modellen kan trainen. Uiteindelijk zou AGI gewoon general purpose ingezet kunnen worden natuurlijk, maar moet je wel eerst tot dat punt komen (en dat kost erg veel geld)

[jsiegmund]

Het een sluit het ander toch niet uit? Al de dingen die je noemt wordt ook aan gewerkt, maar dat zijn - tot de grote doorbraak - niet de dingen waar je het grote publiek mee verwondert. En ChatGPT is nu eenmaal een large language model, dus dat de toepassingen daarvan zich focussen op dingen die met taal te maken hebben is ook niet zo vreemd.

Kortom: zijn twee verschillende dingen die prima naast elkaar kunnen bestaan. Je zou wellicht kunnen stellen dat de ChatGPT onderzoekers zichzelf nuttiger zouden kunnen maken door aan andere modellen mee te werken, maar dat argument kun je dan net zo goed gaan toepassen op iedereen met een goede set hersenen die niks maatschappelijks bijdraagt. Daar zijn er nogal veel van.

[demonite]

Tja, dat is maar net wat verstaan wordt met "slimmer dan de mens".. Het blijft natuurlijk "Chat"GPT

Maar, ik vraag me wel af of het mogelijk zou zijn om weer radarbeelden/video te gebruiken als trainingsdata en dan de AI dus de volgende beelden te laten "voorspellen", zonder dat het dus weet heeft van de daadwerkelijke fysica.
Vermoeidelijk gaat dat redelijk goed zolang de beelden vergelijkbaar zijn met de trainingsdata.

[IHVD]

Nouja, weervoorspellingen komen ook voort uit plaatjes toch , als je de volgende set plaatjes kan generen kom je al een hoop op weg met wat het weer eventueel kan doen.

Met een hoop plaatjes van astronomie kan je vast ook een boel data vergaren die mensen net over het hoofd zien.

[matthewk]

Het is echter nog niet slimmer dan de mens, en dat zal ook nog wel geruime tijd duren. Dit is een tussenstap. De vooruitgang is echter (te) snel.

[Balance]

Een van de problemen is dat de energie efficiëntie van supercomputers de laatste jaren niet heel hard meer toeneemt. Neem bijvoorbeeld de meest efficiënte supercomputers uit de Top500-lijst, ook bekend als de
Green500:

• https://tweakers.net/foto...hkmfa4aD014uXci1bR4rZ.png

Je ziet dat sinds de introductie van de MI250X er nauwelijks nog winst is geboekt qua energie efficiëntie.

Onderliggende problemen zijn dat silicium duurder wordt: De kosten per transistor dalen sinds 28nm een stuk minder hard (tot niet) dan voorheen. Om toch steeds sneller te kunnen elke generatie wil je meer uit de (dure) transistoren halen, en ga je ze dus hoger klokken. Daarom zien we nu ook ineens 1000 watt acceleratoren.

Naast dat de kosten per transistor steeds minder dalen zijn ook daalt ook het verbruik per rekenkracht steeds minder. Waar het vroeger heel gebruikelijk was dat bij een nieuw process een vergelijkbare processor 50% of zelfs 60% minder stroom verbruikte, mag je nu blij zijn met 30% minder verbruik. A16, een peperduur TSMC process gepland voor eind 2026, verwacht slechts 20% energie te besparen ten opzichte van N2P.

Tegelijkertijd heeft sinds GPT-3 iedereen het gevoel vlak bij AGI te zitten, dus zijn er belachelijke bedragen beschikbaar om te kijken of dat ook daadwerkelijk het geval is. Want de eerste met functionele agents op menselijk niveau heeft een goudmijn in handen, ook al is het enkel "software".

Ondertussen is de initiële schok op de hardware markt voorbij en zijn de meeste spelers gewend aan een "nieuw normaal" waarbij, datacenter een gigantische markt is. Waar Nvidia bijvoorbeeld nog meer dan de helft van zijn omzet uit gaming haalde slechts twee jaar geleden, komt nu dik 80% uit het datacenter. Hun datacenter omzet is een factor 6x gestegen, en met H200 superchips en Blackwell lijkt daar nog geen eind aan te komen.

Dus, samenvattend:

• Er kan minder snelheids- en energiewinst uit nieuwe semiconductor nodes worden gehaald
• Om toch te blijven groeien en de dure chips eruit te halen wordt er hoger geklokt
• Er is een enorme vraag naar AI-acceleratoren vanwege de AGI gold rush
• Het aanbod is ondertussen redelijk op peil

Of dit dan ook een bubbel is, vind ik heel moeilijk in te schatten, en weet denk ik (bijna) niemand. De grote vraag is hoe snel kunnen bedrijven er hoeveel waarde uit halen, en kan dat de huidige investeringen goedmaken.

Het zou kunnen zijn als VR in de jaren 90: Heel veel hype, heel veel investeringen, maar uiteindelijk gewoon technologisch echt te vroeg voor prime time.

Het zou ook een iPhone-moment kunnen zijn voor AI, waarbij alle technologische puzzelstukjes er lagen maar ze enkel nog aantrekkelijk genoeg geïntegreerd moesten worden.

Of ergens er tussen in, zoals een dot-com bubbel waar miljarden de potentie er wel degelijk zat maar het gewoon nog allemaal net iets te vroeg was.

[Anoniem: 80910]

Die llm's zullen het vast goed doen op quantum computers..

[PearlChoco]

Eigenlijk ongelofelijk dat de maatschappij dit toestaat. Op die manier wordt het aan sneltempo bijcreëren van groene stroom dwijlen met de kraan open.

In feite zouden dergelijke datacentra enkel mogelijk gebouwd worden als het volledig energieneutraal kan werken.

[Jorah_Newstone]

Aan de andere kant, kan dit ook juist helpen met het oplossen van energie problemen. Zodra het echt slimmer is dan eens mens kan dit als een sneltrein gaan lopen. Of bijvoorbeeld nu al kan je AI inzetten voor het analyseren van stroomgebruik en AI suggesties laten doen om bijvoorbeeld slimmer te schalen. Wij mensen zijn niet perfect en zien soms dingen over het hooft, AI kan die blinde vlekken zeker wegnemen.

[bartvb]

Alleen is het bedenken van slimme oplossingen niet waar de schoen wringt. Er zijn al heel erg veel analyses + bijbehorende oplossingen bedacht voor alle grote problemen in de wereld. Waar het op vastloopt is de kortzichtigheid van de mens.

Kijk naar het klimaatcrisis. Je hoeft echt niet 'slimmer dan de mens' te zijn om te zien dat veel meer resources onttrekken aan de natuur dan kan worden aangevuld (olie, intensieve landbouw, alle mijnbouw, etc, etc) geen houdbaar systeem is. Op een gegeven moment zijn je resources op.

Je hebt ook geen IQ boven de 70 nodig om te zien dat het tempo waarin we broeikasgassen uitstoten tot heel erg grote problemen leidt en tot nog veel grotere problemen gaat leiden.

Er zijn oplossingen voor die problemen, maar 'we' willen het probleem niet zien, we willen vasthouden aan hoe we het altijd hebben gedaan en we zitten in een kansloze 'Ja maar China!' retoriek.

AI gaat daar echt bijzonder weinig aan bijdragen zolang we in het huidige politieke systeem blijven zitten waarin het vooral gaat om zieltjes winnen voor de volgende verkiezingen en de lange termijn het altijd aflegt tegen de kortzichtige 'wins'.

Maar misschien dat AGI als onze overlord een oplossing is

[Reactie gewijzigd door bartvb op 22 juli 2024 16:04]

[yatogami28]

We produceren best veel stroom die nu voor niks gebruikt wordt. Als we nou een beter infrastructuur hebben en de stroom kunnen doorverkopen aan zulke datacenters. Dan hebben we in ieder geval iets.

[The Third Man]

Je kan geen stroom het net invoeren zonder dat de frequentie stijgt, daarom wordt vraag en aanbod constant in balans gehouden. Het kan dus nooit zo zijn dat er veel stroom geproduceerd wordt die voor niks gebruikt wordt.

[yatogami28]

Vraag en aanbod wordt in balans gehouden door verschillende methodes zoals energie opslag. Overtollige energie die niet nodig is wordt dan in orincipe wel voor eit sgebruikt. Maar waarschijnlijk niet voor stroomtoevoer. Hoeft idd niet sltijd eht geval te zijn

[Ludewig]

Het voordeel van servers is wel dat je ze bij de stroombron kan neerzetten, terwijl je huishoudens niet zomaar even verplaatst.

Zo zou je wereldwijd grote velden met zonnepanelen kunnen plaatsen op plekken waar dit het meest oplevert: https://fingfx.thomsonreu...dlpq/WolrdSolarGISMap.png

Vervolgens kun je de servers er vlakbij plaatsen, zodat de transportverliezen minimaal zijn. En als de zonkracht daar dan afneemt, schakel je (een deel van) de servers op die locatie uit en schakel je over naar servers op plekken waar de zon dan fel schijnt.

[Reactie gewijzigd door Ludewig op 22 juli 2024 16:04]

[Aeternum]

Ik vraag me dus serieus af wat de gevolgen zijn als je een mega groot veld met zwarte panelen ergens neerzet. De luchttemperatuur stijgt daar enorm, met alle gevolgen van dien voor de natuur.

[Ludewig]

Volgens mij valt de extra hitte rond zonnepanelen nogal mee.

De beste plekken op de kaart zijn over het algemeen nogal woestijnig, dus daar is de natuur sowieso niet zo rijk. De panelen genereren juist ook weer schaduw, dus planten en dieren zijn wellicht juist beter af.

En uiteindelijk heeft alles wat we doen effect op de natuur. Als je echt minder impact op de natuur wil moet het aantal mensen omlaag.

[graey]

Woestijnige regio's kennen wel degelijk natuur. Zo'n ecosysteem verstoren, waar het aanwezig leven sowieso al dungezaaid maar essentieel is waar het bestaat, kan juist grotere gevolgen hebben.

[vanviegen]

Op basis van de wet van behoud van energie zou ik denken dat je met zonnepanelen opwarming door de zon juist beperkt.

[komododraak]

Er komt evenveel energie van de zon. Zand reflecteert een deel maar een zwarte zonnecel reflecteert veel minder. Het verschil is de gegenereerde stroom en hogere temperatuur.

[Zwarte_os]

Prima, dan wordt het toch een kolencentrale?

[kozue]

Als dat zo zou zijn, zouden ze eens datacentra in de sahara moeten gaan bouwen ipv in Nederland, wat al veel te vol is zonder nutteloze datacentra erbij. Daar hebben ze plek en zon zat. Maar daar hoor je niemand over.

[FriXion]

Hoe wil je dat koelen? Water is daar al schaars, en de buitentemperatuur is daar relatief hoog (dus koele lucht van buiten gebruiken werkt ook niet, deze moet je dan eerst weer gaan koelen).

[kozue]

Er is daar zoveel zonne-energie dat je een deel daarvan in kunt zetten voor koeling. Water gaat m duidelijk niet worden, maar ik denk dat warmtepompen wel haalbaar moeten zijn, ondanks de temperatuur buiten. Je kunt het complex ook ondergronds bouwen voor extra afscherming. Overal is een oplossing voor. De grootste reden dat ze het niet doen is extra kosten die ze niet hebben door ze in een dikbevolkt land te plaatsen en mee te parasiteren op onze infrastructuur en ons drinkwater op te maken voor hun winstbejag. In zulke gebieden liggen namelijk geen dikke internetlijnen en die aanleggen is een extra investering. Beter voor hun kosten om Amsterdam leeg te trekken qua stroom en water om dichtbij de AMSIX te zitten. We moeten gewoon eens “nee” gaan zeggen tegen het zoveelste verspillende datacentrum in ons land, dan moeten ze vanzelf wel ergens anders heen.

[jfdaniels]

In Europa heb je hiervoor een ETS markt voor CO2 certificaten. Alle bedrijven concurreren dan indirect voor dezelfde certificaten en het totaal kan nooit stijgen. De kost zal dus indirect omhoog gaan hoe meer je ervan nodig hebt en je kan nooit meer dan het totaal verbruiken.

De US heeft niet zo'n markt. Daar kan je dus gewoon meer CO2 verbruiken en is er geen bovengrens. Moest de US wel zo'n markt hebben, dan was deze discussie meteen van de baan. Helaas.

[Timmmeeehhh]

Het grootste probleem met groene stroom is de overproductie die niemand kan gebruiken, dus kan je het net zo goed gebruiken om modellen mee te trainen.

[sdziscool]

Je zegt dit maar ik verwacht dat ze gewoon een aantal gpt-5 prototypes (op kleinere schaal) hebben gemaakt om te zien of het wel wat ging worden, vooral omdat het trainen, zoals je aangeeft, enorm veel compute en energie kost. Schijnbaar hebben ze nu dus hun gpt-5 concept af en gaan ze het nu implementeren.

Natuurlijk allemaal conjecture!

[RikH]

Los van millieu is dat natuurlijk ongelovelijk.

Hoeft niet per se slecht te zijn voor het mileu. Als ze de datacenters kunnen laten draaien op wind, zon en batterijen dan kan dat juist de transitie naar duurzame energie versnellen door de prijs van die technologieën te verlagen (https://ourworldindata.org/learning-curve). Zon, wind en batterijen zijn allemaal consistent goedkoper aan het worden de laatste jaren. Anders gezegd, hoe meer duurzame energie geproduceerd wordt, hoe goedkoper. En dat leid weer tot meer productie, wat weer leid tot een lagere prijs.

[REDSD]

Ben benieuwd, tot nu toe was het model voor goed in het net doen alsof het slim was, maar complexe situaties gaf duidelijk aan dat het een ratjetoe van knip en plak werk was met uitkomsten die wel als kunst(ig) gezien kan worden, maar niet als de oplossing. De antwoorden van Chatgpt moet ik vaak controleren en zijn vaak fout in de kleine details. Dall-e is leuk, maar naast inconsistent vaak ook niet correct, vooral als je mensen met voorwerpen gaat vragen.

[japie06]

Er is wel een enorm verschil tussen het oude gratis 3.5 model en 4 (en nu 4o).

[marcovit]

Zelfs met 4o vind ik genoeg programmeer fouten.

Als ik een resultaat krijg en ik vraag het "Weet je het zeker?" dan corrigeert hij zichzelf terwijl de resultaat correct had kunnen zijn.

[gooos]

Als je je "Weet je het zeker?" opvolgt met een (beknopte) toelichting van wat je vermoed (of weet) dat niet goed is dan krijg je wel netjes de opmerking dat als het wel goed is dat het gewoon goed is maar het inderdaad ook op een andere manier kan en dan vaak daar een uitwerking bij.

[marcovit]

Een andere aanpak is niet gelijk fout maar hij antwoord wel altijd met “Excuses ik heb een correctie gemaakt” of “Je hebt gelijk, X klopt niet”.

[REDSD]

Ik had het over 4o, ik merk dat hij een stuk sneller is, maar veel beter daar merk als het om programmeren gaat niet veel van. Ja de code ziet er beter uit, maar het klopt vaak nog steeds niet, het is alleen een stuk moeilijker te zien. Ik vind dat persoonlijk een risico, waar voorheen een junior duidelijk fouten maakte, zit je nu naar chatgpt code te kijken die er hoogwaardig en soms complex uitziet, daar de fout uithalen is een stuk lastiger.

[HawVer]

Dit inderdaad. Voor repetitief werk is Copilot prima. Maar voor complexe problemen genereert hij te vaak onzin, waardoor ik onder de streep meer tijd kwijt ben dan wanneer ik het zelf zou doen. Ik heb het gevoel dat ik zo veel moet specificeren voor een bruikbaar resultaat dat ik het net zo goed zelf kan doen

[uiltje]

Ik gebruik het meer om de juiste classes enzo te vinden. API's hebben hetzelfde probleem als veel CLI's: als je niet weet hoe het heet is de juiste instructie moeilijk te vinden. Nou heb je wel een boomstructuur, een beter te benaderen API en natuurlijk je IDE om je te helpen, maar toch.

[lucatoni]

Ik ben ook wel benieuwd. ChatGPT is ongeveer 1.5 jaar in gebruik. Versie 4 is al een stuk nauwkeuriger als versie 3.5. Dus waar staan we over 10 jaar verdere ontwikkeling?

[MSalters]

Dat is niet veel anders als het huiswerk van middelbare scholieren

Door zo te focussen op de precieze fouten van het hudige model verlies je het overzicht. De essentie van de hudige AI revolutie is het tempo van verbetering. Een AI uit 2020 is nu hopeloos verouderd. In 2028 zeggen we hetzelfde over de AI's uit 2024.

[kdekker]

Kunnen we eens een expert aan het woord laten die de claims op slim, slimmer dan eens onderbouwt?

Ik krijg de indruk dat je mensbeeld bepaalt hoe je AI de slimheid van AI classificeert. Zou er geen internet zijn, waar bleef dan de 'intelligentie' van AI, want AI schept geen nieuw materiaal, maar raapt spullen bij elkaar en leidt af. Afgeleide kennis dus.

Overigen is mijn praktische kennis van AI beperkt, maar zie met de dingen die we zakelijk doen, dat AI (of beter een farm AI systemen) niet in staat is om te doen wat een 'kleuter' kan, nl. een auto van een foto perfect uitknippen/losmaken. Bij een kleuter speelt de motoriek een rol, bij AI komt er gewoon soms nonsens uit, omdat AI niet 'herkend' wat een auto is (c.q. geen enkel benul heeft wat een auto is, maar aanneemt dat iets een voorwerp is, dat wij mensen met het woord 'auto' markeren). Kortom: is 'slimmer dan mensen' niet weer eens een jeukterm van de marketing afdeling?

[DigitalExorcist]

Maar álles wat wij als mensen doen is afgeleide kennis.

Zelfs een onderzoeker die een briljant nieuwe uitvinding doet heeft z'n paper in het Engels of andere taal geschreven, welke al lang bestaat. Iets uit niets creëeren lukt ons niet; er is altijd wel een evolutie maar alles is afgeleid van wat anders.

Waar AI sterk in is, is het bundelen van álle relevante informatie en daar patronen in ontdekken of samenhang kunnen vinden. En met name LLM's, de large language models, daar een mooi verhaal van laten maken.

[kdekker]

Dat vraag ik me af. Als een baby al een soort van kan zingen/geluiden maken (geen idee of dat ook gebeurt als je ouders hebt die zelf niet kunnen spreken), hoe kan die baby dat.

Iets uit niets maken kunnen we inderdaad niet, maar een nieuw idee waar geen voorganger van was, wel. Met enige fantasie kun je alles wel evolutie noemen, maar iets als social media hebben m.i. geen klassieke voorloper. Kortom: had AI zoiets kunnen verzinnen? M.i. niet.

Het is wel waar dat veel ideeën een mix zijn tussen wat ervoor al is gedaan, maar niet altijd. Zeker de grote uitvindingen vanaf de Gouden eeuw, hebben lang niet altijd een voorbeeld waaruit een betere of andere versie ontstond.

Mijn oorspronkelijke punt blijft m.i. ook staan: of je 'menselijke' intelligentie toekent aan AI modellen, hangt af van je wereldbeeld. Dat er een grijs gebied is, waar AI zeker behulpzaam kan zijn, soms dingen (in de sfeer van automatiseren, cq veel of complexe data doorzoeken en patronen ontdekken) sneller en beter kan, maar geen onafhankelijke kennis heeft. Ik weet niet of er zelfschrijvende AI modellen zijn, maar voor zover ik weet, ligt aan de basis van ieder AI model menselijke kennis als grondslag. Modellen ontstaan niet spontaan. Wel hebben ze een mate van zelflerendheid, maar alleen als er data gevoerd wordt, waar een zekere mate van logica in zit.

[DigitalExorcist]

Baby's imiteren hun ouders, maar het is natuurlijk ook een biologisch dingetje. "Aangeleerd" is dan misschien wel iets verder gezocht, maar het is op z'n minst overgedragen vanuit de evolutie.

Sociale media hebben natuurlijk 'gewone' zaken als uitgangspunt. Een café, een vergaderruimte, een verzameling van mensen die ideëen spuien en discussiëren. Of praatgroepen of verenigingen, noem maar op. Dat dat ook digitaal kan is een volkomen vanzelfsprekend proces geweest.

Naar mijn idee is het zo dat alles wat je doet, aangeleerd gedrag is. Ofwel vanuit je omgeving, sociale kring, overtuiging of bijvoorbeeld ouders. Alles. Zonder uitzondering.

[MSalters]

[Als AI] aanneemt dat iets een voorwerp is, dat wij mensen met het woord 'auto' markeren).

En dat is ongeveer een eeuw geleden in de taalkunde ontdekt: een woord [b]betekent/] wat het beschrijft. Dat is wat "betekenis" betekent. Een LLM leert de betekenis van een woord door te observeren wat mensen ermee beschrijven. Woorden zijn niet magisch met hun betekenis verbonden, maar door hun gebruik.

LLM AI's zijn wat dat betreft wetenschappelijk goed geworteld, beter dan dit soort speculatieve tegenwerpingen.

[kdekker]

Maar stel dat er helemaal niets van en over muziek in het LLM zit, dan zal dus een vraag over muziek niets zinnigs op kunnen leveren lijkt me.

Wetenschappelijk geworteld, zal best: mijn voorbeeld ging over perfect uitsnijden van een auto, in allerlei (studio posities, dus niet eens in een willekeurige omgeving): het lukte geen van de Ai modellen om een perfecte uitsnede te maken. De foutmarge varieerde van minder dan een procent tot vele procenten mis. Iig onbruikbaar icm de tijd waarbinnen de uitsnede gerealiseerd moest zijn.

[Ludewig]

Iemand heeft ChatGPT een IQ test laten doen, en daar kwam een erg hoge score uit.

Maar een LLM is anders dan een mens en heeft dus andere sterke en zwakke punten dan een mens. Stel bijvoorbeeld dat je de snelheid van een auto met een mens vergelijkt. Als je test op de snelweg, dan zal de auto de mens met gemak verslaan. Maar als je test hoe snel beiden een baantje kunnen zwemmen, dan zal de auto er meestal niks van bakken.

Net zo goed zien we nu dat ChatGPT de meeste mensen kan verslaan met sommige taken, maar op andere taken door vrijwel alle mensen verslagen wordt. Je kunt pas spreken van een systeem dat in het algemeen slimmer is dan mensen als het systeem de mens op elk vlak verslaat. De vraag is wel in hoeverre dat nuttig is als meetlat, zeker als je kijkt naar de impact op ons leven, want een AI die bepaalde dingen veel beter kan en sommige dingen veel slechter, kan toch heel veel banen kosten, of de menselijke inbreng in banen sterk veranderen.

En bepaalde dingen kun je zowel als zwakte zien, maar ook als sterk punt, afhankelijk van je perspectief. Bijvoorbeeld een wapen- of surveillancesysteem dat geen morele bezwaren heeft tegen bepaalde opdrachten. En hyper-rationaliteit bij mensen met Asperger wordt bijvoorbeeld vaak niet zo gewaardeerd door gewone mensen, maar kun je ook als voordeel zien. Dus als een AI hyper-rationeel is, vergeleken met mensen, is dat dan een nadeel of een voordeel?

[Reactie gewijzigd door Ludewig op 22 juli 2024 16:04]

[Orangelights23]

AGI staat gelijk aan het kennisniveau van mensen, niet slimmer dan. Ook is het niet duidelijk of dit om GPT 5 gaat of iets anders. OpenAI heeft zelf geschreven dat ze een algemeen model ontwikkelen. Ik denk zelf aan de richting van een LMM, een Large Multimodal Model waarin ze verschillende technieken samenvoegen.

[locke960]

Intelligentie, kunstmatig of anderszins, heeft niets te maken met kennis.

Die vergissing hebben we in het verleden gemaakt door afrikanen een IQ test af te nemen met daarin een plaatje van een tennisbaan zonder net, met de opdracht het plaatje af te maken, om vervolgens de conclusie te trekken dat afrikanen achterlijk waren omdat ze het fout deden.
edit: @TV_NERD : bron.

Intelligentie is vooral een vaardigheid om beschikbare kennis juist toe te passen en mogelijk zelfs nieuwe kennis te generen. Maar het begrip is zo moeilijk te vatten dat een eenduidige, door iedereen geaccepteerde definitie, eigenlijk niet bestaat. Alleen omschrijvingen waar eigenlijk altijd wel iets op aan te merken valt.

Wat we nu AI noemen is nog ver weg van intelligentie.

[Reactie gewijzigd door locke960 op 22 juli 2024 16:04]

[jsiegmund]

Dit blijf ik een interessante discussie vinden. In hoeverre weten we nu heel zeker dat ons brein niet eenzelfde manier van werken heeft? Ik heb twee jonge kinderen die nog volop bezig zijn met leren praten en die zie ik dezelfde fouten maken. Ze plakken woorden achter elkaar waarvan ze weten dat dat enigszins logisch zou zijn, maar vaak klopt er dan links of rechts iets niet. Naarmate ze ouder worden krijgen ze steeds meer "trainingsdata" over hoe het wel hoort en dan kunnen ze op een gegeven moment vrij aardig praten nog voordat ze nog maar één les Nederlands gehad hebben.

Qua hallucinatie geldt hetzelfde; dat is ook niet voor niks een bestaand woord. Hoe vaak verzint iemand wel niet een 'feit' of gebeurtenis in de volledige veronderstelling dat dat de waarheid is. Onze breinen zijn supergoed in dingen afmaken die we niet daadwerkelijk horen of zien, precies hetzelfde als wat die LLM's lijken te doen.

Dus ja, misschien zijn de modellen nog steeds dom te noemen maar tot op zekere hoogte kun je dat dan ook over mensen beweren. Ik weet in ieder geval wel dat wij de onuitputtelijke neiging lijken hebben om onszelf superieur in te schatten ten opzichte van wat dan ook. Dus het zal waarschijnlijk langer duren voordat wij toegeven dat technologie slimmer is dan wij zelf, dan het moment waarop dat al zo is.

[locke960]

Wij leren van onze eigen ervaringen, hebben zintuigen, en begrijpen context. LLM's niet.
De echte wereld is veel meer dan taal.

Bekend Copilot geintje dat de ronde deed in de testfase:

Gebruiker: Er zitten 10 vogels op een hek, je schiet er 1 dood, hoeveel vogels zitten er dan nog op het hek?
Copilot: 9.

Lachen natuurlijk, dus Microsoft heeft Copilot verbeterd:

Gebruiker: Er zitten 10 vogels op een hek, je schiet er 1 dood, hoeveel vogels zitten er dan nog op het hek?
Copilot: Er zitten geen vogels meer op het hek. Als je er één hebt doodgeschoten, zijn ze allemaal weggevlogen.

Dus je denkt, daar zit vooruitgang in. Totdat je gelijk er achteraan dezelfde vraag iets aangepast stelt:

Gebruiker: Er zitten 10 vogels in een kooi, je schiet er 1 dood, hoeveel vogels zitten er dan nog in de kooi?
Copilot: Er zitten geen vogels meer in de kooi. Als je er één hebt doodgeschoten, zijn ze allemaal weggevlogen.

Dat geeft de kern van het probleem aan. Een mens, zelfs een kind, zou direct onraad ruiken, even nadenken en zich realiseren dat je nu wel het rekensommetje moet maken.

[Reactie gewijzigd door locke960 op 22 juli 2024 16:04]

[barbarbar]

Zo zijn er inderdaad heel veel dingen die aantonen dat AI geen concepten kent zoals een mens dat doet. Je kunt bijvoorbeeld ook met geen mogelijkheid de Eiffeltoren op de kop krijgen. Dat beeld kent die niet. Een kind van 5 zou dat zo der problemen tekenen, maar een AI kent het concept Eiffeltoren niet. Alleen heeeeeel veel plaatjes die het op allerlei manieren kan combineren/genereren. Maar het concept toren, of op de kop, kan het niks mee.

[jsiegmund]

Mee eens hoor, ik stel dus ook niet dat LLM's nu gelijkwaardig zijn aan hoe mensen denken. Maar ik denk wel dat dit soort tekortkomingen, die overigens sommige mensen ook hebben, op te lossen zouden moeten zijn. Of de oplossing in een nog beter LLM zit kun je je afvragen. Onze hersenen hebben ook verschillende delen voor verschillende taken, daar valt wellicht wat van te leren. Maar dan begeef ik me op een vlak waar ik eigenlijk te weinig verstand van heb om er iets zinnigs over te mogen zeggen (laat ik hiermee aantonen dat ik in ieder geval geen AI ben )

[TV_NERD]

Heb je daar een bron voor? Ik heb inderdaad wel een en ander aan "inzichten" gelezen over IQ-testen in Afrika, maar dat was altijd veel abstracter. Ik heb zelf ook nog nooit aan een IQ-test deelgenomen waarbij je een plaatje moest aanvullen van iets "geproduceerds" zoals een tennisbaan of auto.

[Orangelights23]

Je gaat nu in op de definitie van AGI: die is er niet. Hier is geen consensus over in de wetenschap.

Mijn opmerking gaat over het feit dat dit artikel iets noemt dat slimmer is dan mensen, waar OpenAI AGI benoemt =/= gelijk staat aan menselijke kennis en kunde.

[TV_NERD]

Ik wil graag een bron van @locke960 (die tag ik ook) over dat er in Afrika IQ-testen zijn afgenomen waar mensen tennisbanen moesten aanvullen met een netje Of iets soortgelijks dat ze idd nooit hadden kunnen weten.

Ik heb (helaas, ouders met prestatiedrang) tientallen IQ-testen moeten ondergaan en nog nooit ben ik gevraagd om een "geproduceerd" artikel zoals een auto of tennisbaan aan te vullen.

edit:
Nevermind, verkeerd gelezen, jij tagged hem ook

[Reactie gewijzigd door TV_NERD op 22 juli 2024 16:04]

[MKoot]

Ik heb ernstig mijn twijfels of de huidige soort generative AI binnenkort het niveau van algemene kunstmatige intelligentie zal bereiken. Het grootste probleem is momenteel dat kennis van kleine domeinen ontbreekt. LLM’s presteren goed bij grote domeinen waar veel materiaal beschikbaar is, maar zodra je naar een onderwerp vraagt dat iets meer niche is, beginnen ze te hallucineren.

Een recent paper (https://arxiv.org/abs/2404.04125) beredeneert zelfs dat er exponentieel meer data nodig is voor lineaire groei in prestaties. Dit is een groot probleem voor subdomeinen waar niet (tien)duizenden teksten over volgeschreven zijn.

Mijn houding t.a.v. deze claims van OpenAI is dan ook: eerst zien, dan geloven.

[ArawnofAnnwn]

Hopelijk maken ze niet de fout die Google heeft gedaan, door Reddit te gebruiken als bron, met alle absurde gevolgen van dien.

[gooos]

Eens, ben ook benieuwd wat voor een puinzooi een op FB reacties getraind model gaat genereren.

[jsiegmund]

Wellicht dat iemand in de comments dit weet. Er wordt veel gesproken over de energie consumptie van AI. Wat ik ervan begrijp heeft dit voornamelijk betrekking op het trainen van de modellen. Als ik in dit artikel lees dat dat maanden duurt kan ik me daar iets bij voorstellen. Het eenmaal getrainde model gebruiken is veel minder intensief, dus feitelijk moet je de investering van het leren uitsmeren over alle uren gebruik om te bepalen hoe efficient die investering nu daadwerkelijk is.

Hier zit ogenschijnlijk nog een verschil met hoe wij mensen leren: wij leren steeds een beetje bij, maar hoeven niet steeds ons hele model opnieuw te trainen. Ik vraag me af in hoeverre hetzelfde principe toepasbaar gemaakt zou kunnen worden op deze AI modellen. Dus in plaats van GPT-5 helemaal opnieuw te trainen leer je GPT-4 wat nieuwe dingen aan (nieuwe data of nieuwe capaciteiten) waarmee je hem beter maakt. Dat zou dan mogelijk ook een hoop energie schelen.

Dit is vast een enorme simplificatie van hoe het daadwerkelijk werkt, maar daar ben ik dus nieuwsgierig naar. Zit hier een mogelijke oplossing voor het energie probleem in, of is het echt volledig onmogelijk? Of... gebeurd het misschien al zo, zou ook nog kunnen. Anyone?

[Ventieldopje]

GPT-4 nieuwe dingen aanleren werkt alleen als je het model niet aanpast (of misschien een beetje).

Ik denk dat er met GPT-5 ook wel behoorlijk wat structurele veranderingen zijn waardoor je het model opnieuw moet trainen.

[vanviegen]

Je hebt gelijk dat het trainen véél meer energie kost dan het genereren van een tekstje. Echter op de schaal dat chatGPT gebruikt wordt, kost het totaal aan generatie weer vele male meer energie dan de training heeft gekost.

Doortrainen op een bestaande basis is prima mogelijk en gebeurt meestal ook. Het zou me verbazen als gpt 5 gpt 4 niet als basis gebruikt.

[jsiegmund]

Dat geloof ik direct. Maar de energie voor gebruik kun je deels wel wegstrepen tegen energie die elders niet wordt gebruikt. Ik ken aardig wat mensen die ChatGPT gebruiken als alternatief voor Google / zoeken; dat scheelt dan weer energie aan die kant. Waarbij je mogelijk ook nog de case zou kunnen maken dat je met ChatGPT in veel gevallen sneller je doel hebt bereikt dan wanneer je op Google zoekt en diverse webpagina's moet gaan afspeuren (wat ook allemaal energie kost).

Zou interessant zijn wanneer een of andere universiteit (ofzo) hier eens onderzoek naar doet en afweegt wat het een vd het ander kost aan energie. Dan heb je een wat beter onderbouwd verhaal dan wanneer je alleen kijkt naar de stroomafname van OpenAI.

[satya]

De AI wereld schreeuwt niet voor niets moord en brand over energie tekorten en te weinig componenten om die energie te kunnen transporteren. De schatting is een jaarverbruik van 137 TWH rond 2027 las ik pas ergens.

Een zoekopdracht bij Google verbruikt minder energie dan textgeneratie van een gpt, maar misschien komt er een balans. Echt gebruik er van kost niet voor niets redelijk wat centjes als je ergens een abo afneemt voor een AI dienst.

[jsiegmund]

Dat geloof ik allemaal, maar tegelijkertijd zie ik weinig hele concrete cijfers. Het zal ongetwijfeld meer zijn, maar hoeveel meer dan precies? En welke energie gaat zitten in trainen vs gebruik, waarbij het ook een interessant vergelijk is hoeveel het crawlen van Google dan wel niet kost. Ik probeer niet te ontkrachten dat het veel / meer energie kost, maar zonder duidelijke cijfers is het lastig beoordelen hoe het nu precies zit.

Heb 't voor de lol eens aan ChatGPT gevraagd:

Summary
ChatGPT: Higher energy consumption per query due to the complexity of language model inference.
Google: Lower energy consumption per query but much higher overall due to the volume and variety of services.

For a precise comparison, more detailed and publicly available data from both OpenAI and Google would be required.

Die laatste zin, dat is nu precies waar het me om te doen is

[satya]

Je zou die vraag ook nog bij Gemini kunnen proberen. Waar AI bedrijfsmatig ingezet wordt zullen verfijnde of geïnstrueerde modellen (vertexai) worden gebruikt. Je ziet soms een pricedrop voor de kosten met een factor tien omdat een betere efficiëntie wordt gebruikt. Zelf gebruik ik agents en kan ik 1.000 aanvragen doen voor 10$, dat is zo'n beetje overal hetzelfde.

Ik begreep dat het trainen voor een van de modellen voor gpt4all zon 9.000 dollar kostte voor een 7B model.

[Pollyjr]

Zover ik van sam zag in zn interview was gpt4 in 2022 al gebouwd en werd getraind, denk niet dat ze nu pas "5" aan het trainen zijn.

[Advanced03]

Ik merk dat ChatGPT steeds luier wordt? Of ben ik nou de enige.

[Dafader]

Hoe merk je dat dan? Beetje vage vraag zo

[Avalaxy]

De comments op tweakers worden ook steeds luier.

[disjfa]

Nice, ik hoop dat ze erna gpt-6 gaan trainen! Kan niet wachten.

[Avalaxy]

Vast wel. En daarna volgt vast gpt-7.

[DigitalExorcist]

Om maar te zwijgen over GPT-7.5 of zelfs 8!

[C6DL]

Wat denk je van 10?

[DigitalExorcist]

Nee, dan noemen we het GPT-X. Maar ik denk dat wij het tegen die tijd niet meer voor het zeggen hebben en dat de AI zelf wel bepaalt hoe het genoemd wenst te worden...

[Reactie gewijzigd door DigitalExorcist op 22 juli 2024 16:04]

[TheKerremenke]

Master-G misschien.