OpenAI kondigt eerste openweighttaalmodel sinds 2019 aan

OpenAI gaat in de komende maanden voor het eerst sinds GPT-2 weer een open taalmodel uitbrengen waarbij de gewichten publiekelijk beschikbaar komen. Het bedrijf organiseert voorafgaand aan de release diverse ontwikkelaarsbijeenkomsten om feedback te verzamelen.

De sessies starten in San Francisco en worden gevolgd door evenementen in Europa en Azië. Ontwikkelaars krijgen tijdens deze bijeenkomsten de mogelijkheid om vroege prototypes te testen. OpenAI-ceo Sam Altman zegt op X dat het model voor release wordt geëvalueerd volgens het bestaande 'preparedness framework', met extra aandacht voor mogelijke aanpassingen na publicatie. Het model is specifiek bedoeld voor ontwikkelaars, grote bedrijven en overheden die de voorkeur geven aan lokaal beheerde AI-systemen. Geïnteresseerde ontwikkelaars kunnen zich via de website van OpenAI aanmelden voor de feedbacksessies.

Reacties (56)

[Kaasje123]

Ik ben het spoor compleet bijster welke modellen er allemaal zijn en wat het verschil ertussen is.

Ik snap het ook niet. Moet ik ze nou zien als eentje die een schrijver is en goed in poëzie en een ander die goed in wiskunde is? En waarom worden ze dan ook niet logischerwijs daar naar benoemd en was het idee nou niet juist dat almachtige ai juist beter zou zijn dan de mens en dus gewoon alles goed moet kunnen? Schiet mij maar lek hoor.

[MneoreJ]

Er zit uiteraard een flinke zut marketing bij. Al die ronkende namen en claims over wat het allemaal wel niet beter kan dan alle andere modellen moet je domweg met een flinke baal zout nemen. Het gaat als je dieper graaft vaak om niet meer dan een paar tiende procent verbetering in een benchmark ergens ten opzichte van eerder werk, of een extra tool waardoor het model bijvoorbeeld dingen online op kan zoeken of gekoppeld is aan een beeldgenerator.

Er zijn wel modellen die speciaal goed zijn in (creatief) schrijven (of vertaalwerk, of Koeterwaals spreken), maar dat zijn eerder finetunes van bestaande modellen die wat extra getrained zijn op specifieke input/output. Rekenen is een heel eigen verhaal: daar hebben we ironisch genoeg al computers voor, de kwestie is alleen om ze goed in te zetten.

De claim dat deze taalmodellen (want dat zijn het) alles kunnen of daadwerkelijk intelligent zijn op het niveau van zelfs maar een gemiddelde mens is de echte marketing. Dat is niet zo, LLM's zijn alleen verrassend goed gebleken in diverse taken, en het lijkt een beetje op hoe ons eigen onderbewustzijn werkt in het semi-willekeurig construeren van structuur, en daar dan toch op de een of andere manier betekenis uit weet te destilleren. Maar er ontbreekt nog een hele hoop aan voor het "redeneringsvermogen" heeft van het niveau waar je echt van iets intelligents kan spreken. Geen van de modellen kan doorgaan voor een wiskundige, hooguit een scholier die weet hoe je formules toe moet passen.

LLM's zijn bijzonder nuttige tools met beperkingen, niet Skynet en niet het ding dat al je dure arbeidskrachten gaat vervangen door een AI-abonnementje van een paar dollar. Maar zo wordt het natuurlijk wel verkocht, want als je moet gaan nuanceren wat het nou precies wel en niet goed kan haakt het betalende publiek af.

[NoTechSupport]

Consistentie is wat mij betreft het grootste probleem. Soms geven ze bij de ene vraag een enorm goed antwoord, maar iets later laten ze voor basic dingen een steek vallen (bvb een lijst laten afwerken waarbij ineens een aantal zaken vergeten worden).

LLM's zijn bijzonder nuttige tools met beperkingen, niet Skynet en niet het ding dat al je dure arbeidskrachten gaat vervangen door een AI-abonnementje van een paar dollar. Maar zo wordt het natuurlijk wel verkocht, want als je moet gaan nuanceren wat het nou precies wel en niet goed kan haakt het betalende publiek af.

Hier ben ik het dan weer niet mee eens. Ze vervangen zeker werkkrachten, simpelweg omdat ik als dev nu twee keer zo snel kan werken. In deze vroege fase van de opkomst van AI vangt dit grotendeels tekorten op, maar er is geen enkele reden om te denken dat we aan de limieten zitten van de winst die geboekt kan worden. Veel hangt af van de snelheid, kwaliteit en kostprijs die goede agents krijgen. Maar we zijn erg dicht bij AI die binnen enkele jaren in ICT en administratie heel wat jobs kan vervangen.

[MneoreJ]

Mijn punt was vooral dat LLM's niet alle arbeidskrachten gaat vervangen. Ja, ze gaan er zeker voor zorgen dat sommige mensen op z'n minst ander werk moeten gaan doen omdat hun huidige taken simpelweg "goed genoeg" gedaan kunnen worden door LLM's. Maar het gaat voorlopig niet zo zijn (en waarschijnlijk nooit) dat je elke willekeurige functiebeschrijving gewoon als prompt aan de LLM kunt voeren en hoppa, je hebt een nieuwe collega (nog even afgezien van de voor de hand liggende beperkingen dat een LLM geen dozen kan schuiven, en geen directeur mag worden omdat die zelf de centjes op wil strijken).

[Reactie gewijzigd door MneoreJ op 1 april 2025 13:19]

[themadone]

Nou, ik kan je melden dat we hier een vectordatabase gevuld hebben met alle eerdere ESG survey's en onze compliance informatie. Die info ontsluiten we via een LLM en een simpel python frontje. Dit scheelt de afdeling die de survey's van klanten in moet vullen nu al bakken met tijd.

Programmeurs hetzelfde, alle standaard functions erin en hij spuugt ze zo uit. Maar ook nieuwe functions kan een LLM soms een knappe voorzet geven. Natuurlijk blijft verificatie van de resultaten van belang maar dat is een hoop minder werk als ze van scratch zelf moeten verzinnen.

Ik heb zelf een complete website uit de grond gestampt met gps tracking voor de deelnemers aan toertochten, tijden worden centraal bewaard etc etc. Dit had ik met veel gedoe zelf kunnen maken, maar met dank aan ChatGPT ging dit toch een heel stuk sneller.

Disclaimer, ik kon al code lezen en schrijven dus het resultaat is hier en daar wat aangepast en soms moet je ff 5 keer vragen voordat je iets werkbaars krijgt, een echte n00b was niet tot iets werkends gekomen, maar laten we even heel eerlijk zijn, we staan nog maar aan het begin van de mogelijkheden op dit vlak.

Als je AI nog even wat breder pakt als alleen een LLM en bijvoorbeeld ook machine learning toe gaat passen zijn repeterende taken en slimme aansturing op basis van bergen aan variabelen straks ook iets van het verleden en kunnen zelfs de meeste excepties opgevangen worden door een computer.

Hangen we hier een humanoid robot aan met alle relevante info en rekenkracht aan boord en dan kan je de warehouse medewerkers definitief vaarwel zeggen, dit gebeurt al op simpelere schaal, zie amazon bijvoorbeeld, het is nog wachten op de eerste betaalbare goede humanoids.

Dus nee, niet alle arbeidskrachten, maar een verschuiving zal er zeker plaats gaan vinden. Het jammere is dat net als met de offshoring van manufacturing naar Azië het vooral de simpelere banen zullen zijn die eruit gaan op deze manier. Duurt nog wel ff voordat we daar zijn, maar dat we die kant op gaan moge toch duidelijk zijn.

[MneoreJ]

Zeker. Ik kan persoonlijk niet wachten tot ik als programmeur grotendeels overbodig ben, of in ieder geval alleen maar de AI zacht bij hoef te sturen voor het goede antwoord, maar voor nu is het vooral nuttig voor het automatiseren van "grunt work" binnen bestaande functies. Waarbij we de definitie van "grunt work" dan voortdurend een beetje breder maken, dat wel. Bij ons op het werk is er een non-programmeur die de leukste adhoc tools in elkaar schroeft puur door Claude te vragen om een website voor deze of gene API in elkaar te bastelen. Dat maakt dingen mogelijk die anders gewoon niet zouden gebeuren, want we gaan natuurlijk geen dure developers beschikbaar maken voor zulke dingen. Ik vind dat als professional erg leuk om te zien -- vooral ook omdat ik zelf de pest heb aan front-ends bakken.

Maar je moet het ding wel voortdurend aan het handje houden zodra het inderdaad moeilijker wordt dan dat, en in die zin zullen voor veel mensen de werkzaamheden vooral verschuiven en is het niet zozeer een complete vervanging. Als ik vakantie zou nemen en al mijn tickets in de AI ga inschieten kom ik na de vakantie niet terug met alle software geschreven, zeg maar. En ik ben dan ook niet zo gek bang dat ik zeer binnenkort al op straat sta. Wellicht wel als ik stug vol zou houden in werken zonder AI, want dan word ik voorbijgestreefd door mensen die dat wel doen.

[Reactie gewijzigd door MneoreJ op 1 april 2025 13:46]

[brobro]

maar er is geen enkele reden om te denken dat we aan de limieten zitten van de winst die geboekt kan worden.

Die is er wel. Er zit al zoveel data in de training dat het lastig is meer data te vinden. Tot voor kort was dat de voornaamste manier om betere modellen te maken. Meer data, meer trainen. Nu zijn er reasoning models, maar die zijn niet eindeloos goed, soms wel heel duur (en relatief traag). Er zijn nog allerlei ontwikkelingen, maar het is duidelijk geen rechte en gegarandeerde lijn omhoog. LLMs maken nog allerlei domme fouten, hebben voor berekeningen en andere slimme dingen ook externe tools nodig omdat ze dat niet betrouwbaar kunnen. Hierdoor wordt ook getwijfeld aan de technologie zelf, er is behoefte aan meerdere /andere modellen dan de GPT /LLM die nu de hype veroorzaken.

[Coolstart]

LLM's zijn bijzonder nuttige tools met beperkingen, niet Skynet en niet het ding dat al je dure arbeidskrachten gaat vervangen door een AI-abonnementje van een paar dollar. Maar zo wordt het natuurlijk wel verkocht

Is dat zo? Ik zie bijv Open AI dat niet doen. Wie wel?

Wat niet uitsluit dat er bedrijven of startups zijn die graag het toekomstpotentieel duiden. Maar niemand verkoopt wat jij hier beschrijft.

Geen van de modellen kan doorgaan voor een wiskundige

Nee, ook niet als muzikant, schrijver of programmeur. Het zijn ano 2025 eerder assistenten. Dat wist iedereen toch al?

want als je moet gaan nuanceren wat het nou precies wel en niet goed kan haakt het betalende publiek af.

AI zit beetje bij beetje in alles. Alle vormen van AI. Bedrijven kopen dat en dat wordt een onderdeel van hun werking. Bijv de zoekfunctie van hun webshop verbeteren of betere chatbots of ze investeren in hun eigen finetune of agent.

Door nu te gaan insinueren dat niemand wil betalen is zo alles op flessen trekken. Nuanceer dan op zijn minst dat alles nog in zijn kinderschoenen staat en de ontwikkeling vollop bezig is.

Maar er ontbreekt nog een hele hoop aan voor het "redeneringsvermogen" heeft van het niveau waar je echt van iets intelligents kan spreken.

Wat is intelligent? Taalmodellen maar ook video modellen maken logische fouten maar ik heb video’s gezien die zo absurd waren dat het weer zeer creatief was. Niet juister fouter maar gewoon beter, mooier. Past dat onder de noemer intelligentie?

Daarnaast redeneren de nieuwe modellen wel degelijk. Veere van zoals mensen dat doen maar er je ziet dat sommige agents al goed beginnen te werken zonder dat ze heel de wereld begrijpen.

Heel dit gesprek doet mij doet mij denken aan een filmpje in de jaren 80 waarbij iemand de computer ten dode opschreef. Te duur, te zwaar, werkt traag en omslachtig, niemand gaat er ooit voor willen betalen, te grote hype, geen potentieel.

Je kan kritisch zijn, mensen wat bijleren over een onderwerp maar dan moet je wel eerlijk zijn en het volledige verhaal vertellen. Die pc-scepticus van de jaren 80 is mss nu de AI scepticus? De vraag is wat be je met die info en wijsheid? Misschien om mensen te behoeden om te leren programmeren of in ICT te investeren en in een doodlopende straat te lopen?

[MneoreJ]

Nee, ook niet als muzikant, schrijver of programmeur. Het zijn ano 2025 eerder assistenten. Dat wist iedereen toch al?

De persoon op wie ik reageerde blijkbaar niet. Of nou ja, waarschijnlijk wel, maar het werd prikkelend gebracht.

Wat is intelligent?

Da's de hamvraag, niet? Eentje die lastig te beantwoorden is in de span van een enkele post. Laat ik het zo formuleren: we kunnen moeilijk ontkennen dat de huidige modellen, voor zover ze intelligent genoemd kunnen worden, nog een hoop dingen niet kunnen die we wel verwachten van wat we intelligent gedrag noemen, niettegenstaande het feit dat ze ook met dingen uit de hoek komen die we wel intelligent zouden noemen, op z'n minst in beperkte mate.

Daarnaast redeneren de nieuwe modellen wel degelijk. Veere van zoals mensen dat doen maar er je ziet dat sommige agents al goed beginnen te werken zonder dat ze heel de wereld begrijpen.

Dat illustreert juist goed waarom we nog een eindje af zijn van intelligentie. Wat men nu verkoopt als "reasoning" is een uitbreiding die ervoor zorgt de grootste inconsistenties uit een antwoord gehaald kunnen worden door te pogen het meermaals te genereren, en om meer output te prikkelen door expliciet frasen als "maar laten we er nog eens over nadenken" te injecteren en te zien wat daarop zou kunnen volgen.

Nuttig, zeker, maar we moeten het ook niet groter maken dan het is. Wat we onder "redeneren" verstaan is niet zomaar anders maar ook echt wel behoorlijk wat geavanceerder dan dat. Je gedachten controleren en nagaan of je niet iets vergeten bent kan zeker onderdeel zijn van het proces, maar speelt verhoudingsgewijs normaal maar een heel kleine rol. Het "redeneren" van modellen kan grove fouten en hallucinaties niet elimineren, wat logisch is, want "er nog eens over nadenken" helpt je maar beperkt verder als je in de basis gewoon niet slim genoeg bent. Maar wordt dat genuanceerd door het te verkopen als "redeneren" of zelfs "denken"? Niet bepaald.

Je kan kritisch zijn, mensen wat bijleren over een onderwerp maar dan moet je wel eerlijk zijn en het volledige verhaal vertellen.

Begrijp me niet verkeerd, ik juich de ontwikkelingen alleen maar toe en ben machtig geïnteresseerd in hoe we de technologie naar een hoger plan tillen. Ik ben juist het tegenovergestelde van iemand die gelooft dat computers nooit zullen denken, ik zie juist geen enkele reden waarom dat niet kan. Sterker nog, een van de redenen dat ik nu zelf programmeur ben is omdat ik die vraag graag beantwoord wilde zien.

Ik geloof echter niet dat ik de huidige status quo heel slecht omschreven heb. Over 10 jaar is wat ik geschreven heb zeker achterhaald en ik verwacht ook echt wel dat we dan niet meer volledig leunen op LLM's met wat simpele foefjes, maar waarschijnlijk op volledigere architecturen.

[Reactie gewijzigd door MneoreJ op 1 april 2025 13:58]

[Coolstart]

Over 10 jaar is wat ik geschreven heb zeker achterhaald en ik verwacht ook echt wel dat we dan niet meer volledig leunen op LLM's met wat simpele foefjes, maar waarschijnlijk op volledigere architecturen.

Ja dat zou goed kunnen al zou ik dat geen simpele foefjes noemen, die foefjes vormen met de architectuur.

Eigenlijk is dat al aan de hand met die LLM mixture of experts waarbij het model in staat om specifieke kennis toe te passen zonder de volledige rekenlast van een zo een enorm monolithisch model dat alles kan en alles weet.

Uiteindelijk heb je zoveel extra ‘sensoren’ en extra services nodig al dan niet in de vorm van een LLM. Real time internet om de context van de dag mee te hebben of bronnen wil
Linken. Mss een routeplanner of een muziek app, microfoon etc. Ze noemen dat een multimodaal LLM.

Een taalmodel puur getrained op text is een dus een goede basis maar heeft verder geen besef van onze fysieke wereld. Dat zijn ze nu wel vollop aan het aanpakken. De logische basis-fouten van eerste versie zijn nu weggewerkt.

[MneoreJ]

Ik denk persoonlijk dat het echt wel iets meer voeten in de aarde heeft dan gewoon LLM + robot = intelligent. Mensen zetten inderdaad hoog in op de fysieke wereld die al die tekst betekenis zou geven, maar ik denk dat we er dan nog niet zijn.

Een taalmodel mist gewoon fundamentele dingen die wel in onze hersenpan voorkomen, en dat is niet puur interactie met de echte wereld. Ook als je alleen naar abstract redeneervermogen kijkt en in je leunstoel blijft zitten is het er nog niet. Het is niet helemaal uit te sluiten dat dit "vanzelf" opgelost wordt door de boel gewoon nog verder op te schalen, maar ik denk niet dat we de oplossing daar gaan vinden maar dat we echt nog wel wat verder moeten kijken hoe dit nu tot stand is gekomen in fysieke hersenpannen. Dingen als "mixture of experts" en "reasoning" zijn pogingen in die richting, maar of ze echt de kern der dingen raken waag ik te betwijfelen. Net zoals "deep learning" en LLM's eigenlijk een toevalstreffer waren (niemand had verwacht dat het zo goed zou werken) moeten we daar waarschijnlijk nog struikelen over de echte architectuur.

Dit alles in het kader van de speurtocht naar "echte" intelligentie overigens (voor zover dat betekenis heeft); om het commercieel interessant te maken kun je al volstaan met simpelere dingen, zoals we ook al zien.

[Reactie gewijzigd door MneoreJ op 1 april 2025 14:38]

[pietje63]

Dat heeft OpenAI ook door, en daarom willen ze de verschillende opties gaan combineren
nieuws: OpenAI wil redeneermodellen en GPT-serie combineren in GPT-5

Voor developers is nu het voordeel van de verschillende modellen dat je voor een eenvoudige opdracht een goedkoper model kunt gebruiken dan voor een moeilijker opdracht. Het redeneermodel is bijvoorbeeld duurder en langzamer dan het gewone model (en het mini model nog sneller en goedkoper). Ik denk (/hoop) dan ook dat het combineren enkel van invloed is op de chat functie.

[FicoF]

Maar AI is dus nog zo dom dat het niet eens zelf kan bepalen welk model nodig is. Het maakt mij niet uit of voor het juiste antwoord redeneren nodig is of niet. Zolang de modellen dit niet zelf kunnen verzinnen is er weinig slims aan.

[pietje63]

ChatGPT gaat die keuze dus wel zelf maken. En de meest geavanceerde modellen kunnen vast wel zelf bepalen of redeneren nodig is, maar als je als developer vooraf al weet dat dit niet nodig is, dan kan de prompt worden gelezen door het minder geavanceerdere (snellere, goedkopere) model of juist een specifiek model (hogere nauwkeurigheid).

[djwice]

Ik heb de redeneer prompt van een duaal model in gemma3:1b gestopt. Drie keer raden wat er gebeurde?

Precies. Redeneren is gewoon ook gegenereerde output op basis van trainingsdata.

Het antwoord hoeft er niet nauwkeuriger mee te worden. Dat mensen redenatie gebruiken voor deductie betekent niet dat een taal-model dat ook nodig heeft.

Een LLM leert niet na de training. Dus kan het gewoon direct - net als bij automatisering bij mensen - het antwoord maken.
Tussenstappen eisen is eigenlijk gewoon een vorm van een andere prompt geven, en daar kan dus direct een ander antwoord op gegeven worden.
Je ziet ook in onderzoeken van OpenAI en andere wetenschappers dat modellen daar ook fake content kunnen zetten of content die totaal ongerelateerd is aan het "antwoord".

Dus het zou kunnen zijn dat <think> binnenkort weer overbodig wordt en kan worden vervangen door een stappenplan: geef me een lijst met acties, voer acties een voor een uit. Eigenlijk vraag je de llm dan eerst om je prompt te verbeteren 😉

[Reactie gewijzigd door djwice op 1 april 2025 21:37]

[acehighness]

Het antwoord word wel degelijk nauwkeuriger als je het model eerst zijn chain of thought laat uitschrijven. Dat hadden we al heel snel door en werd onderdeel van elke prompt. Nu hebben we met RLHF get model getrained om hun chain of thought altijd helemaal uit te schrijven voordat ze beginnen met het echte beantwoorden.

[djwice]

Ik weet niet zo goed hoe ik het anders moet verwoorden.

Het chain of though gedeelte zou je kunnen zien als een prompt extentie.

Waarna op basis van die context antwoord wordt gegenereerd.

De chain of thought kun je dan weer kunnen vervangen door een prompt enhancement en/of gebruikers training.

Zie ook de analyse van openAI wat er gebeurde toen ze het chain of thought proces probeerden te straffen. De chains die gestraft werden om de moreel verkeerde eindresultaten, werden aangepast, alleen bleven de moreel verkeerde eindresultaten gewoon bestaan. Idem met thought injectie.

Het is belangrijk te onderkennen dat het geen chain of thoughts zijn, ook al lijkt het er op.

Kijk wat je moet doen om met je prompts dezelfde resultaten te krijgen als met chain of thought. Scheelt je rekenkracht.

[DanielsWrath]

De modellen zijn op zich gemaakt om alles te kunnen want in essentie is een LLM puur een taal model. De reden dat ze dingen kunnen is omdat er heel veel kennis in taal zit, en als je maar genoeg teksten hebt "gelezen" en deze kan reproduceren, dan kan je in theorie kennis reproduceren.

Nu is het zo dat sommige modellen, door hun training of dataset, of door features zoals "reasoning", beter of slechter werken. In het algemeen of in specifieke gevallen.

Zelf vind ik opentouter heel handig, dat is een soort gateway naar alle api's van alle modellen. Daardoor kan je makkelijk testen met de nieuwste modellen, want elke maand zie je inderdaad nieuwe voorbij komen.

[Nimac91]

De voornaamste reden waarom er zoveel taal modellen zijn heeft te maken met de volgende redenen.

Integratie in websites en API's
Veel modellen worden geïntegreerd in bestaande systemen of diensten. Zodra dat gebeurt, moeten ze voor langere tijd beschikbaar blijven — zelfs als er al een nieuwer model is.

Toegang voor betalende gebruikers
Nieuwe of experimentele modellen worden vaak eerst alleen beschikbaar gesteld aan betalende gebruikers. Dit helpt om ze gecontroleerd te testen en tegelijkertijd de kosten te dekken.

LLM (Large Language Model) vs Reasoning Model
Dit zijn echt twee compleet verschillende types. Reasoning-modellen "denken" grondiger na voordat ze een antwoord geven. Ze zijn daardoor beter in wiskundige, analytische taken of programmeren. LLM’s zijn daarentegen sneller en beter geschikt voor algemene vragen of dagelijkse toepassingen. Je kiest dus afhankelijk van je behoefte.

Kosten per model
Nieuwere modellen zijn niet altijd even kostenefficiënt om te implementeren. Gelukkig zorgt de toegenomen concurrentie ervoor dat bedrijven zich genoodzaakt voelen om scherpere tarieven aan te bieden.

Experimentele modellen zoals ChatGPT 4.5
OpenAI heeft bijvoorbeeld ChatGPT 4.5 ontwikkeld — een hybride model dat anders werkt dan standaard LLM's of Reasoning-modellen. Hoewel het op papier minder intelligent lijkt en erg duur is, hallucineert het nauwelijks en begrijpt het menselijke taal opvallend goed. Het denkt bovendien erg "out of the box", wat het een interessant alternatief maakt in de AI-wereld. Helaas was de prijs zo hoog dat het weinig gebruikt werd, en gebruikers kregen bij de lancering slechts 20 prompts per maand. Toch blijft het een waardevol experiment.

TLDR:
Als je Open AI pakt. Ze brachten eerst gewoon verbeterde versies uit. GPT 1, 2,3 & 4. Dit waren gewoon betere versies per uitgebrachte model dus je zou gewoon de meest recente versie moeten gebruiken en de oude vergeten. Toen kwamen ze met GPT 01. Dit was de eerste reasoning model die uit kwam en maakte veel mogelijk in intilligentie. Coderen, Wiskunde, Analyse. Maar. 01 bleek niet alleen traag, het was ook gelimiteerd en ontzettend door als api. Ze hebben hierom een efficientere versie gemaakt ChatGPT 03. Echter is 03 niet als stand alone uitgekomen, die is nog altijd in development. Wel hebben ze 03-mini uitgebracht. Een light variant van 03 deze is daarmee een heel stuk praktischer en sneller dan 01. Maar toch net iets minder intilligent. En om dat laatste te tacklen hebben ze ook chatgpt 03-high uitgebracht welke net iets langer nadenkt en vergelijkbaar is met 01 maar sneller en goedkoper.

Inmiddels is de geupdate versie van ChatGPT 4 4o genoemd. Dat is gewoon de meest recente versie van Chatgpt. Maar de sprong naar ChatGPT 5 moet nog komen ergens dit jaar.

ChatGPT 4.5 is een expirimentele hybrid model welke alleen Open AI test. Ze verwachten weinig gebruikers bij dit model maar hij heeft voor sommige zeker praktische nut. Maar prijs is gewoon te hoog.

En zo heb je bij ieder merk een vergelijkbare constructie. Ik vertaal veel texten van Engels naar Japans en vise versa omdat ik Japanese contacten heb. Daar gebruik ik Claude 3.5 Sonnet voor. Die is volgens analyses het beste model in vertalingen naar Japans. Beter zelfs dan de nieuwere Claude 3.7. (En sneller)

[djwice]

Een AI die een ding goed kan, kan heel klein zijn, bijvoorbeeld 5MB en heel snel, bijvoorbeeld een zwarte kat detecteren in een beeldje in 7.2ms op een laptop met npu, dus met gemak 120 beelden per seconde kan verwerken, en dus in elk filmpje dat je afspeelt real-time de dingen omlijnen die je wil. Of alle kentekens en tekst in het kenteken herkennen etc.

Een llm model is al snel 850MB voor een 1B model. Een model dat je in cloud gebruikt is typisch een paar honderd keer groter.
Die kan dus meer, maar het kost ook meer tijd, geheugen en rekenkracht om te doen wat je vraagt.

Zie het al een zakmes versus een hamer.
De hamer slaat spijkers er veel sneller in, met het zakmes kan het ook, kost alleen meer energie, tijd en moeite.

[Tommy-D]

Wat heeft AI met gewichten te maken? Of moet dit een 1 aprilletje zijn? Als dit wel een term is die bekend is in de AI wereld heb ik niets gezegd en ben ik gewoon dom.

[Reactie gewijzigd door Tommy-D op 1 april 2025 08:03]

[IlIlIllII]

In de context van machine learning en neurale netwerken verwijzen gewichten (weights) naar de parameters die het model leert tijdens het trainingsproces. Die weights bepalen hoe de inputdata (bijvoorbeeld tekst) wordt omgezet in output (bijvoorbeeld voorspellingen of classificaties). Tijdens de training past het model deze weights aan op basis van de fouten die het maakt, zodat het beter kan presteren op de taak waarvoor het is getraind.

Wanneer een openweight model wordt uitgebracht, betekent dit dat deze waardes publiekelijk beschikbaar zijn - zodat andere partijen het model kunnen aanpassen of verder trainen. Ik kan begrijpen dat 't de gemiddelde lezer niet veel zal zeggen. Iets meer context in het artikel had misschien wel gemogen.

[Tommy-D]

Super, dank je! Weights zijn dus gewoon de parameters, dat wist ik niet. Conclusie: ik ben dom.

[whersmy]

Conclusie: jij krijgt een klopje op de schouder, omdat je vragen durft te stellen en nieuwsgierig bent.

[Kang]

Ja precies!
https://xkcd.com/1053/

[NoUser]

Nee, je wist het niet, nu wel. Dat maakt je slim.

[Recursio]

Iets niet weten is niet dom.
Vermoeden dat of open staan voor dat je iets niet weet is slim.

[iAR]

Iets meer context in het artikel had misschien wel gemogen.

Nou inderdaad. Blijft wel jammer dat Tweakers veel ctrl-c/ctrl-v post zonder daar nog wat verdieping in aan te brengen.

[lenwar]

Klopt. Dit blijft in de praktijk lastig voor de redactie denk ik.

Bij sommige artikelen wordt het wel heel Jip en Janneke gedaan, of worden (algemeen) bekende termen cursief gedrukt alsof het bijzondere termen zijn. Andere onderwerpen vereisen (gechargeerd verwoord) dat je zoveel kennis van zaken nodig hebt, dat je het artikel eigenlijk niet had hoeven lezen (bij wijze van) en alles er tussenin.

Ik ben persoonlijk een voorstander van 'on mouse over'-pop-upjes voor specifieke termen, al werkt dit minder prettig op een telefoon/tablet.

In context met AI-onderwerpen, zien we dat er relatief weinig mensen zijn (op Tweakers), die weten wat AI 'is', wat het doet, wat het niet doet, en hoe het, het doet. Het is allemaal in de basis niet zo ingewikkeld, maar je moet het wel even in je hoofd krijgen. (Je hoeft niet de wiskunde te begrijpen/bevatten om het basisconcept te kennen). Ik snap het persoonlijk wel, maar niet goed genoeg om het goed over te kunnen brengen, dus daarom begin ik daar niet aan.

[iAR]

Je kunt ook gebruik maken van kaders waarin je bepaalde zaken uitlegt.

AI is zo'n typisch voorbeeld waarbij je al heel snel in technische details komt. De modellen buitelen over elkaar heen met allerlei technische termen. Wat is van belang, wat niet? Moet ik het weten om een goede keuze te maken? Daarnaast zou je denken dat Tweakers meer is dan een copy-past site en dat je ook je bezoekers een beetje wil leren over tech zaken. Maar ja, dat is vast te duur en mag niet van DPG.

[lenwar]

Absoluut, met het kaderen hiervan is ook lastig. De ene Tweaker is een zware cryptografietechneut die cryptografische berekeningen doet voor z'n hobby, een andere is bezig met elektronica solderen, weer een ander heeft vooral kennis over consumentenelektronica, en weer een ander heeft nergens verstand van, maar vindt het gewoon interessant allemaal.

Ik vind persoonlijk de wiskunde/theorie achter AI erg interessant. Functioneel vind ik LLMs helemaal niet interessant, maar de maatschappelijke discussie er omheen juist weer wel. Maar dat kan voor een ander juist weer precies omgekeerd zijn.

Prettige wedstrijd met kaderen

Maar inderdaad. Het copy-paste-gehalte van sommige/veel artikelen is wel erg vervelend. Dat zou je niet willen verwachten van een serieuze redactie/redacteur.

[kdekker]

Alles met AI heeft met gewichten, tuning parameters etc te maken. AI snapt niets, maar is veelmeer wiskunde/statistiek/waarschijnlijkheid berekeningen van wat bij elkaar hoort. Het resultaat komt op ons over, alsof AI dingen snapt, of zelfs zelf zou kunnen denken.

Zo werkt m.i. een taal model. Woorden worden bij elkaar gezocht, omdat een taal regels kent. En met waarschijnlijkheden worden zinnen opgebouwd. D.w.z. dat weet ik niet 100% zeker, daar de AI toepassingen die wij gebruiken op het vlak van beeldherkenning zitten en daar op basis van waarschijnlijkheden bepaald wordt of een voorwerp van een bepaalde klasse is (bijv. een boom, een auto, of een persoon e.t.c.). AI herkent dus niets, maar classificeert. Generatieve AI werkt anders, maar zonder input (teksten van all-over-the-world) kan AI niets. Het voeden van goede informatie (en daarop trainen) is misschien wel het lastigste voor AI.

Maar goed, 1 april is altijd leuk. Ik weet niet zeker of Tweakers het nu helemaal serieus bedoelt.

[Reactie gewijzigd door kdekker op 1 april 2025 10:58]

[Tommy-D]

Sorry. Ik ken de termen zoals input output en parameters en dergelijke maar weights niet. Nee, ik dacht niet dat het magisch was. Excuseer mijn ontwetendheid.

[kdekker]

Zo was het niet bedoeld. Ik weet er zelf ook maar beperkt wat van.

[Tommy-D]

Geen probleem hoor, je latere uitleg/aanpassing/toevoeging hielpen absoluut. Ik lees hier nu vele reacties en het word allemaal langzaam maar zeker wel iets duidelijker. Het is misschien geen magie, maar voor mij was het nog wel abracadabra
Ik ga me er iets meer in verdiepen. Bedankt allen.

[Thekilldevilhil]

Iedereen moet alles een keer leren dus de laatste alinea mag gewoon weg. Vragen stellen is goed, nieuwsgierig zijn is goed, daar zo op reageren als jij doet is waarom heel veel mensen dat niet doen.

[kdekker]

Ik snap niet waarom je je kennelijk irritieert aan mijn reactie. Wat vind je er verkeerd aan?
Ik twijfel een beetje of het artikel van Tweakers serieus is. Het kan zo zijn (ik heb niet de moeite genomen om de bron te controleren), maar net zo goed niet. AI is - ik ben zeker geen expert - een heerlijk onderwerp om feit en fictie (en marketing) op los te laten, juist omdat het een complex onderwerp is, waar relatief weinig mensen echt weten waarover het gaat (en ik heb gemerkt dat een universitaire opleiding geen garantie is dat deze peronsen weten hoe een AI model werkt, wel hoe ze het kunnen gebruiken en trainen).

[Thekilldevilhil]

Ik snap niet waarom je je kennelijk irritieert aan mijn reactie. Wat vind je er verkeerd aan?.

Je hebt je comment meerdere keren gewijzigd nadat ik mijn comment geplaatst hebt, zo kan ik het ook wel.

[kdekker]

Alleen uitgebreid. En wat er gewijzigd is, kun je ook zien.

[84hannes]

Ik snap niet waarom je je kennelijk irritieert aan mijn reactie. Wat vind je er verkeerd aan?

Ik denk dat de opmerking "het is geen magie" als neerbuigend wordt ervaren. Vergelijk:

"Je kunt dat weglaten om de boodschap vriendelijker over te laten komen"
met
"Je hoeft echt geen tovenaar te zijn om vriendelijke berichten te schrijven"

Wellicht vind je de eerste ook sympathieker klinken.

[kdekker]

Aangepast.

[moeilijkenaam]

Geen 1april. Heeft te maken met de achterliggende wiskunde. Als je interesse hebt hoe een LLM achter de schermen werkt is het leuk om op te zoeken.

[blorf]

Waarom zijn die parameters statisch en geen proces-variable? Eigenlijk hetzelfde probleem als het onderscheid tussen die modellen. Hoezo niet alles in 1 en een arbitrair systeem dat kijkt naar de kwaliteit van het resultaat? Het lijkt mij dat een AI-engine automatisch de middelen heeft om dat op dezelfde manier te regelen als het verwerken van een prompt-string van een gebruiker.

[Jur_]

Ze worden gewichten genoemd omdat ze vaak twee tegenovergestelde belangen vertegenwoordigen. Een beetje als een volume-schuif waar je niet hard en zacht tegelijk kan kiezen. Door de gewichten te veranderen kun je het antwoord/de training tunen.

edit: aanvullend is het aantal parameters waaruit een LLM bestaat ook nog een mate van de complexiteit en capaciteit om dingen op te lossen.

[Reactie gewijzigd door Jur_ op 1 april 2025 09:28]

[blorf]

Dat bedoel ik juist.Er zitten mensen de hele tijd resultaten te beoordelen want dat kan niet geautomatiseerd worden?

[lenwar]

Dat ligt er aan
Er zijn AI's die AI's trainen en AI's die controleren.

Als je het uiteindelijk helemaal terugbrengt naar de absolute basis, dan zijn er inderdaad mensen geweest die de boel hebben ingevoerd/gecontroleerd. Maar die fase zijn we nu (grotendeels) voorbij.

Stel dat je nu een AI-model schrijft dat het een foto van het cijfer 3 kan onderscheiden van een foto van een honingbij, dan kun je dus een bekende lijst van 3-en en honingbijen invoeren, en door een andere AI laten bekijken hoe goed de uitkomst is. (de AI die getraind wordt, zal tenslotte zeggen dat het met 30% zekerheid een 3 of een honingbij is).

Door de ((tien)duizenden) gewichten te schuiven gaat dat percentage omhoog of omlaag naar het gewenste antwoord. Zo kan een AI-model dus gaan schuiven aan de gewichten net zolang totdat de trainende AI allemaal hoge percentages haalt op alle bekende beelden. En wanneer dit goed werkt, voeg je een foto van een brandweerauto toe, en begin je weer opnieuw, net zolang totdat het AI-model, het cijfer 3, de honingbij en de brandweerauto goed kan herkennen met een hoge zekerheid.

[moeilijkenaam]

In de beginfase van het bouwen van een large language model? Absoluut. https://time.com/6247678/openai-chatgpt-kenya-workers/

Waarschuwing: niet per se een heel vrolijk artikel

[blorf]

Volgens mij zijn het alleen maar big data brokers en die LLM's schijn-concurrentie. Alles wat eruit komt is zakelijk onbruikbaar. Ze geven geen kennis weg, alleen maar korte-termijn gimmicks zoals plaatjes genereren.
Het uitblijven van een decentrale portal is een signaal. Een netwerk van relatief weinig computers in particulier beheer kan zonder veel moeite een AI-service overtreffen in rekenkracht, resultaten en kosten.

[Reactie gewijzigd door blorf op 4 april 2025 08:45]

[Jefrey Lijffijt]

Een model is inderdaad hetzelfde als een verzameling gewichten, in de terminologie van machinaal leren.

Een systeem zoals ChatGPT is meer dan dat, het gebruikt een model om antwoorden te generen. Met slechts het model ben je er dus nog niet helemaal, maar tegelijk kun je met toegang tot het model meer dan met de chat-interface.

[Skit3000]

Ik heb benieuwd voor welke model dat gaat zijn. De bestaande die ze zelf hosten zijn volgens mij gigantisch en onmogelijk te draaien op "consumenthardware" zonder dat het aantal parameters flink terug wordt gebracht. Al zullen ze dat waarschijnlijk al hebben gedaan omdat het voor henzelf dan ook makkelijker is te hosten.

Mijn gok is dat ze iets (vergelijkbaar met) gpt-3.5-turbo.vrij zullen geven. Dat model is nog steeds redelijk geschikt voor veel taken (zoals een (her)schrijfhulp) zonder dat het de nieuwere modellen in de weg hoeft te zitten en ze de concurrentie die dat model gaat hosten dus nog voor kunnen blijven.

[Remc0_]

Leuke 1 april grap, we weten allemaal dat OpenAI gewoon closed is.

[demianmonteverd]

Mistral, Google (Gemma), Deepseek, en natuurlijk Meta (Llama) publiceren wel regelmatig. Misschien voor sommige mensen interessant om eens mee te spelen. Probeer ze met LM Studio of Olama of als je wat handiger bent direct op llama.cpp.

[Remc0_]

Als je echt wat leuks wilt kan je ook MLC gebruiken https://llm.mlc.ai/. Maar het grootste verschil tussen Google/Meta en OpenAI is dat de research papers een stuk meer inhoud hebben. Er komen technieken naarvoren die andere ook kunnen gebruiken en repliceren. Bij OpenAI is het nu vaak een veredelde reclame folder.

[demianmonteverd]

"MLC LLM is a machine learning compiler and high-performance deployment engine for large language models. The mission of this project is to enable everyone to develop, optimize, and deploy AI models natively on everyone's platforms."

Op het werk kan ik alleen Mistral gebruiken i.v.m. de voorwaarden, maar voor thuis is dit absoluut een leuk project om mee te gaan spelen. Super gaaf, dank je wel.

[JustFogMaxi]

Wordt dus helemaal kapot generfed.

[Wietsee.]

Dacht al dat het openweight zou zijn .