Anthropic haalt OpenAI-medeoprichter binnen voor ontwikkeling van AI-modellen

AI-wetenschapper Andrej Karpathy treedt in dienst bij Anthropic. Hij was een van de medeoprichters van OpenAI, waar hij negen jaar geleden vertrok om bij Tesla aan zelfrijdende auto's te werken. Hij verliet dat autobedrijf van Elon Musk vijf jaar geleden.

Karpathy verklaart dat hij nu terugkeert naar onderzoek en ontwikkeling van AI, meldt persbureau Reuters. De AI-wetenschapper meent dat er in de komende paar jaar fundamentele ontwikkelingen zijn op het gebied van grote taalmodellen (llm's).

De ontwikkeling van Tesla's AI-systemen voor het zelfrijdend vermogen van die elektrische auto's dankt veel aan Karpathy. Hij vertrok daar in juli 2022 nadat hij in juli 2017 overstapte vanaf OpenAI. In augustus 2024 stapte een andere medeoprichter van OpenAI, John Schulman, over naar concurrent Anthropic.

Karpathy maakt bij Anthropic deel uit van het team dat pretraining van AI-modellen verzorgt. Dit grootschalige dataproject voorziet AI-chatbot Claude van de kerninformatie en -mogelijkheden waarmee het diensten verleent aan gebruikers.

Andrej Karpathy. Bron: Karpathy.ai

Reacties (27)

[Wimmie13]

Hoe kan AI fundementeel veranderen vraag ik me dan af. Ik sta er wel open voor maar soms weet ik niet zo goed waar ze naar toe willen gaan. Is er dan meer te halen in hoe je de AI leert of hoe je hem verbind met diverse tools?

[Pufster]

Het probleem is dat ze Google niet zijn.

Zij kunnen Gemini in al hun diensten steken. Gmail, chrome, zoekrobot, workspace, android en ga zo maar door. Dat kan openai niet echt. Je zag het nu ook op de google io beurs. Al die zaken die ze aankondigen kunnen ze doen vanwege de andere diensten ze in huis hebben.

Ik vermoed openai het onderspit zal delven. Nu hebben ze nog de naam van de eerste grote AI te zijn die velen kennen maar dat zal niet blijven duren.

[Janpietertje89]

Toch werkt de hele professionele wereld momenteel met microsoft office, waar google dan weer 0 ingangen heeft.

[wiseger]

Dat valt wel mee, Excel en Word worden niet zoveel gebruikt voor workflows. Meer als vastlegging van gegevens buiten de systemen om. Al zal Teams wel wat meer workflow gegevens bevatten.

Voor bedrijven bevatten zaken als Github, ServiceNow en Jira veel interessantere gegevens. Daar zitten de (IT) workflows wel in, zeker als je ze combineert. Daar kan echt toegevoegde waarde gecreëerd worden met AI Agents waarmee kosten besparingen mogelijk zijn.

[willieverhoef]

Ook google moet eraan verdienen en met zoeken en mail gaat dat niet hard. Hun verdienmodel is reclame. Denk GitHub/Microsoft op dit moment nuttige oplossing hebben en korte filmpjes of tekeningen maken.

[MarkHart]

Slimmer, minder fouten, dat maakt een gigantisch verschil in mogelijke usecases. Op technisch vlak is de AI wereld van nu extreem anders dan een jaar terug of het jaar daarvoor, laat staan hoe het 5 of 10 jaar terug was.

Als laatste is er een grote groep AI onderzoekers die geloven dat we in de laatste jaren van menselijk denkwerk zitten, als je nu niet het maximale met je kennis doet, ben je voor niks expert geworden.

[Pufster]

Men zegt heel snel over X aantal jaar is job Y er niet meer. Toen chatgpt uitkwam enkele jaren terug gingen direct jobs sneuvelen en sectoren sluiten. Niets is minder waar. Bedrijven komen er al op terug dat je niet alles kan vervangen door AI.

Men zegt bv al 20 jaar dat er bepaalde jobs in finance zullen verdwijnen vanwege geautomatiseerde taken zoals factuurverwerking. Als iemand die dergelijke systemen implementeert en onderzoekt kan ik zeggen dit onzin is. Altijd mooie verkooppraatjes maar de software gaat nog zo vaak de mist in.

Tegen dat AI echt zo goed is als ons, mogen we nog jaren op wachten.

[Zorg]

Ik denk dat de techniek niet de bottleneck is, maar de mens zelf. Die wil vaak niet veranderen of ze weten gewoon niet beter. Ik kom dagelijks veel taken tegen waarvan ik denk dat kan vele malen efficiënter (zelfs zonder AI) toch gebeuren nog veel dingen op een oude, vertrouwde, manier.

Daarnaast fast forward 10 jaar, de techniek is ingeburgerd en iedereen gebruikt het quasi op dezelfde manier. Dan is het voordeel ook niet meer de techniek, maar de menselijke factor. We hebben immers allemaal toegang tot dezelfde techniek. Ik zie het bij ons ook, we moeten een werkgroep AI opstarten om er slimmer mee om te gaan! Guess what? Bij onze concurrenten gaat dezelfde discussie! Die hebben exact eenzelfde werkgroep gestart

[wiseger]

Overal is dat gaande. Overal is men zoekende hoe AI ingezet kan worden. Er zit alleen wel een kanttekening aan, op dit moment heeft het bedrijf nog de senior SME's (subject matter experts). Die controleren nog de AI en die kunnen bijsturen of problemen oplossen als de AI er niet uitkomt.

Wat je nu ziet is dat de junior en medior functies rap aan het verdwijnen zijn. Alleen heeft dat wel als consequentie dat er over een tijdje steeds minder seniors overblijven. De grote uitdaging zal gaan worden of men ook dat probleem met AI op kan lossen of niet.

[MarkHart]

Ik denk dat er een groot verschil zit in dat de mensen die het deze keer zelf maken dat claimen. Als IT-er kan je zeggen dat factuurverwerking toch gewoon te automatiseren is, omdat je echt geen idee hebt van de wekelijkse werkzaamheden.

[batjes]

We zagen dit rond 2010 toch ook?

Na het zien van het eerste semi-automatische logistieke magazijn en de opkomst van het zelf rijden. Ik was er van overtuigt dat de hele logistieke sector tegen 2020 compleet van de kaart geveegd zou zijn.

Het is nu 2026 en het voelt technologisch alsof we in 2011 zitten.

Ach hetzelfde met het internet en andere technieken, in 2000 waren we al dusdanig technologisch geavanceerd als mens, dat we 90% van het werk al weg konden automatiseren.

Nooit gebeurt, wij burgelijke plebs zijn nog altijd veel te goedkoop om in te huren.

Die LLM's gaan net zo veel veranderen als de afgelopen 25 jaar ons beloofd was, niets. Want financieel belang > maatschappelijk belang.

[Terracotta]

Is de AI wereld van nu effectief anders dan een jaar terug? Wat is er fundamenteel anders dan toen OpenAI met ChatGPT 3 een doorbraak maakte buiten meer rekenkracht en grotere leermodellen? Nog meer ongestructureerde data even hoog kwalificeren als effectieve intelligente bronnen heeft zijn beperkingen en dat is wat ze doen, met hier en daar wat tweaks.

De hallucinaties (of confabulaties) zijn er niet minder op geworden en dat is wel de achilleshiel van de huidige oplossingen.

[nowherebound123]

Ik kan op technisch niveau niet staven wat er is verbeterd maar vanuit mijn werk als software ontwikkelaar constateer ik dagelijks dat in het afgelopen jaar (gevoelsmatig het afgelopen half jaar) enorme stappen zijn gemaakt in de kwaliteit van de output. Bij juist gebruik van de tooling ontstijgen de gegeven oplossingen de kwaliteit geleverd door menig senior, en dat dan in een fractie van de tijd.

Of het gebruik als 'all-round fact machine' ook dusdanig is verbeterd weet ik niet, daar gebruik ik LLM's eigenlijk niet voor. Ik zou zeggen geef Codex eens een kans met het 5.5 model.

[Terracotta]

Je staaft voor een groot stuk mijn stelling: ´nog meer ongestructureerde data even hoog inschatten als echt intelligente data heeft zijn beperkingen´.

Software ontwikkeling is een grote niche waar heel veel kwalitatieve open source code vrij beschikbaar is om van te leren, waar de ratio van slechte code tot goede code een pak beter scoort dan in de gewone media wereld (kwaliteit van een reddit post kan zeer goed zijn, maar kan kwalitatief ook rommel zijn waarbij de LLM's van nu het verschil in kwaliteit maar beperkt kunnen detecteren).

[MarkHart]

De verhouding engineering en research is enorm veranderd de afgelopen 5 jaar. Puur schalen is vooral een engineering uitdaging, de beste blijven tov anderen de schalen is een research uitdaging. Goede onderzoekers moeten nu echt beide kunnen, maar onderzoek wordt weer populairder.

Data is tegenwoordig vooral synthetisch, dus niet direct van het internet geplukt. De manier van denken wordt heel anders als je moet filteren tegenover als je moet genereren.

80% van de rekenkracht gaat tegenwoordig naar post-training, dus niet meer het leren van taalvoorbeelden, maar bijvoorbeeld hoe we een model zelf taken laten oplossen zonder voorbeelden.

Optimizer research is weer populair sinds eind 2024 (met Muon) daar is veel nieuwe theorie uit gekomen, die deze keer ook nog eens praktisch bruikbaar is (zeldzaam voor ML theorie).

LLMs zelf hebben de dagelijkse werkzaamheden ook gigantisch veranderd, vroeger duurde een paper reproduceren een paar weken, nu een paar uur.

Dit zijn de eerste dingen die in me opkomen. Ieder jaar is de baan echt bijna onherkenbaar tov het jaar er voor.

[Malarky]

Als iemand die vanaf chatGPT 1 geld verdiend met high frequency arbitrage bots kan ik zeggen dat er elke 2-3 doorbraken zijn met claude en codex. De vooruitgang in welke strategien en verbeteringen deze modellen kunnen doorvoeren is enorm. Wordt je er daardoor rijk van? Nee, de concurrentie gebruikt dezelfde tools.

[batjes]

LLM kan geen nieuwe code verzinnen of oplossingen bedenken die al niet bedacht zijn. Dat is de grootste zwakte

En nu LLM's het laag niveau werk in de IT weg aan het buffelen is. Zonder die nieuwe aanwas op de markt ga je vanzelf tegen de problemen aanlopen welke in de Delphi/Pascal/Cobol sectoren al goed bekend zijn.

[Ruud2001]

Bijvoorbeeld Yann LeCunn van Meta is van mening dat de ontwikkeling van LLM eindig is, en hij zoekt het juist in world models. Denk dat het ook enorm afhankelijk is van de use cases waarin men stappen wil maken. De investeringen zijn zo groot dat je ook daarin slimme keuzes moet maken.

[imqqmi]

Ik denk dat als een LLM doorlopend getraind kan worden opv input dan kan dat een flinke doorbraak betekenen. Nu zijn de meeste modellen slechts statisch, ze worden getraind, re-inforcement learning toegepast en veel human control toegepast voordat het naar de consument gaat.

Zelf corrigerend zou ook erg fijn zijn, en dat niet alleen door extra hoge 'thinking' in te schakelen. Wellicht dat de modellen anders in architectuur kunnen worden gemaakt zodat dit mogelijk wordt.

Daarnaast zou een flinke optimalisatie slag ervoor kunnen zorgen dat consumenten straks alleen nog bij kaarslicht moeten leven, en/of dat LLMs veel sneller hun antwoorden genereren.

[NoTechSupport]

Large language models zijn maar één vorm van AI. Statistisch en op tekst gebaseerd emuleren van door mensen geschreven tekst. Het begrijpen van de werkelijkheid doen ze niet. Nu zijn llms eerder text prediction on steroids dan iets dat echt begrijpt. Door dat iteratief te doen kan je wel heel ver komen, zoals we nu zien met coding agents.

[Coolstart]

Hoe kan AI fundementeel veranderen vraag ik me dan af.

Er zijn veel kleine innovaties aan de gang.

1. Context window. Hoeveel externe context een AI model kan inladen. Zo onthoud het uw naam, project, deel codebase etc in een sessie. 1M tokens is just de max.
2. Reinforced learning. Omgaan met nieuwe wetmatigheden. De huidige modellen zijn fixed. Context window lost niet alles op. Soms wil je dat uw model kan omgaan met nieuwe omstandigheden.
3. Omgaan met randgevallen. Zodra AI zelf de gaten moet vullen omdat het model info mist dan gaat het hallucineren. Nieuwe modellen doorgaan een soort van sanity check of via evolutionaire algoritmes die de output verbeteren.
4. Efficientie: bijv Mixture of experts. Je kan grote modellen opsplitsen zodat je enkel gebruikt wat je nodig acht. Zo bespaar je enorm veel ram. Ook ideaal voor lokale AI.

Beeld je in dat je op alle 4 punten kan innoveren. Een totaal nieuwe aanpak of gewoon efficiënter, performant er etc.

[satya]

Aan de huidige opzet weinig, wat er vooral gebeurt zijn processen er om heen om de accuratesse te vergroten zoals MoE bij Deepseek. Een van de Founding Fathers (Yann André Le Cun) heeft de huidige opzet al verlaten omdat het nooit het beoogde resultaat zal bereiken en is nu met een andere leermethode bezig wat het wereldmodel wordt genoemd.

AGI kan met de huidige opzet niet bereikt worden, daar is wiskundig/wetenschappelijk van bewezen at het nooit deterministische accuratesse bereiken kan.

[InjecTioN]

Volgens mij is OpenAI bezig met een flinke afdaling. Microsoft financiert niet (of nauwelijks) in daadwerkelijke liquiditeit (biedt voornamelijk het Azure platform. That's it!), Altman verliest hier en daar key components van zijn bedrijf, mensen moeten betaald worden, investeringen moeten gedaan worden (nieuwe modellen laten leren, wat ècht een flink kostenplaatje is). Ze moeten snel iets nieuws hebben, anders gaan ze het niet redden.

[Vaevictis_]

Anthropic heeft compute gekregen van elon musk Colossus. Dat is momenteel de bottleneck voor opoenai en anthropic. Andrej is een top ai wetenschapper join the winning team.

[jhnddy]

Mijn grootste irritatiepunt van chatgpt (en waarom ik privé naar Claude ben overgestapt), is dat de interface bij lange gesprekken enorm laggy wordt, tot het punt dat je geen nieuwe commando's meerkunt intypen.

Zoiets simpels als een goede front-end maken was blijkbaar zelfs met hun eigen AI assistentie al niet te doen, dan maar naar de concurrentie die dat wél goed voor elkaar heeft.

[Jedotw]

Mijn vraag blijft waarom deze bedrijven niet meer kijken naar hoe het Chinese DeepSeek werkt, in plaats van maar honderden miljarden te pompen in datacenters die over 5 jaar op nu gekochte processoren draaien.

Doet me denken aan de beginperiode van Facebook (maar ook andere platformen) waar het maar bijkopen van meer servercapiciteit de norm was, in plaats van te kijken hoe de software anders gebouwd kon worden om de enorme groei te ondersteunen.

[Thirler]

Ik heb veel van zijn youtube video's gekeken. Dat geeft je echt een diepe dive in hoe LLMs werken, bijvoorbeeld de serie 'building MakeMore' waar hij in python voordoet hoe je een eigen language model maakt en waar je zelf mee kunt programmeren.

Let wel, dit is voor mensen die het heel precies willen weten en de expert willen zien programmeren en zo de basis ideeen achter LLMs echt leren begrijpen, 3blue1brown heeft veel toegankelijkere interpretaties van oa deze videos met visualisatie van dezelfde concepten.