Anthropic haalt OpenAI-medeoprichter binnen voor ontwikkeling van AI-modellen

AI-wetenschapper Andrej Karpathy treedt in dienst bij Anthropic. Hij was een van de medeoprichters van OpenAI, waar hij negen jaar geleden vertrok om bij Tesla aan zelfrijdende auto's te werken. Hij verliet dat autobedrijf van Elon Musk vijf jaar geleden.

Karpathy verklaart dat hij nu terugkeert naar onderzoek en ontwikkeling van AI, meldt persbureau Reuters. De AI-wetenschapper meent dat er in de komende paar jaar fundamentele ontwikkelingen zijn op het gebied van grote taalmodellen (llm's).

De ontwikkeling van Tesla's AI-systemen voor het zelfrijdend vermogen van die elektrische auto's dankt veel aan Karpathy. Hij vertrok daar in juli 2022 nadat hij in juli 2017 overstapte vanaf OpenAI. In augustus 2024 stapte een andere medeoprichter van OpenAI, John Schulman, over naar concurrent Anthropic.

Karpathy maakt bij Anthropic deel uit van het team dat pretraining van AI-modellen verzorgt. Dit grootschalige dataproject voorziet AI-chatbot Claude van de kerninformatie en -mogelijkheden waarmee het diensten verleent aan gebruikers.

Andrej Karpathy. Bron: Karpathy.ai

Reacties (15)

[Wimmie13]

Hoe kan AI fundementeel veranderen vraag ik me dan af. Ik sta er wel open voor maar soms weet ik niet zo goed waar ze naar toe willen gaan. Is er dan meer te halen in hoe je de AI leert of hoe je hem verbind met diverse tools?

[MarkHart]

Slimmer, minder fouten, dat maakt een gigantisch verschil in mogelijke usecases. Op technisch vlak is de AI wereld van nu extreem anders dan een jaar terug of het jaar daarvoor, laat staan hoe het 5 of 10 jaar terug was.

Als laatste is er een grote groep AI onderzoekers die geloven dat we in de laatste jaren van menselijk denkwerk zitten, als je nu niet het maximale met je kennis doet, ben je voor niks expert geworden.

[Pufster]

Men zegt heel snel over X aantal jaar is job Y er niet meer. Toen chatgpt uitkwam enkele jaren terug gingen direct jobs sneuvelen en sectoren sluiten. Niets is minder waar. Bedrijven komen er al op terug dat je niet alles kan vervangen door AI.

Men zegt bv al 20 jaar dat er bepaalde jobs in finance zullen verdwijnen vanwege geautomatiseerde taken zoals factuurverwerking. Als iemand die dergelijke systemen implementeert en onderzoekt kan ik zeggen dit onzin is. Altijd mooie verkooppraatjes maar de software gaat nog zo vaak de mist in.

Tegen dat AI echt zo goed is als ons, mogen we nog jaren op wachten.

[Zorg]

Ik denk dat de techniek niet de bottleneck is, maar de mens zelf. Die wil vaak niet veranderen of ze weten gewoon niet beter. Ik kom dagelijks veel taken tegen waarvan ik denk dat kan vele malen efficiënter (zelfs zonder AI) toch gebeuren nog veel dingen op een oude, vertrouwde, manier.

Daarnaast fast forward 10 jaar, de techniek is ingeburgerd en iedereen gebruikt het quasi op dezelfde manier. Dan is het voordeel ook niet meer de techniek, maar de menselijke factor. We hebben immers allemaal toegang tot dezelfde techniek. Ik zie het bij ons ook, we moeten een werkgroep AI opstarten om er slimmer mee om te gaan! Guess what? Bij onze concurrenten gaat dezelfde discussie! Die hebben exact eenzelfde werkgroep gestart

[wiseger]

Overal is dat gaande. Overal is men zoekende hoe AI ingezet kan worden. Er zit alleen wel een kanttekening aan, op dit moment heeft het bedrijf nog de senior SME's (subject matter experts). Die controleren nog de AI en die kunnen bijsturen of problemen oplossen als de AI er niet uitkomt.

Wat je nu ziet is dat de junior en medior functies rap aan het verdwijnen zijn. Alleen heeft dat wel als consequentie dat er over een tijdje steeds minder seniors overblijven. De grote uitdaging zal gaan worden of men ook dat probleem met AI op kan lossen of niet.

[Terracotta]

Is de AI wereld van nu effectief anders dan een jaar terug? Wat is er fundamenteel anders dan toen OpenAI met ChatGPT 3 een doorbraak maakte buiten meer rekenkracht en grotere leermodellen? Nog meer ongestructureerde data even hoog kwalificeren als effectieve intelligente bronnen heeft zijn beperkingen en dat is wat ze doen, met hier en daar wat tweaks.

De hallucinaties (of confabulaties) zijn er niet minder op geworden en dat is wel de achilleshiel van de huidige oplossingen.

[nowherebound123]

Ik kan op technisch niveau niet staven wat er is verbeterd maar vanuit mijn werk als software ontwikkelaar constateer ik dagelijks dat in het afgelopen jaar (gevoelsmatig het afgelopen half jaar) enorme stappen zijn gemaakt in de kwaliteit van de output. Bij juist gebruik van de tooling ontstijgen de gegeven oplossingen de kwaliteit geleverd door menig senior, en dat dan in een fractie van de tijd.

Of het gebruik als 'all-round fact machine' ook dusdanig is verbeterd weet ik niet, daar gebruik ik LLM's eigenlijk niet voor. Ik zou zeggen geef Codex eens een kans met het 5.5 model.

[Pufster]

Het probleem is dat ze Google niet zijn.

Zij kunnen Gemini in al hun diensten steken. Gmail, chrome, zoekrobot, workspace, android en ga zo maar door. Dat kan openai niet echt. Je zag het nu ook op de google io beurs. Al die zaken die ze aankondigen kunnen ze doen vanwege de andere diensten ze in huis hebben.

Ik vermoed openai het onderspit zal delven. Nu hebben ze nog de naam van de eerste grote AI te zijn die velen kennen maar dat zal niet blijven duren.

[willieverhoef]

Ook google moet eraan verdienen en met zoeken en mail gaat dat niet hard. Hun verdienmodel is reclame. Denk GitHub/Microsoft op dit moment nuttige oplossing hebben en korte filmpjes of tekeningen maken.

[Janpietertje89]

Toch werkt de hele professionele wereld momenteel met microsoft office, waar google dan weer 0 ingangen heeft.

[wiseger]

Dat valt wel mee, Excel en Word worden niet zoveel gebruikt voor workflows. Meer als vastlegging van gegevens buiten de systemen om. Al zal Teams wel wat meer workflow gegevens bevatten.

Voor bedrijven bevatten zaken als Github, ServiceNow en Jira veel interessantere gegevens. Daar zitten de (IT) workflows wel in, zeker als je ze combineert. Daar kan echt toegevoegde waarde gecreëerd worden met AI Agents waarmee kosten besparingen mogelijk zijn.

[Ruud2001]

Bijvoorbeeld Yann LeCunn van Meta is van mening dat de ontwikkeling van LLM eindig is, en hij zoekt het juist in world models. Denk dat het ook enorm afhankelijk is van de use cases waarin men stappen wil maken. De investeringen zijn zo groot dat je ook daarin slimme keuzes moet maken.

[fruitbakje]

Wie (wat) beter dan een LLM (Copilot in dit geval) om het te vragen:

Karpathy argues that earlier models—trained with RLHF—were optimized to sound correct, not be correct. Human raters couldn’t reliably judge complex reasoning, so models learned to produce plausible‑sounding answers. This created issues like hallucinations and “sycophancy.”

What’s changing now:
A new training stage, RLVR (Reinforcement Learning from Verifiable Rewards), uses objective signals—compilers, math solvers, logic checkers—to reward correctness.
Models can now:

• explore multiple reasoning paths
• self‑check
• get rewarded only for verifiably correct solutions

This is a fundamental shift in how intelligence is trained.

En nog een paar andere (kleine?) dingetjes:

Karpathy highlights a new scaling law: “think longer → get smarter.” Models like OpenAI o1/o3 and DeepSeek R1 already do this: they spend more compute on hard problems and improve their reasoning dynamically.

Karpathy emphasizes that LLMs are no longer “text bots.” They now integrate images, audio, video, code execution, search, file analysis, tool use. This transforms them from chat interfaces into general‑purpose cognitive engines.

In his YC talk, Karpathy describes LLMs as a new kind of computer—stateless, cloud‑based, and prompt‑driven. He calls this era Software 3.0, where natural language becomes the programming interface.

Karpathy notes two big flaws in current LLMs:

• Jagged intelligence: brilliant at hard tasks, clumsy at simple ones
• Anterograde amnesia: models can’t retain new knowledge after training

Both are active research areas, and RLVR + tool use + memory systems are starting to smooth these out.

[InjecTioN]

Volgens mij is OpenAI bezig met een flinke afdaling. Microsoft financiert niet (of nauwelijks) in daadwerkelijke liquiditeit (biedt voornamelijk het Azure platform. That's it!), Altman verliest hier en daar key components van zijn bedrijf, mensen moeten betaald worden, investeringen moeten gedaan worden (nieuwe modellen laten leren, wat ècht een flink kostenplaatje is). Ze moeten snel iets nieuws hebben, anders gaan ze het niet redden.

[Vaevictis_]

Anthropic heeft compute gekregen van elon musk Colossus. Dat is momenteel de bottleneck voor opoenai en anthropic. Andrej is een top ai wetenschapper join the winning team.