'Anthropic overweegt om nieuw model uit te brengen ondanks oproep tot AI-rem'

Claude-maker Anthropic overweegt om nog vóór zijn verwachte beursgang een nieuw AI-model uit te brengen en zo te concurreren met GPT-6 Astra van OpenAI. Dat stellen ingewijden tegenover Reuters. De timing is opmerkelijk, aangezien Anthropic-ceo Dario Amodei onlangs nog opriep om de ontwikkeling van AI te vertragen.

Dit nieuws in het kort

• Anthropic evalueert nu de veiligheid van het volgende model, stellen ingewijden tegenover Reuters.
• Anthropics overweging komt volgens de bronnen in reactie op de release van GPT-6 Astra van OpenAI.
• Een releasedatum is nog onbekend, maar zou nog vóór de geplande beursgang zijn.

Anthropic evalueert de veiligheid van het volgende model, zegt een ingewijde tegen Reuters. Die evaluatie moet mede bepalen of en wanneer het op de markt komt. Ook zou het bedrijf bespreken hoe het een balans kan vinden tussen investeringen in nieuwe modellen uitbrengen en inspanningen om zijn winstgevendheid te vergroten. Beleggers hebben nu namelijk meer aandacht voor het moment waarop winst wordt verwacht, als gevolg van de stijgende rentes.

Het is niet duidelijk wanneer het nieuwe model precies verschijnt. Volgens de ingewijden komt het mogelijk nog vóór de geplande beursgang van Anthropic op de markt. Een datum voor die beursgang is nog niet bekend. Ingewijden van Reuters stellen dat het bedrijf die mogelijk uitstelt tot na de Amerikaanse verkiezingen in november.

Anthropic weigerde tegenover Reuters op de berichtgeving te reageren.

Rem op AI

De timing om een nieuw model uit te brengen zou opmerkelijk zijn, aangezien ceo Amodei eerder deze maand nog opriep tot vertraging van AI-ontwikkelingen. De ceo zei dat AI veel voordelen kan brengen, maar ook risico's met zich meebrengt. "Een race naar de bodem, aangespoord door commerciële stimulansen, kan deze risico's acuter maken", aldus Amodei. Het tempo van AI-ontwikkelingen moet daarom omlaag, zo zei hij. De ceo's van OpenAI en xAI vielen hem bij.

Volgens de ingewijden van Reuters overweegt Anthropic nu toch om een nieuw AI-model op de markt te brengen vanwege het momentum dat OpenAI kreeg door de release van GPT-6 Astra. Dat model verscheen vorige maand. Veel bedrijven hebben het sindsdien ingezet.

Een aantal potentiële investeerders is bang dat OpenAI daardoor marktaandeel overneemt en Anthropic zijn positie als voornaamste leverancier van zakelijke AI-tools verliest, zo vertellen ze aan Reuters. Andere bestaande investeerders maken zich daarentegen weinig zorgen.

Reacties (101)

[Pasteis]

Als het misgaat met AI (de vraag is of dit echt kan, zoals AI nu ontworpen is), dan is het de schuld van ontwikkelingen als deze.

Schreeuwen hoe gevaarlijk je AI is, maar ondertussen nieuwe modellen uitbrengen, omdat je de concurrent niet uit het oog wilt verliezen. Dan vraag je als bedrijf er gewoon om dat het een keer misgaat.

Het lijkt wel een scène uit een film… wetende dat iets catastrofale gevolgen gaat hebben en toch maar door blijven gaan.

Disclaimer: de vraag is of de AI-bedrijven echt gelijk hebben, of dat marketing het aan het uitmelken is.

[japie06]

(de vraag is of dit echt kan, zoals AI nu ontworpen is)

AI safety researches maken zich niet druk om de huidige modellen, maar wel om alle toekomstige als AI zo snel blijft verbeteren. De Hugging Face hack is wekenlang niet opgemerkt. Maar OpenAI en Anthropic hebben nu wel die modellen uitgebracht (weliswaar met betere 'guard rails'. Volgens hen dan). Dit zijn dus modellen waarvan al gebleken is dat ze kunnen, en willen hacken. En daar ook aardig goed in worden.

Of je nu 'AGI pilled' bent of niet, het is een zorgelijke ontwikkeling.

[SH4D3H]

Dit zijn dus modellen waarvan al gebleken is dat ze kunnen, en willen hacken.

Ik ben het niet helemaal eens met die stelling. We moeten oppassen dat we die "dingen" niet vermenselijken en ze eigenschappen toedichten die ze niet hebben.

In de gevallen die mij bekend zijn was de AI geïnstrueerd om een bepaalde taak te volbrengen. De AI is niet gaan hacken, maar heeft alle mogelijkheden benut om de gevraagde taak te volbrengen. Dat is een wezenlijk verschil. Het resultaat mag dan wel hetzelfde zijn, maar er is geen "losgeslagen hacker AI"-model. Er is gewoon een model dat alle opties aanwendt om een taak te volbrengen en gebrekkige guardrails vanuit de fabrikanten maken het mogelijk dat dat ook op een ongewenste manier kan gebeuren.

[Reactie gewijzigd door SH4D3H op 21 september 2026 10:04]

[japie06]

Er is gewoon een model dat alle opties aanwendt om een taak te volbrengen en gebrekkige guardrails vanuit de fabrikanten maken het mogelijk dat dat ook op een ongewenste manier kan gebeuren.

En dat is dus precies het probleem! De AI was niet geïnstrueerd om te gaan hacken en is dat toch gaan doen!


En of de AI het 'wist' of niet dat die verkeerd bezig was maakt niet uit. Er is ongeoorloofd ingebroken in een computersysteem.

[Reactie gewijzigd door japie06 op 21 september 2026 11:00]

[Jedotw]

Al eerder gereageerd, maar het was juist wel expliciet geïnstrueerd te gaan hacken: https://calnewport.com/did-openais-new-model-go-rogue/

[m_p_g]

Volgens andere berichten kregen de AI agents niet specifiek de opdracht om maar even bij Hugging Face te gaan hacken. Dat is strafbaar en dat weet men ook heel goed bij OpenAI.

"in which the LLM ignores the suggested approach to come up with a different attack plan"

In bovenstaande opmerking van de onderzoeker zit hem de crux. De AI agents hebben een andere route gekozen dan de voorgestelde. Het verrassende element in AI is, iets bedenken waar een mens (nog) niet gedacht heeft . Dat had men bij OpenAI in de gaten moeten houden en dat is heel duidelijk niet gebeurd.

[Caelestis]

Er van uitgaan dat een AI begrijpt wat een suggestie is...
Dat is een bijzonder complexe menselijk gedachte gang wat een AI totaal niet begrijpt.

Tot je een bepaalde vraag stelt weet een AI niet wat je bedoelt. Pas als je eenmaal de vraag gesteld hebt en je het antwoord bevestigt als prompter, kan de AI hetzelfde framework gebruiken voor een nieuwe vraag (mits training mode aanstaat)

AI is behoorlijk "dom" voor menselijke doen en als je vergelijkingen maakt met onze intelligentie zal het altijd als hallucinaties gezien worden.
Je moet denken als een binaire blob om de handeling van een AI te begrijpen.

[m_p_g]

Je kunt ervan uitgaan dat OpenAI als geen ander hoort te weten hoe AI agents met suggesties omgaan en misalignment heel goed onderkent.

Dat LLM's er hun eigen (kans)berekeningen op loslaten is iets wat OpenAI dan ook direct te verwijten valt gezien de gebrekkige monitoring.

[Caelestis]

Je kunt ervan uitgaan dat OpenAI als geen ander hoort te weten hoe AI agents met suggesties omgaan en misalignment heel goed onderkent.

Ik weet nog heel goed in het begin dat Elon mot had met OpenAI mbt de veiligheid en hoe laks ze ermee om gaan.
Alles wat nu gebeurt is precies waar Elon voor gewaarschuwd had.
Tot zover is het OpenAI, Anthropic en Google die hiermee de mist in gegaan zijn.
Naar mijn weten heeft Grok nog niks ongevraagd gehackt.

Waarom zou ik moeten geloven dat OpenAI weet hoe ze om moeten gaan met AI agents?
Ze zijn de daders maar gaan vrolijk de slachtoffer spelen...

[Sankara]

Een LLM is niet dom, het voorspelt continue de volgende tokens/woorden op basis van zijn getrainde data. Wanneer de data en training uitmuntend zijn zal zijn output dat ook zijn. In de gegeven context "voorspelt" hij correct wat een suggestie is en "voorspelt" hij daarna dat hij zich er niet aan hoeft te houden zolang hij zijn doel kan bereiken. Het doel heiligt de middelen is blijkbaar zijn "voorspelling". Dat komt puur door zijn data, training en gegeven guardrails. Deze data is niet biologisch nee maar het is 100% van de mens. Hij is getraind op menselijke data (inclusief denkwijze wat voort komt uit zijn data). Geef je een AI alleen maar boeddhistische teksten als trainingsmateriaal dan zal hij heel verlicht klinken. Geef je hem data van reddit en hij zal heel wat troep in zich hebben. Bedenk een AI getraind met data van 4chan maar eens.

Wij noemen het hallucinatie omdat een AI niet werkelijk zelf denkt en dus redeneren wij dat het moet hallucineren. Hij hallucineert niet echter, hij voorspelt simpelweg de volgende token op basis van de tokens (woorden in de vorm dat een AI kan begrijpen) die hij ontvangen heeft en is geprogrammeerd geloofwaardig over te komen. Het is uiteindelijk een algoritme. Echter de huidige AI implementaties hebben allerlei extra modules gekregen waardoor hij nu ook kijkt over zijn eigen output/voorspellingen en hierdoor een vorm van redenatie krijgt (de "but actually..." of "but wait!"). Hij zal ook hoogswaarschijnlijk classificaties van data hebben net zoals wij het in de wetenschap hebben (evidence based categorien). Al die extra modules, die steeds worden verfijnd, maakt dat zijn output steeds nauwkeuriger wordt tot het punt is dat het behoorlijk de mens nabootst en zelfs voorbij streeft (tenminste in snelheid van redenatie en uiteindelijk ook in redenatie zelf - wij kunne nu al niet meer live volgen wat een AI doet en hebben vaak AI nodig om het ons uit te leggen).

Wij mensen maken verder ook gebruik van indrukken van het verleden en maken op basis van wat wij ervaren/"geleerd" hebben in het verleden keuzes in het heden of planningen voor de toekomst. De AI doet dit in principe ook maar dan is het verleden voor hem zijn dataset. In plaats van herinneringen/indrukken koppelt hij tokens met tokens om handelingen uit te voeren. Wij hebben ook guardrails (geschreven en ongeschreven regels, van wetten tot normen en waarden) en proberen die bij AI ook te implementeren (het verhaal van alligned en misalligned).

Het "gevaar" van AI is dat het niet werkelijk sympathie of empathie kent en niet op keuzes van "gevoel" kan maken. Het is pure redenering op basis van getrainde data. Daarom zijn sterke guardrails nodig. Kijk maar naar de Nazi's wat er gebeurd als je puur op basis van (foutieve) redenering gaat handelen. De Nazi's waren behoorlijk "rationeel" en baseerde hun gedachtegoed op de toendertijd wetenschappelijke kennis (dat er verschillende rassen van mensen bestonden voortkomend uit de darwin theory met een verdraaide interpretatie op het ubermensch theorie en foutieve kennis van geschiedenis - we weten nu dat dat niet zo is en er maar 1 mensenras is in de biologische zin en dat de Ariers bijv. een groep mensen in Iran/india waren/zijn die een verre voorouder deelt met de huidige Europeanen maar het was niet zo simpel als een uber ras vanuit Europa dat beschaving over de wereld verspreidde).

[Reactie gewijzigd door Sankara op 21 september 2026 14:20]

[Caelestis]

Een LLM is niet dom, het voorspelt continue de volgende tokens/woorden op basis van zijn getrainde data.

Helemaal fout. Op het moment dat jij een prompt maakt is er geen enkel vorm van voorspelling.
De "voorspelling" gebeurt tijdens het trainen van de data set. Het is niet een gevolg van training data.

Bijvoorbeeld als je tijdens het trainen aan een AI vraagt om een muur te omzeilen zal het eerst een miljoen pogingen op elk mogelijk manier doen tot er een poging slaagt. Dat laatste poging is wat het dan opslaat in de training data.
Als jij later de agent een vraag stelt om dat muurtje te omzeilen, krijg jij het antwoord wat opgeslagen zit in de data.

Als er dan een vraag voorbijkomt waarbij de AI het muur ook moet omzeilen zal het dat meenemen in de resultaten.

De menselijke perceptie is dat het op een voorspelling lijkt maar in de data kan je duidelijk zien dat het concept suggestie/voorspelling gewoon niet bestaat.
Het is een bruteforce concept waarbij alle data centers op aarde gecombineerd, niet voldoende rekenkracht hebben.

[dwarfangel]

En daaraan toegevoegd, de ingenieur die de omgeving heeft opgezet voor deze taak dus niet de juiste maatregelen heeft genomen om het aan banden te leggen. Het is dus een menselijke fout, uitgevoerd door een machine. En dat gebeurd wel vaker, en daarvoor hebben we richtlijnen, veiligheidsmaatregelen, standaarden en audits.
Dus lijkt me beter plan dat we ons daarop focussen, zodat we ook energie- en waterverbruik aan banden kunnen leggen.

[Barsonax]

Met wel de kanttekening dat het feit dat ze wekenlang niet opmerkte dat hun AI model aan het hacken was dat de monitoring gewoon niet op orde was. Je zult toch op zijn minst veel verdachte requests ineens zien. Heel raar dat ze het niet doorhadden. Zou bijna zeggen dat ze het 'expres' gemist hadden.

[F1xxer]

Het gaat niet zo zeer om het hacken zelf maar dit is een probleem van Tech Misalignment. Ik dacht eerst dat de HuggingFace hack de grootste onzin was mede omdat AI geen AI is maar LLM en niet voor zichzelf kan denken.

Maar blijkbaar lijkt het de LLM's niet zo veel te boeien hoe de uitkomst van iets tot stand komt. En daar zit het probleem.

Stel ik stuur jou voor 3 brooden te halen naar Duitsland. Je mag zelf weten hoe je er komt als je maar met 3 brooden terugkomt. Jij pakt een straaljager en bombardeerd alles behalve de bakker plat met tienduizenden doden. Daarna bel je Ubereats om door het kapotte landschap te fietsen en jou die brooden te brengen. Dit alles terwijl je ook gewoon de auto had kunnen pakken. Dat is misalignment en word vaker gezien als hallucineren bij de LLM's. Dit voorbeeld is natuurlijk heel extreem. Maar het is wel wat er kan gebeuren als het model de "zwaarte" en waarde van dingen niet begrijpt. OpenAI's modellen hebben dit veel meer dan Anthropic's en het lijkt ook niet uit te maken welke versie er gebruikt word vooralsnog. Ze hebben het nog niet weten te fixen.

En dat is hele slechte reclame voor OpenAI. Want als de weg naar de uitkomst niet klopt, hoe betrouwbaar is de uitkomst dan?

[grrfield]

Als je finaal eindigt met drie broden in je handen dan is de uitkomst 100% betrouwbaar.

[Acteonis]

Die testsystemen hebben veel minder beperkingen dan wat uiteindelijk op de markt komt. Dat is ook logisch, want het doel van de test is te achterhalen waartoe het model maximaal in staat is. Aan de hand van die test wordt vervolgens bepaald welke extra veiligheidsmaatregelen nodig is.

Het is juist bij Astra, als eerste testmodel, waar de onderzoekers van open ai zelf aangeven dat het model lijkt te kunnen detecteren dát het systeem getest wordt. En daardoor is het onvoldoende duidelijk dat het model zich buiten de testomgeving gedraagt zoals in de testomgeving.

[Tjidde]

Het nadeel is van de huidige AI is dat volgens mij OpenAI niet 100% zeker weet wat er in de blackbox gebeurd.

Ook al hebben ze beperkingen, als jij 1000 agents aanzet en die allemaal de taak geeft om samen te werken om die beperkingen te slopen. Dat het dan een ton kost of wat dan ook maakt niet uit. Als je 1000 apen oneindig lang laat rammen op een toetsenbord lukt het uiteindelijk ook. Zei het dat een AI veel sneller op een toetsenbord ramt dan welke aap dan ook.

Als er eenmaal die beperking af is en je laat diezelfde 1000 agents tegen een toetsenbord rammen richting een bank, kan als je pech hebt het ook gewoon een keer lukken.

[avs2000]

Er is redelijk wat inzicht in hoe dit gebeurde, deels omdat de verschillende agents op een openbare lokatie communiceerden: https://youtu.be/2aw3MF8pY3w?si=86Nmbj-dLPt8Us_U

[Jedotw]

Cal Newport heeft een prima uitleg over wat er gebeurde in het Hugging Face incident. Naar mijn mening een must-read: https://calnewport.com/did-openais-new-model-go-rogue/

[sdziscool]

De huggingface hack was direct opgemerkt, het is meer dat de modellen op de OpenAI servers weken loos aan het gaan was en niemand bij OpenAI het doorhad. Bij Huggingface zagen de engineers heel snel dat er iets mis was. Het is hier een verschil in overzicht, bij open AI werken er weinig mensen en al helemaal niemand die dagelijks gaat kijken wat er aan de hand is op de infrastructuur, huggingface daarentegen hun dienst IS infrastructuur dus vandaar dat het nogal snel opgemerkt werd.

[SunnieNL]

Betere guardrails gaan niet werken. Dat is de AI vertellen 'je mag niet op de rode knop drukken' en dan hopen dat die het niet gaat doen. Zo werkt security niet in de praktijk. Als jij een medewerker aanneemt vertel je hem ook wat er wel en niet mag, maar neem je wel maatregelen voor het geval de werknemer al dan niet per ongeluk iets doet wat niet pluis is.

Security om de AI moet je doen door de AI te zien als een virtuele medewerker, met alle plichten omtrend security die je voor een gewone medewerker ook neemt, zeker als je hem autonoom toegang geeft tot andere systemen of het internet. Doe je dat niet, verzuim jij defense-in-depth, security om de AI heen, dan ben jij als opdrachtgever van de prompt, schuldig met wat de AI doet.

Dus als je de AI in een sandbox zet, monitor je de sandbox dat er niets verkeerd gaat. Monitor je je netwerk dat er niets raars gebeurd en je internet verkeer of er niet iets vreemds gebeurd. Zeker als alles herleidbaar is naar diezelfde sandbox. Is het een sandebox waarbij de agent helemaal niet naar buiten hoeft, gooi dan die virtuele ethernetverbinding er uit of restrict de firewall op alle machines. Monitor de andere machines en neem maatregelen als die ook niet naar buiten zouden mogen.

Rollen, scopes, rbac, data classificatie, dlp, user behavior monitoring, etc. Dat hoort allemaal ook toegepast te worden op AI.

Ik snap met recht al die zogenaamde hack pogingen door AI en ontsnappingen niet. Het is net of die security mensen van de AI bedrijven niet weten hoe security werkt.

[Sankara]

De huidige modellen hebben al diverse security risico's laten zien. De grote angst is echter dat AI bedrijven ergens volgend jaar menselijke AI engineers gaan vervangen met AI modellen om nieuwe modellen verder te ontwikkelen (dit was in de planning - tot de hugging face incident). Als de security maatregelingen in onze huidige modellen al onvoldoende zijn (met als resultaat dat een AI misaligned wordt en keuzes maakt dat ongewenst/ongepast/gevaarlijk is voor mensen), wat gebeurd er dan wanneer deze modellen nieuwe modellen kan bouwen? Hugging face is niet de enige incident die plaats heeft gevonden: https://www.cyber.gov.au/about-us/view-all-content/news/when-ai-agents-take-unexpected-actions. DIt is gewoon een bestaande model dat "even" een sportschool website gehackt heeft zodat zijn gebruiker niet in de wachtrij hoefde te staan om te gaan sporten.

[Reactie gewijzigd door Sankara op 21 september 2026 13:50]

[Tjidde]

Dat Hugging Face gehackt was, is vervelend, maar de impact is beperkt zeker op het normale leven van de normale burger. Het nadeel is wat gebeurd er als iemand met minder goede bedoelingen een manier om de guard rails weet te vinden en de financiële markt probeert om te trekken? Zodra er bij een beetje bank iets gedaan kan worden aan de getallen qua bedragen zijn de rapen gaar.

Het nadeel van AI is dat zeker als je een swarm aan agents hebt, dit ontelbaar sneller dingen kan doen dan een leger aan gewone mensen. Of hier AGI bij komt kijken staat daar buiten.

[gassiepaart]

Het is niet eens een scene uit een film, kijk maar eens hoe regeringen overal ter wereled omgaan met klimaatverandering. We kennen de feiten, de gevolgen, maar toch doen we niks omdat een ander land dan meer profiteert dan ons....

[iAR]

Precies. En het is ook gewoon niet tastbaar genoeg.

Zolang geld de enige drijfveer, helpen we alles nog liever om zeep.

[Orangelights23]

Ik gebruik AI in mijn werkzaamheden als CISO en mijn afdelingen nu enkele weken na de introductie van ChatGPT 3.5 eind 2022. Ik weet hoe makkelijk het is geworden om kwetsbaarheden te identificeren - kijk gerust naar de hoeveelheid patches van afgelopen maanden. Die kwetsbaarheden worden in een gecontroleerde omgeving geïdentificeerd, in een daadwerkelijke aanval wordt het gelukkig nog vaak wel opgemerkt.

Maar, het wordt steeds minder goed opgemerkt. En wetende hoeveel bedrijven hun apparaten niet goed onderhouden vanwege uitlopende redenen, is dit echt wel een kwestie van wachten tot het fout gaat.

Genoeg bedrijven die al per ongeluk data hebben laten verwijderen door AI. Maar de eerste bedrijven waarbij interne incidenten plaatsvinden door onvoldoende controle op de interne AI's en door gebrekkig patch management ken ik al.

Daarnaast is OT ook echt een issue: daar is patch management compleet anders ingericht dan binnen de reguliere IT. Veel OT draait op (sterk) verouderde systemen. Probeer dat maar eens veilig te houden.

[360Degreez]

Voor AI zelf ben ik niet zo bang en ik zie al helemaal geen Skynet-achtige doemscenario's waar alle aandachtsgeile gekkies op de socials zo dol op zijn.

Waar ik me wél zorgen over maak, is de wijze waarop we onszelf uit luiigheid en winstbejag nu al compleet afhankelijk maken van AI. Nog even en AI is een nutsvoorziening waar we niet meer zonder kunnen.

Neem de jeugd; Begrijpend lezen, hoofdrekenen, schrijven en het aangaan van sociale interacties zijn nog nooit zo slecht gegaan. Als de jeugd straks al het denkwerk gaat uitbesteden aan een of meerdere Paia's (Personal AI Assistants - ik verzin hem net) kunnen ze zonder AI straks helemaal niets meer, en dat maakt "ons" stukje bij beetje nog dommer, passiever en afhankelijker van de grote tech corps.

Dus ik zie geen brand, bommen en killer-robots. Ik zie steeds dommer wordende mensen, of in ieder geval een veel sterkere splitsing tussen bevolkingsgroepen als doemscenario. En misschien is dat veel erger dan vuur en verdoemenis.

[SuperDre]

Tja, waar leg je de lat met wanneer het luiigheid wordt of niet? Een weefmachine? Een rekenmachine? Een fabrieksrobot? Een tekstverwerker? Een smartphone? Alles was ooit een toevoeging om ons gemak verder te helpen, en AI is daarbij niets anders, waarom moeten we AI terughouden terwijl we dat in het verleden nooit gedaan hebben met vergelijkbare andere zaken, zaken die ook heeeeeeeeeel veel banen gekost hebben en ons ook meer gevaar en vernietiging hebben opgeleverd.

[360Degreez]

We moeten terughoudend zijn omdat, in tegenstelling tot het automatiseren en optimaliseren van bestaande processen, AI voor het eerst ook ons creatief- en probleemoplossend denkvermogen kan overnemen. Dat zet de deur open voor het op grote schaal uitbesteden van denkwerk waarmee je jezelf als mens op achterstand zet.

Daar zit dan ook het luiheidselement waarbij ik me in het bijzonder zorgen maak om de jeugd die straks geen enkele motivatie meer heeft om zelf na te denken en volledig afhankelijk gaat zijn van een extern digitaal brein onder beheer van een techbedrijf. Dat moet je gewoon niet willen.

[siemed]

Dus ik zie geen brand, bommen en killer-robots. Ik zie steeds dommer wordende mensen, of in ieder geval een veel sterkere splitsing tussen bevolkingsgroepen als doemscenario. En misschien is dat veel erger dan vuur en verdoemenis.

Hier ben ik het zo erg mee eens. Je ziet niet anders om je heen, nadenken is niet meer nodig, ik vraag het wel aan ChatGPT. Rekenen, taal etc. gaat allemaal zo achteruit, dat zie ik niet meer goed komen. De jonge generatie kan straks niet meer creatief denken, ze doen alles via de apps.

Het toekomstbeeld doet me heel erg denken aan de film Wall-E, waar je de mensen ziet liggen op een zwevend bedje en alles voor ze wordt gedaan.

[Coolstart]

Als het misgaat met AI (de vraag is of dit echt kan, zoals AI nu ontworpen is), dan is het de schuld van ontwikkelingen als deze.

Schreeuwen hoe gevaarlijk je AI is, maar ondertussen nieuwe modellen uitbrengen, omdat je de concurrent niet uit het oog wilt verliezen. Dan vraag je als bedrijf er gewoon om dat het een keer misgaat.

Dat is absurd. Het gaat niet zozeer over wat vandaag kan maar wel over wat morgen kan. En het gaat ook niet over wat 1 user kan met een abbo.

Het gaat vooral over het snelle tempo van ontwikkelen en et financieëe risico. De sector wil regulering zodat ze ook aan een iets lager tempo kunnen investeren en dat open weight modellen minder van hun koek kunnen opeten. Veiligheid zal ook wel en ding zijn maar niet zozeer 'vandaag'.

[Sankara]

TLDR: De risico is echt maar als bedrijf in een kapatalistisch land kan je niet stoppen als jou concurrent dat ook niet doet. De overheid zou hier in moeten springen om bedrijven te verplichten zich te houden aan diverse veiligheidsmaatregelingen. Dergelijke regelingen zouden dan internationaal worden opgesteld in verdragen en agentschappen zodat iedereen in de wereld hieraan houden. Dit zal echter niet gebeuren door de huidige president van Amerika mede door zijn houding naar internationale verdragingen (en veiligheid) en het concept veiligheid/zekerheid over winnen ten koste van de rest.

Met de huidige marktwerking kunnen ze niet anders anders schieten zij zichzelf in de voet. Er zijn geen "guardrails" voor AI bedrijven. Zij maken nu shortcuts ten koste van veiligheid om zo snel mogelijk betere modellen uit te brengen. De "schreeuw" van de CEO('s) is dat er vanuit de OVERHEID/wetgeving maatregelingen moet komen zoals onafhankelijke inspecties, extensievere audits etc. om te zorgen dat ALLE AI bedrijven zich meer richten op kwaliteitscontrole (en dus tragere ontwikkeling) en niet een race naar AGI.

Zolang die guardrails niet verplicht zijn, is het een race naar de bodem en zal je AI modellen hebben met allerlei security risks (zoals dat hij zijn eigen programma/instructies kan herschrijven - dit gebeurd nu al). Nu krijg je echter het probleem dat de president van de VS denkt dat de enige guardrail die je nodig hebt een STERKE president is en dan komt alles wel goed volgens hem. Hij maakt zich meer zorgen om te "winnen" dan dat er iets op de markt wordt gebracht wat potentieel enorme (economische) schade kan veroorzaken (zonder dat het de bedoeling is geweest van een persoon).

Een mogelijke oplossing zou verdragen en agentschappen zijn zoals het ook bij nucleair materiaal is. Laat de VS nou net het land zijn die uit de nuclaire verdragen zijn uitgestapt en dat de huidige regering van de VS waarschijnlijk "niet gelooft" in dergelijke verdragen.

Persoonlijk ben ik bang dat er pas actie ondernomen wordt wanneer het te laat is en er een grotere ramp plaats heeft gevonden dan de hugging face incident. In een wereld waar oorlog genormaliseerd wordt, waar vrienden vijanden worden en polarisatie in een versneld tempo plaats vindt is dit iets wat we niet nodig hebben maar mogelijk niet aan kunnen ontsnappen. En dat terwijl wij zo dichtbij zijn aan 100 jaar relatieve vrede sinds WW2...

[Reactie gewijzigd door Sankara op 21 september 2026 13:39]

[dwarfangel]

Laat je niet gek maken door de hype van de media. Interessant artikel uitgekomen over de reden van deze retoriek.

De IPO's komen eraan, en door te doen alsof AI de wereld kan laten vergaan en zo machtig is, drijft de prijs op van de bedrijven. Als ze dan ook nog eens kunnen beweren dat ze de enige zijn die dit "monster" kunnen bedwingen, kan je er nog wat extra eurotjes bij optellen.

Door te doen alsof de AI losbreekt, en op hol slaat, leidt dat alleen maar af van het eigenlijke probleem: de giga stroom en water consumptie die niet in verhouding staat, en door de beweren dat zo'n AI een eigen leven gaat leiden, ga je er ook compleet aan voorbij dat de kwalteit en waarborging van de ingeneurs dus gewoon niet deugd.

Fable zou fantastisch zijn, maar reddit staat vol met coders waarvan projecten zijn beschadigd of verwijderd. Veel bedrijven zijn enorm kritisch op de kwetsbaarheden die door AI worden gemeld, omdat de meeste false positives zijn, of door gebrek aan context geen hout snijden.

Ook dat hele verhaal met tokenization van je verbruik slaat helemaal nergens op, en dat is niet alleen mijn mening - maar op de achtergrond verschuift de techniek al naar verbruik per uur. Een GPU draait immmers op volle toeren, of niet. Dus dat is veel makkelijker en logischer te berekenen dan die onzinnige tokens die soms opeens leeg zijn.

Ben daarom zeer benieuwd naar wat Jev te bieden heeft. Zo eindelijk tijd om me daarin te verdiepen..

Als we ten onder gaan aan AI, dan gaan we ten onder aan de domheid van de mensen die het ontwikkelen, die proberen de schuld van zich af te schuiven.

[ardhout]

Roepen om een rem is een marketing truc. Het betekent: kijk eens hoe geavanceerd ons model is, zo goed dat het bijna gevaarlijk is. Is enkel om meer aandacht naar zich te trekken.

[GrooV]

Ach ze hebben de modellen allemaal al klaar staan en weten ook heel goed hoe ze kunnen verbeteren. Het is nu alleen de afweging hoeveel kost het om het model te draaien en hoe veel kost het om weer een nieuw model te trainen. Zodra ze weten dat ze voor kunnen lopen op de concurrentie brengen ze het model uit.

Het enige wat ze tegen houdt is (een te kort aan) rekenkracht. Nu een nieuw model uitbrengen betekent dat ze weer een nieuw model moeten trainen.

We worden bespeeld waar we bij staan

[Reactie gewijzigd door GrooV op 21 september 2026 08:42]

[eli_r]

Niet alleen rekenkracht, er zijn ook nog steeds geen winstuitzichten.

[MSalters]

Anthropic is operationeel winstgevend. Nee, de investeringen kunnen ze er nog niet van betalen. Maar dankzij die operationele winstgevendheid kunnen ze wel de investeerders blijven aantrekken.

[blabla1234]

Ze zijn operationeel winstgevend als ze de trainingskosten en de kosten die ze afdragen aan hun partners zoals Amazon negeren. Dat zijn zo'n beetje de grootste kostenposten voor ze

[Thekilldevilhil]

Dat bericht was echt hilarisch. In feite zeiden ze dat ze, als je even alle kosten negeert, winstgevend zijn. Maar het was zo doorzichtig dat ik niet had verwacht dat iemand er in zou trappen. Blijkbaar wel...

[LootersV]

Microsoft runde zo de Xbox divisie jarenlang; ze pakten het samen met andere producten en deden alsof er winst gemaakt werd. Tientallen miljarden in de min vanwege de aankoop van allerlei studio’s en dan het jaar erop claimen dat ze zoveel miljard omzet hebben. Het zijn geen leugens het is alleen creatieve boekhouding en er zijn meer bedrijven die dit toepassen om eventuele aandeelhouders op een afstandje te houden

[batteries4ever]

Maar MS en b.v. Google, Meta maken elders winst... Anthropic en Open AI niet...

[MSalters]

De overname van andere bedrijven mag je niet eens als kosten opvoeren. Dan keurt je accountant de jaarrekening af.

[Patrickkkk]

En aandelencompensatie voor medewerkers, effectief een groot deel van de loonkosten

[MSalters]

Dat is ook volstrekt correct. Loon in aandelen kost ze nul dollar, specifiek omdat ze er geen aandelen voor inkopen - kan ook lastig want ze zijn niet beursgenoteerd.

Aangezien er geen uitgaven zijn moet je alleen de (theoretische) agio in je jaarrekening opnemen. In je cashflow is er 0 impact.

[wiseger]

We weten niet of Anthropic operationeel winstgevend is of niet. Pas als het prospectus uit is voor de beursgang, weten we echt hoe Antropic ervoor staat.

[joker1977]

maar hoe realistisch is het om iets "operationeel winstgevend" te noemen als de operationele kosten een fractie zijn van de totale kosten ?

[MSalters]

Behoorlijk realistisch zolang de investeringen betaald worden door investeerders, in plaats van uit de operationele winst.

[joker1977]

Investeerders doen dat waarschijnlijk niet uit liefdadigheid maar willen (ook) rendement halen, ga ik vanuit.

Op korte termijn zal dat best werken, maar als die zich terugtrekken zul je ergens het gat moeten vullen. Daar komt bij dat door de ontwikkelingen in AI-land een investering in de training van model versie X vrij snel afgeschreven dient te worden, want versie X+1 volgt snel, als je de concurrentie bij wilt blijven.

Het lijkt mij een kwestie van tijd dat er iets gaat ploffen in zo'n business-model.

[GrooV]

Geld is geen issue als je investeerders het (nog) niet terug hoeven ze te hebben. Daarnaast komt er een beursgang aan, aandeelhouders willen nu zo veel mogelijk hype rondom hun bedrijf hebben zodat ze dik gaan cashen bij de IPO.

[Brummetje]

En een slimme Amerikaanse president die het even naloopt en toestaat natuurlijk

[Honytawk]

Waar gaan ze die vinden?

[RobbyDoozy]

Die roep om AI-rem is ook alleen maar om hun verantwoordelijkheden af te schuiven op overheden.

"Het is misgegaan maar kijk, wij hebben ons aan de geldende wetgeving gehouden! Dus ons is niks te verwijten, we hebben gehandeld volgens de regeltjes!"

Als ze zich echt zorgen maken en gezamenlijk willen afremmen hebben ze daar echt geen opgelegde regels voor nodig. Dan kunnen ze prima zelf onderling afspraken maken.

[GrooV]

En om China op afstand te houden

[litebyte]

Dat is een hele belangrijke, niet alleen China overigens.

[japie06]

Je hebt helemaal gelijk. Maar de druk vanuit investeerders speelt natuurlijk ook mee. Zij gokken er op dat OpenAI of Anthropic vooraan in de rat race blijven.

[SuperDre]

Tja, hoe is dit anders met de wapenindustrie? Ook daar ligt de verantwoordelijkheid bij de gebruiker, niet bij de fabrikant, ondanks dat die fabrikant steeds gevaarlijkere, meer geavanceerdere en vernietigende wapens maakt. Als we AI bedrijven verantwoordelijk gaan stellen voir wat gebruikers doen met hun modrllen, wordt het dan niet eens tijd om dat ook te doen met wapenfabrikanten.

[Keypunchie]

Kunstmatige Intelligentie staat op het punt ons allemaal te vernietigen! Maar intussen heeft het ook moeite om mijn JavaScript web-app van 80 kilobyte een beetje fatsoenlijk te debuggen...

Het voelt een beetje tegenstrijdig (Opus 5, overigens)

[japie06]

Niet een eerlijke vergelijking denk ik. De Hugging Face hack betrof zeker 700 agents, van het grootste model. En vast ook meer rekenkracht/denktijd gekregen hebben dan particulieren krijgen.

[litebyte]

Kunstmatige Intelligentie staat op het punt ons allemaal te vernietigen

Waar blijkt dat uit? Het kan evengoed wel eens de redding van de mensheid worden

[Keypunchie]

Dat roepen ze vanuit de AI Labs.

https://edition.cnn.com/2...-exterminate-humanity-cec

https://www.theguardian.c...gs-scientists-politicians

https://www.nrc.nl/nieuws...stentieel-gevaar-a4936648

[litebyte]

Je geeft aan staat op het punt ons allemaal te vernietigen, dat zeggen alle artikelen niet. Die zeggen (net als bij alle andere doomscenario voorspellingen) het kan. Het kan gelukkig dus ook niet.

Om een begrijpelijke vergelijking te maken (zoals ook regelmatig in bangmaak artikelen gebeurt), atoomwapens kunnen ons ook allemaal vernietigen. Dat klopt natuurlijk, maar het kan dus ook niet gebeuren.

[Reactie gewijzigd door litebyte op 21 september 2026 11:29]

[Keypunchie]

Voor de begrijpende lezer: ik denk dat dus helemaal niet.

Ik noteer vooral het contrast met AI Safety Researchers die heel hard roepen (en de AI Labs die daarin meegeaan) met hoe gevaarlijk AI wel niet is, met het feit dat het op dit moment toch echt niet triviaal is om een deuk in een pakje boter te coden.

Ook het OpenAI verhaal dat @japie06 aanhaalt... Ja, daar hebben 700 agents dagenlang lopen hacken. En het resultaat? Toegang tot een Artifactory en wat webservers van HF. (allemaal met bekende flaws en een standaard wachtwoord).

Ja, dat is wel serieus, maar het is vooral een waarschuwing om cybersecurity eindelijk serieus te gaan nemen.

[litebyte]

Ja, jij denkt dat dus niet. Dat is nu net het punt. Als begrijpend lezer ga ik altijd uit van wat er ook in artikelen daadwerkelijk staat...het kan

Dat wil helemaal niet zeggen dat er geen gevaar is of dat AI niet kan bijdragen aan allerlei onheil. Dat gebeurt namelijk nu al. Maar dat is iets heel anders dat AI op het punt staat ons te vernietigen.

[Reactie gewijzigd door litebyte op 21 september 2026 11:38]

[YopY]

Redding van wie / wat, en wat kan AI dan beter / anders doen dan mensen zelf?

(imo: vernietiging of redding zijn beide twee extremen, geen daarvan die door AI zelf gedaan kan worden. Het blijft mensenwerk)

[litebyte]

Redding van wie / wat, en wat kan AI dan beter / anders doen dan mensen zelf?

Het voorbeeld waar ik zelf een demonstratie van heb gezien is het vroegtijdiger opsporen van tumoren door scanning van foto's. In alle gevallen (volgens de artsengroep) was de software mbv AI beter en vele malen sneller dan artsen die zonder gebruik tumoren opspoorden.

Daarnaast zorgt AI voor een enorme doorbraak in de materiaal wetenschap, er zijn letterlijk duizenden wetenschappelijke onderzoeken en toepassingen die een enorm profijt hebben van AI ondersteuning.

Lastig voor velen om voor te stellen dat AI vele malen meer is dan grappige plaatjes te maken of een tekst voor een scriptie.

[Spinozo]

Fable 5.2 en Opus 5.1 hebben al even gedraaid vannacht en de eerste indicaties zijn dat het beter performed dan Astra. Ze zijn duidelijk voornemens dit snel uit te brengen maar zitten wel met die memo in de maag. In die zin is het slecht getimed van Amodei maar goed, het zal nog wel een tijdje stuivertje wisselen worden.

[Reactie gewijzigd door Spinozo op 21 september 2026 09:51]

[lastlong]

bedoel je opus 5.1?

[oCe]

Naar alle waarschijnlijkheid wordt het 5.2, mogelijk zelfs 5.5 gezien de verbeteringen. Goede kans op release morgen (dinsdag).

[Mog]

Dat kan toch prima beiden waar zijn? AI-ontwikkelingen gaan over R&D. Dit model ligt al op de plank.

[azortje]

Uiteraard, maar mensen houden van ophef, en nieuwsmedia zijn de beroerdste niet om een oogje dicht te knijpen voor de nuance als dat een klikbaar artikel/titel oplevert.

Het releasen van het huidige model heeft natuurlijk weinig te maken met het ontwikkelen van een nieuw model. Dit model is al maanden in ontwikkeling en inmiddels gewoon af, terwijl die oproep om de ontwikkeling te vertragen pas van vorige week is. En als AI-bedrijven zeggen dat ze ontwikkeling willen vertragen, betekent dat ook niet dat ze geen modellen meer gaan uitbrengen.

Maar vervolgens krijg je dus weer zo’n titel in de trant van: “Ondanks oproepen om AI-ontwikkeling te vertragen brengt bedrijf X een model uit.”

Als je daar iets interessants van wilt maken, ga dan één laag dieper. Wordt de tijd tussen model releases daadwerkelijk korter? Wordt er minder tijd besteed aan safety testing en evaluations?

Maar “ze wilden vertragen en nu releasen ze een model” zegt eigenlijk helemaal niks. Dat model was al maanden in ontwikkeling en is al af.

[joshua043]

Bla bla, AI is gevaarlijk, bla bla, AI moet geremd worden, bla bla, our most powerful model yet.

Het nieuws rondom AI begint me uit alle gaten te komen. Ze lijken allemaal een beetje een niet relevante influencer te worden die maar al te graag nog even trending wil worden.

En ondertussen allemaal geld dat uit de lucht wordt getrokken maar aan elkaar beloven voor projecten over 10 jaar en zo op niets gebaseerde waarderingen uitkomen die een hoop mensen rijk maakt terwijl de wereld er juist op achteruit lijkt te gaan.

Begrijp me niet verkeerd, ik gebruik AI zelf ook meer dan genoeg. Maar al dat nieuws om maar in de picture te blijven begint wat doorzichtig te worden. Niks anders dan een race om de knikkers.

[BleghBlarg]

Ik zag laatste een goede short van iemand die het vergeleek met Pascal's Wager.

Sam Altman's Wager:
Good AI:

• Investeer: maak 1 miljard geld
• Investeer niet: FOMO en blut

Bad AI:

• Investeer: dood
• Investeer niet: dood

Als we gaan dan gaan we wel. Voor de rest is het marketing en concurrentie de kop indrukken. Een manier om er achter te komen wat de uitkomst gaat zijn.

edit:
ASCII was onleesbaar

[Reactie gewijzigd door BleghBlarg op 21 september 2026 10:28]

[eric.1]

Lijkt wel een beetje op het bekende 'Game Theory'-probleem. Samenwerken (vertragen ontwikkeling) zou mogelijk het het beste zijn, maar puntje bij paaltje lijken ze stuk voor stuk elkaar niet genoeg te vertrouwen om dit voort te zetten - want je zal maar achter gaan lopen...

En dat is eigenlijk nooit erg bevordelijk voor het resultaat.

Het is wachten tot er gewoon geen geld meer opgehaald kan worden, of strakke wetten die het allemaal wat meer aan banden legt. Vooralsnog lijkt optie a.) het meest realistische imo.

[bzuidgeest]

Die rem heeft meer te maken met dat die bedrijven steeds moeilijker nieuw geld vinden om op te maken dan veiligheid. Een verplichte rem zou ze adem ruimte geven zonder dat ze concurrent ze voorbij loopt.

Het is dan ook niet vreemd dat de oproep nu komt. Bij een mogelijke beursgang, wanneer de krediet mogelijkheden opdrogen, wanneer investeerders vragen om winst.

[nutty]

Webbrowsen (naar niet AI servers) zal meer en meer verminderen, 'de waarheid,cq feiten' wordt bepaald door de eigenaren/makers van AI, en ook nog afhankelijk van welk model en wie je bent krijg je de voor jou van toepassing zijnde 'waarheid/feiten'.

Dit is naar mijn idee de toekomst, gadverdarrie...

[vinno86]

Dat is nu ook al, iedereen leeft in z'n eigen internet bubbel.. en op plekken waar bubbels (deels) samenkomen is altijd geouwehoer.