Medeoprichter OpenAI verlaat het bedrijf voor Anthropic

John Schulman, een van de medeoprichters van OpenAI, heeft het bedrijf verlaten om bij concurrent Anthropic te gaan werken. Dat heeft hij bekendgemaakt op X. De afgelopen maanden hebben meerdere topmensen het bedrijf verlaten.

Volgens Schulman verlaat hij OpenAI voor Anthropic omdat hij zich daar meer kan richten op AI-alignment. Dat houdt in dat AI-systemen worden afgestemd om te handelen volgens menselijke waarden en doelstellingen. Schulman geeft aan dat zijn vertrek geen verband houdt met een gebrek aan steun voor alignmentonderzoek bij OpenAI.

I shared the following note with my OpenAI colleagues today:

I've made the difficult decision to leave OpenAI. This choice stems from my desire to deepen my focus on AI alignment, and to start a new chapter of my career where I can return to hands-on technical work. I've decided…

— John Schulman (@johnschulman2) August 6, 2024

Tegelijk heeft voorzitter en OpenAI-medeoprichter Greg Brockman aangekondigd dat hij een langdurige vakantie neemt tot het einde van het jaar. Hij doet dat naar eigen zeggen om zich te ontspannen, voor het eerst sinds hij OpenAI oprichtte.

I’m taking a sabbatical through end of year. First time to relax since co-founding OpenAI 9 years ago. The mission is far from complete; we still have a safe AGI to build.

— Greg Brockman (@gdb) August 6, 2024

De afgelopen maanden hebben twee andere medeoprichters, Ilya Sutskever en Andrej Karpathy, het bedrijf verlaten. Deze maand werd ook bekend dat productmanager Peter Deng eerder dit jaar is vertrokken en in mei vertrok alignmenttopman Jan Leike.

Het grote verloop van topmensen vindt plaats sinds ceo Sam Altman vorig jaar onverwacht ontslagen werd door de raad van bestuur. Dat gebeurde omdat Altman niet transparant genoeg zou zijn geweest. Hierop diende Brockman uit protest zijn ontslag in. Enkele dagen later keerden de twee terug en kwam er een nieuwe raad van bestuur. De exacte reden voor Altmans ontslag is nog steeds onbekend. Er circuleren geruchten dat hij de ontwikkeling van algemene kunstmatige intelligentie in hoog tempo wilde versnellen, wat leidde tot verzet van het alignmentteam, dat een voorzichtige aanpak de voorkeur geeft.

Reacties (38)

[BramT]

Anthropic, dat zijn de jongens achter https://claude.ai/. Vergeleken met anderen (chatgpt, gemini, copilot) komt Claude er bij mij het sterkste uit. Hun nieuwste model (Claude 3.5 Sonnet) is erg netjes/bruikbaar.

/edit op hieronder: Hahaha, mooi. En uiteraard is er een leaderbord.... Mijn vergelijking is ook alweer van eventjes terug... eeuwigheid in dit landschap natuurlijk.

[Reactie gewijzigd door BramT op 6 augustus 2024 16:54]

[Utrecht25]

Met je eens, maar Google loopt sinds paar dagen met nieuw model aan kop:
https://chat.lmsys.org/?leaderboard

En aangezien Google nu inzet op een apart logica model te integreren in hun toekomstige AI, vermoed ik dat zij de race (voorlopig) gaan winnen: YouTube: Google's new AI crushes everything. True intelligence is here!

Combinatie van meerdere modellen zal de trend worden de komende tijd, want een spraak model proberen te laten redenen/rekenen/feiten onthouden is zo krom als soep eten met een vork.

[Reactie gewijzigd door Utrecht25 op 6 augustus 2024 16:45]

[SuperTweakerX]

Dat is een onzin benchmark die biased is naar het model met het best geformatteerde response. Hier heb je echte benchmarks:

https://scale.com/leaderboard

https://eqbench.com/

https://arcprize.org/leaderboard

https://gorilla.cs.berkeley.edu/leaderboard.html

https://crfm.stanford.edu/helm/mmlu/latest/#/leaderboard

https://livebench.ai/

https://aider.chat/docs/leaderboards/

https://mixeval.github.io/#leaderboard

https://huggingface.co/spaces/allenai/ZebraLogic

Sonnet 3.5 staat aan kop.

Dit is voor mij de belangrijkste:
https://livebench.ai/

Mensen zoals Yan LeCun staan erachter.

[ejabberd]

Claude vind ik tegenwoordig ook het beste...alleen zijn hun servers regelmatig overbelast. Dat is bij ChatGPT, Gemini en Mistral niet het geval.

Het positieve aan Gemini is dat het veel meer achtergronduitleg geeft terwijl de anderen een pasklaar antwoord willen geven. Je moet al bewust vragen naar verschillende mogelijke antwoorden en de voor- en nadelen van elke optie om ietwat hetzelfde te bereiken.

Mistral gebruik ik momenteel enkel als extra klankbord om verschillende antwoorden te vergelijken. Ik stel aan elke AI dezelfde vraag met de vraag om enkele opties aan te geven. Vervolgens kies ik er de besten uit en voeg ik al dan niet op basis van die antwoorden nog enkele eigen versies toe. Die lijst geef ik dan aan elke AI met de vraag welk antwoord ze het beste vinden en waarom.

[Sailor69]

Alweer een nieuw model, ik denk dat de markt gaat bepalen wie er overeind blijft en dat is hopelijk geen language module van Google om je reclame te serveren. Persoonlijk hoop ik dat er iets komt als een robot stofzuiger ofzo die doet wat ik wil. "He, robot ik heb iets laten vallen, heb je dat gezien?". De nieuwe slavernij komt eraan...

[cariolive23]

Een beetje robot maakt dan automatisch een afspraak voor de tapijtreiniger en regelt de betaling voor jou, eventueel in termijnen. Mocht het te vaak gebeuren, zal de robot een nieuwe tegelvloer bestellen die eenvoudiger schoon is te maken dan het tapijt.

[Navi]

Mocht het blijven gebeuren dan zal de robot gaan nadenken over hoe hij kan voorkomen dat de vloer steeds vies wordt...als mijn eigenaar er nou eens niet was...hoe kom ik van hem af?

Queue terminator music dundun dun dundun

[OruBLMsFrl]

Grappig is wel dat een stofzuiger of andere huishoudelijke AI je dan waarschijnlijk gewoon stilletjes verstikt in je slaap. De klassieke terminator maakt vloeren en muren eerder kapot en vies dan schoon. Het eerste is evenwel misschien stiekem nog enger dan het tweede.

Bij safe AI komt heel wat kijken als je daadwerkelijk meer richting AGI gaat. We lachen er nu om omdat we nog niet ver genoeg zijn dat het al realiteit zou kunnen worden, maar rond 2030 voorbereiden en uiterlijk 2040 afdwingen moeten we internationaal als mensheid paal en perk stellen aan hoe slim een AI voor bepaalde toepassingen mag zijn, om juist dit soort ellende te voorkomen. Anders eindigen we allemaal nog als paperclips, of worden we uit de weg geruimd omdat we misschien wel zelfs maar eens zouden kunnen besluiten om de paperclip fabricage stop te zetten...
Wikipedia: Instrumental convergence

[Reactie gewijzigd door OruBLMsFrl op 7 augustus 2024 10:11]

[jerisson]

Ik praat nu al regelmatig tegen mijn garagepoort die weigert te openen voor mijn huisgenote. Ze krijgt dan zowaar een inzinking (en ik een hilarische reactie) als het mij na wat aanmoedigende woorden van de eerste keer lukt.

Mensen gaan mij helemaal gek verklaren als ik tegen mijn stofzuiger praat, vrees ik

Gaat die stofzuiger dan ook dienst weigeren als je erop vloekt?

[morrowyn]

Doet me meteen denken aan de huiselijk geweld scene met Kiara in Detroit: Become Human.

YouTube: How Detroit: Become Human Handles Domestic Violence - PSX 2017

[lars-h2017]

Claude 3.5 Sonnet is over het algemeen nog steeds sterker dan Google's Gemini. Zo'n leaderboard zegt niet alles

[Maurits van Baerle]

Ik zou dat soort tests wel met een enorme berg zout nemen, er is nogal wat op aan te merken en de uitkomsten zijn vaak niet vertrouwen. Er zijn twijfels of ze wel meten wat ze zeggen te meten, en of ze meten wat ze zouden moeten meten.
The Markup: Everyone Is Judging AI by These Tests. But Experts Say They’re Close to Meaningless

[Reactie gewijzigd door Maurits van Baerle op 6 augustus 2024 18:10]

[TweakerIsMyName]

Ze hebben geen chat-app. Dom, daardoor gebruik ik Google Gemini nooit.

[TweakerIsMyName]

Bij Claude wordt wel te veel gecensureerd. Ik gaf het mijn medicatie en stelde wat medische vragen. Werd me verteld dat ik dat maar met een dokter moest bespreken. ChatGPT-4o gaf wel gewoon antwoord op mijn vragen.

Er wordt steeds meer gecensureerd. Maakt AI op den duur nutteloos.

[cariolive23]

Hoezo is dat censuur?

Volgens Amnesty:

Censuur betekent tegenwoordig ‘het toezicht van een wereldlijke of kerkelijke overheid op uitingen in woord en geschrift die haar onwelgevallig zouden zijn.’

Er is niets gecensureerd, jij kon gewoon jouw vragen intypen/inspreken, etc. Dat je geen gewenst antwoord kreeg, dat is wat anders, dat is een gebrek aan kennis van het taalmodel. Gebrek aan kennis is iets anders dan censuur.

Jij verwacht dat een taalmodel de rol van een arts over kan nemen, daar waar het taalmodel zelf "weet" dat het niet heeft gestudeerd voor arts. Wat voor antwoord verwacht je van een leek?

[TweakerIsMyName]

Je praat onzin. Ik heb het opnieuw gevraagd en in de prompt gezegd dat het ding een arts is en dan begint het ding met te vertellen dat het een arts is en geeft het wel alle medische adviezen. Je doet alsof je veel van LLM‘s weet en anderen niet, maar waar baseer je die aanname op?

Als je niet eens weet dat bijna alle LLM's gecensureerd worden, dan weet je wel erg weinig van LLM's. Het is algemeen bekend.

Bijna alle LLM's zijn gecensureerd. Daarom is er ook bijvoorbeeld het Dolphin project. Waarbij de censuur uit open source LLM's gehaald wordt. Bovendien zijn er Jail-Break trucs om de censuur in LLM's te omzeilen. Zoek maar eens op censuur en LLM's en Jail Break etc.

[Reactie gewijzigd door TweakerIsMyName op 8 augustus 2024 08:57]

[Anoniem: 302359]

Hoezo is dat censuur? Dat is een gebrek aan kennis van het taalmodel.

Een oprechte vraag: Is de conclusie dat het dan om een gebrek aan kennis gaat een aanname van jouw kant, of baseer je dit op iets concreets? Het zou namelijk ook gewoon een bewuste restricties kunnen zijn die is ingebouwd. Dan kom je al iets meer in de buurt van de definities van wat wel of geen censuur is, als je het mij vraagt. Dit hangt natuurlijk volledig af van het doel van de AI. Als een AI is ontwikkeld en getraind met het doel om software te schrijven en daarom weigert medisch advies te geven, dan is dat zeker geen censuur. Maar als de AI wordt gepresenteerd als een open platform zonder duidelijke beperkingen, dan kan je over waar de grens van wel/geen censuur ligt, zeker een valide discussie voeren.

[Reactie gewijzigd door Anoniem: 302359 op 6 augustus 2024 19:26]

[cariolive23]

Nee, dit is geen aanname van mijn kant, dit is hoe LLM's werken. Het hallucineren van LLM's is een bekend fenomeen.

Geen idee waarom je aanneemt dat een LLM geen beperkingen kent, want het heeft onvoorstelbaar veel beperkingen. Wat overigens geen enkel probleem is, een LLM kan namelijk ook heel veel dingen en ook heel goed. Maar een LLM die voor arts speelt en daar niet op is getraind, ik weet niet of je dat moet willen

[Anoniem: 302359]

Nee, dit is geen aanname van mijn kant, dit is hoe LLM's werken. Het hallucineren van LLM's is een bekend fenomeen.

Geen idee waarom je aanneemt dat een LLM geen beperkingen kent, want het heeft onvoorstelbaar veel beperkingen. Wat overigens geen enkel probleem is, een LLM kan namelijk ook heel veel dingen en ook heel goed. Maar een LLM die voor arts speelt en daar niet op is getraind, ik weet niet of je dat moet willen

Een LLM train je op een dataset; afhankelijk van waar je het op traint, zal je bepaalde resultaten krijgen. Als je het traint op het schrijven van software, maar niet op medische informatie, dan geeft het model je zeer beperkte tot geen medische informatie. Dit is geen censuur, dit is gewoon een gebrek aan "kennis", zoals je terecht concludeerde.

Echter, als je het model niet met een doelgerichte dataset traint, maar zo breed mogelijk, wat bij ChatGPT en vergelijkbare diensten het geval is, dan kan een doelbewuste restrictie implementeren waarbij het bepaalde onderwerpen niet zal behandelen, aan de hand van de motivatie voor het implementeren van de restrictie, wel degelijk als censuur gezien worden. Althans, een discussie daarover zou gevoerd kunnen worden. Dit is echt wezenlijk anders dan LLM-hallucinaties. Ik heb het over doelbewuste restricties op bepaalde onderwerpen, zoals het niet willen genereren van foto's van mensen met bepaalde etniciteiten in specifieke situaties. Dit heeft niets met hallucineren van een LLM te maken; dit was een direct gevolg van een restrictie die men zelf aan de AI meegegeven had.

Geen idee waarom je aanneemt dat een LLM geen beperkingen kent,

En ik heb op mijn beurt, geen idee waarom jij aanneemt dat ik denk dat een LLM geen beperkingen kent. Dat heb ik namelijk nergens beweert.

[cariolive23]

wel degelijk als censuur gezien worden.

Zo lust ik er nog een, zo kun je elk woord wel een andere betekenis geven en heel hard roepen dat jij gelijk hebt met deze nieuwe betekenis.

Claude is niet specifiek getraind op medische data en er is niemand die de antwoorden van Claude controleert. Gezien de impact van foute antwoorden en de vraag wie verantwoordelijk is voor foute antwoorden, geeft Claude gewoon geen antwoord. Dat is niks bijzonders, doet een dokters assistent ook. En ook die verwijst je naar de arts, de eindverantwoordelijke.

[Navi]

Ik denk dat je het best 'censuur' kunt noemen als de AI het wel weet maar geïnstrueerd is het niet te vertellen of te ontwijken.

[Reactie gewijzigd door Navi op 7 augustus 2024 09:49]

[bramv101]

Jouw definitie lijkt me idd de meest correcte in deze context (los van hallucinaties).
En jammer genoeg lijkt dat wel het geval te zijn

[cariolive23]

Alleen wéét het model het helemaal niet, dat is nou juist het probleem. Het is geen medisch taalmodel, het is een generiek taalmodel. Wat het model wél weet, is dat het géén arts is, daar niet voor heeft "gestudeerd" en dat mogelijke antwoorden levensbedreigend kunnen zijn.

[Zoop]

En bovendien, imo, moet je dit soort vragen sowieso niet aan een LLM vragen. Een LLM komt over als een geloofwaardige menselijke chatpartner, maar hij kan echt heel erg makkelijk uit z'n nek lullen. Een LLM is ideaal als je een werkstuk wilt schrijven over deze medicijnen of aandoening. Maar informatie inwinnen vanuit een LLM? Dan snappen mensen denk ik niet zo goed wat zo'n AI doet ... In ieder geval zal je alles moeten controleren en als zo'n bot dan bronnen geeft, dat je die ook daadwerkelijk raadpleegt om hem te controleren.

Net als het nieuws op Tweakers pas dat een rechter aan ChatGPT vraagt wat de gemiddelde prijs van iets is om te gebruiken in de rechtspraak. Erg gevaarlijk als zoiets normaal wordt. Al vraag je de bot enkel wat de openingstijden van een winkel is, zelfs dat kan gewoon gehalucineerd worden. Zoek dat soort spul gewoon op in een zoekmachine en raadpleeg de meest directe bronnen. Je kan hooguit aan de bot vragen om je hiermee op weg te helpen, maar ik zou echt nooit de informatie die hij geeft direct aannemen als correct.

Dat een bot dit weigert te doen is dan eigenlijk alleen maar beter, je hoort bots zo niet te gebruiken

[Puddi Puddin]

Dit soort modellen hebben vaak 'safety' settings ingebakken die uit te zetten zijn als je de API benadert dan nog zijn er diepere restricties maar toch. Anders krijg je namelijk situaties waarin je vragen stelt over je biologie les en je het antwoord terug krijgt dat hij geen seksueel aanstotende antwoorden mag geven. Hoogstwaarschijnlijk is dit bij medicatie ook een blokkade.

[Reactie gewijzigd door Puddi Puddin op 7 augustus 2024 11:07]

[familyman]

Censuur komt van een overheid.

Deze beperking komt niet van de overheid.

Het is geen censuur.

In het algemeen, als we zien hoe de samenleving veranderd onder invloed van technologie, economie en moraliteit, zou het goed zijn om eens na te denken over vrijheid van meningsuiting, leugen vs interpretatie vs waarheid, censuur, de rol van de overheid, en democratie.

Maar zoals het nu is, is het geen censuur.

[satya]

Dat moeten al die gpt's op de voorgrond, creëer ik in mijn tooling een agent die zich moet gedragen als arts komt alles er gewoon doorheen en raadpleegt het zichzelf of bronnen op het internet.

Zelfde met vragen naar beursgenoteerde bedrijven.

[synoniem]

Met het vertrek van de oprichters kan je je wel afvragen wat er nog over blijft van de uitgangspunten die golden voor veilige AI bij de oprichting.
Inmiddels zit er zoveel geld in OpenAI dat een tweede "Boeing" maar dan op het vlak van AI om de hoek ligt. Winstmaximalisatie versus veiligheid is geen prettig vooruitzicht bij zoiets als AI.

[Lau1406]

Ik vroeg mij af waar AGI voor staat. Dat blijkt Artificial general intelligence te zijn.

[Eomer]

Als voorbeelden, ik denk over een rekenmachine als nauwe intelligentie. Veel beter dan mensen in rekenen, maar kan niets anders. En voor mij is algemene intelligentie het hele spectrum van wat mensen kunnen bedenken ineen.

[DrPoncho]

Dat zegt hij dan ook niet :\

[Sleipnir]

En nu is het door deze gebruiker voor ons nog makkelijker te vinden!

[-Colossalman-]

Dude, nergens om maar dit is een tech website.. geen bejaarden forum.
Ik had je bro kunnen noemen maar dat gaat mij weer wat te ver.
Geniet van wat er uitgebracht wordt, we zien wel waar het eindigt

[Anoniem: 302359]

Ik snap niet waarom men zo geil is op deze nieuwe hype die werkelijk niets toevoegt,

Als je dit soort uitspraken doet over machine learning/AI, dan zeg je eigenlijk dat je er gewoonweg geen kaas van gegeten hebt en uit de onderbuik reageert. Het voegt al enorm veel toe op enorm veel plekken, veel meer dan jij je wellicht realiseert.

Ik deel je zorgen over de inzet van AI en de risico's die het eventueel met zich meebrengt. Alleen door er zo ongefundeerd en ongezanderd op af te geven, levert ook vrij weinig op.

[Zoop]

Hoe vaak kom jij mensen in het verkeer tegen die met "AI troep" bezig is? Wat een vreselijk slecht argument. Mensen moeten sowieso hun mobiel niet gebruiken in het verkeer, daar heeft AI geen hol mee te maken.

Enneuh... Waarom loop je apps te verwijderen via "de admin prompt"? Dat gaat gewoon net als ieder andere app. En als het toch installeerde nadat je gezegd hebt van niet, dan heb jij simpelweg iets fout gedaan hoor. Het is makkelijk te wijzen naar anderen voor je eigen onkunde.

Je weet overigens toch hopelijk wel dat je niet verplicht bent tegen een AI te praten he? Ik denk eerlijk gezegd dat die usecase een piepklein aandeel betreft.

Bij ieder die het "skynet"-verhaal aanhangt kan er al gelijk geconcludeerd worden dat die persoon er gewoon ballen verstand van heeft., robots die willekeurig mensen op straat aan stukken scheuren etc ... Hoe kom je daar in godsnaam bij?

Kortom, mag wel duidelijk zijn dat je echt geen idee hebt waar je het over hebt. En dus nogal logisch dat je niet snapt waarom "men zo geil is". Ik zou aanraden er daadwerkelijk eens iets over te lezen (alleen boos reageren op artikelen die er over gaan telt dus niet)