OpenAI's medeoprichter en chief scientist Ilya Sutskever vertrekt bij bedrijf

Ilya Sutskever, medeoprichter van en chief scientist bij OpenAI, vertrekt bij het bedrijf. Sutskever was voorheen lid van OpenAI's raad van bestuur en stemde destijds voor het ontslag van ceo Sam Altman. Later betuigde hij hiervoor spijt.

Sutskever zegt dat hij het besluit om te vertrekken zelf heeft genomen, nadat hij bijna tien jaar bij het bedrijf werkte. Hij geeft geen reden voor zijn vertrek, maar hij zegt wel dat hij hierna aan een project gaat werken dat 'voor mij heel betekenisvol is' en waar hij in de toekomst meer details over wil delen.

De medeoprichter was tot eind vorig jaar bestuurslid bij OpenAI en werkte mee aan het plan om Altman te ontslaan, merkt Reuters op. Dagen later gaf hij aan spijt te hebben van zijn medewerking en riep de raad van bestuur juist op om Altman weer aan te nemen. Sutskever stopte als bestuurslid toen Altman terugkeerde.

Ceo Sam Altman zegt Sutskevers vertrek te betreuren en zegt dat Jakub Pachocki Sutskever zal opvolgen als chief scientist. Pachocki was voorheen verantwoordelijk voor 'veel van onze belangrijkste projecten', waaronder GPT-4 en OpenAI Five.

After almost a decade, I have made the decision to leave OpenAI. The company’s trajectory has been nothing short of miraculous, and I’m confident that OpenAI will build AGI that is both safe and beneficial under the leadership of @sama, @gdb, @miramurati and now, under the…

— Ilya Sutskever (@ilyasut) 14 mei 2024

Reacties (29)

[DuncanGTI]

Jan Leike, the co-lead of OpenAI's superalignment group announced his resignation on Tuesday.

2 hoog geplaatste staf van OpenAI die op dezelfde dag ontslag nemen is dat toeval?

Bron: BusinessInsider

[Rouwette]

Nee dat zal geen toeval zijn.

[twkr18526]

Wat zou zo’n sutskever nou verdiend hebben aan dot avontuur, nu hij eruit stapt? Genoeg om rustig aan te doen en iets nieuws te beginnen?

[MarkHart]

Gemiddeld salaris bij OpenAI is een miljoen per jaar. Ga er maar vanuit dat Ilya 2-3 miljoen per jaar kreeg.

[ruben0107]

Denk dat de beste meneer ook een x% heeft in het gedeelte van OpenAI wat wel winst mag maken. Aangezien hij een van de oprichters is. En dus zal zijn salaris er niet zoveel toedoen.

[Jefrey Lijffijt]

Ongetwijfeld gaan er weer de wildste verhalen de ronde doen, maar mijn persoonlijk perspectief als iemand die al lang in het onderzoeksvakgebied zit is dat hij gewoon toe is aan een nieuwe uitdaging.

[Cergorach]

Ja, daar heb je vast gelijk in, maar het is wel heel frappant dat dit gebeurd zes maanden na het hele OpenAI drama. De hele top van de Superalignment groep is nu in een keer foetsie.

Daarnaast gingen er eerder dit jaar ook al twee weg, eentje ook van van het Superalignment team en de ander van governance die wegging omdat deze het vertrouwen dat OpenAI 'verantwoordelijk' om zou gaan met AGI had opgezegd.

Verloop is natuurlijk normaal bij elk bedrijf, maar in dit geval... "Waar rook is is vuur!" wordt vaak gezegd en hoewel niet altijd waar, daar zit een bepaalde kern van waarheid in...

Bron:
https://openai.com/index/introducing-superalignment/
https://www.businessinsid...-hes-leaving-the-company/
https://www.businessinsid...ernational=true&r=US&IR=T

[Jefrey Lijffijt]

Als je ethisch wilt handelen dan kun je alleen maar wegblijven van de tools van OpenAI, dat is zo klaar als een klontje. Dit is kapitalistisch handelen op zijn allerslechtste.

AGI is een fabeltje dat ook slechts bestaat om funding aan te trekken. Je moet deze tools vooral als tools blijven zien om bepaalde taken van jezelf uit te besteden en in sommige contexten kunnen ze dingen brengen die eerder niet mogelijk waren omdat ze te veel tijd zouden kosten voor een mens. Om het echt goed te gebruiken moet echt doorgronden dat het hier om artificiële 'intelligentie' gaat. Hoewel het heel zinnig is woorden als 'begrip', 'redeneren' etc. ook voor deze context te gebruiken moet je je vooral blijven realiseren dat die woorden niet hetzelfde kunnen betekenen voor huidige AI-gebaseerde modellen als dat die woorden voor de menselijke context betekenen.

Strikt genomen zijn huidige tools niet eens artificieel intelligent, ze kunnen niet leren en niet redeneren, waarmee ze aan geen van de voorwaarden voldoen om AI genoemd te worden. Ze zijn wel gebouwd met behulp van AI.

[Echt spijtig dat opinies van AI-experts hier weggemodereerd worden als irrelevant. Zegt genoeg over hoe hype prevaleert over inhoud als het over AI gaat.]

[Reactie gewijzigd door Jefrey Lijffijt op 22 juli 2024 22:31]

[T-men]

[Echt spijtig dat opinies van AI-experts hier weggemodereerd worden als irrelevant. Zegt genoeg over hoe hype prevaleert over inhoud als het over AI gaat.]

Ik merk dat verschillende (groepen) mensen er verschillende definities op na houden van wat AI is. Afhankelijk van welke definitie je hanteert klopt het wat je als expert zegt ("Strikt genomen zijn huidige tools niet eens artificieel intelligent") of je slaat de plank, ook al ben je een expert, volledig mis.

In het laatste geval zal een lezer je al snel een negatieve moderatie geven.

[Bartdo]

Hoe kapitalistisch OpenAI is, lijkt mij moeilijk vast te stellen. Waarschijnlijk is het een variabele in de tijd, en is het de vraag naar welke kant het bedrijf zich ontwikkeld. Het is begonnen als een non-profit bedrijf en bestaat nu uit een non-profit en for-profit deel (Wikipedia: OpenAI) waarbij het gaat om 'capped for profit'. Dat wil zeggen dat de winst die het bedrijf mag maken begrensd is. Sam Altman licht dit toe in een interview met Lex Fridman (https://www.youtube.com/@lexfridman). Als ik het goed begrepen heb, kwam OpenAI tot de conclusie dat de kracht van een LLM vooral een kwestie van schaal is, en dat voor het opschalen veel geld nodig is. Om dat geld bij elkaar te krijgen heeft OpenAI besloten commerciëler te worden.

Dat AGI een fabeltje is, is een veronderstelling waarvoor je geen bewijs kunt aanvoeren. Het ontwikkelen van AGI is een zoektocht, waar stoutmoedige bedrijven als OpenAI in zijn gestapt. Het kan zijn dat AGI onmogelijk blijkt, maar kijkende naar de capaciteiten van de huidige LLM's ben ik geneigd te denken dat AGI er komt, al is onduidelijk hoe lang dat nog duurt.

Het huidige ChatGPT geeft meestal intelligente antwoorden op mijn vragen. In die zin is het systeem wel kunstmatig intelligent.

[Jefrey Lijffijt]

Ik bedoel niet dat het permanent onmogelijk is om AGI te bereiken.

Ik denk niet dat ons brein onmogelijk is om na te maken en het zou verbazingwekkender zijn als het bijvoorbeeld perfect efficient is en dat we het niet zouden kunnen verbeteren. Wij zijn bijvoorbeeld ook niet goed in exact redeneren, iets dat computers al heel lang veel beter kunnen dan wij.

Wat ik bedoel is dat het irrelevant is je er nu druk over te maken, omdat het nog heel ver weg is in de tijd.

Iets waarvan ik denk dat er veelal vergeten wordt is de informatie die wij al bevatten bij de geboorte. Technisch bezien zou je dat de inductive bias kunnen noemen. Wij hebben een affiniteit om dingen te leren die overeen komen met de realiteit, dat is informatie gevat in ons DNA, en we weten daar nog weinig van. Dit is bijzonder relevant, want als je model space kleiner is dan geeft dezelfde informatie een grotere winst. Huidige modellen zijn veel te groot en niet efficient. Daarnaast is de informatie gevat op het web nog altijd heel heel beperkt ten op zichte van de realiteit als geheel. Ik denk dat open learning nodig zal zijn om modellen nog een grote stap verder te brengen, plus een andere architectuur waarbij learning en reasoning gecombineerd wordt. Ik sta daar niet alleen in, zeker de relevantie en uitdaging van learning+reasoning wordt breed bestudeerd en het is wel duidelijk dat we er niet klaar voor zijn dat te integreren in grootschalig beschikbare tools.

[Gulpen]

Ilya was (als voorzitter raad van toezicht?) degene die Sam Altman recent had ontslagen wegens niet volledig informeren raad van toezicht - waarna er min of meer een coup is gepleegd (met hulp van groot aandeelhouder Microsoft) en Sam Altman terug gehaald is en degenen loyaal aan Ilya zijn vervangen door mensen loyaal aan Sam Altman (plus een extra zetel in de raad v toezicht exclusief voor Microsoft…). Meer dan dit weten we (nog steeds) niet. Maar dit zijn de feiten.

Dat er nu dus gespeculeerd wordt over waarom Ilya OpenAI definitief verlaat is niet alleen begrijpelijk maar zijn vertrek is tamelijk zorgwekkend gezien bovenstaande. Waarom wilde hij Sam Altman ontslaan, en wat betekent het dat Sam Altman (met Microsoft) nu het rijk alleen hebben? OpenAI maakt (potentieel) de meest gevaarlijke technologie ooit door de mens ontwikkelt, met uitzondering misschien van de atoombom (maar zelfs die zijn mogelijk te lanceren door een uit de hand gelopen “AGI”). Ilya’s vertrek zou *iedereen* zorgen moeten baren die enigszins begaan is met de mensheid. Maar verder dan dat is het speculeren.

[Reactie gewijzigd door Gulpen op 22 juli 2024 22:31]

[Jefrey Lijffijt]

Al die drama draagt vooral bij aan de hype. Ik sluit niet uit dat ze daar zelf ook in geloven, maar het heeft geen basis in de realiteit.

GenAI is zeker ook gevaarlijk, om valse berichten te maken, mensen van onwaarheden te overtuigen, slechte software te produceren, scriptkiddies mogelijkheden te geven die ze niet zouden moeten hebben, etc. Een rogue AGI hoef je niet van wakker te liggen, daar zijn we echt nog lang niet.

Bijvoorbeeld in Oxford hebben ze zich dat ook gerealiseerd en Nick Bostrom's instituut gewoon opgedoekt.

[Gulpen]

Je komt op mij naïef over mbt gevaren AI/AGI.

Het gaat niet om “bewustzijn”, maar eenvoudig zo’n systeem de mogelijkheid geven zijn eigen code en/of instructies aan te passen. Dan kan het heel snel uit de hand lopen.

Of nog simpeler: gewoon kwaadaardige instructies meegeven. Ik had een onderzoeksproject gezien van iemand die een vroege LLM de opdracht had gegeven de mensheid te domineren. Voortgang kon je volgen op X en YouTube. Op beide plekken verwijderd vanwege “community standards”. Maw, nergens kun je zien wat achter de schermen reeds nu al gedaan wordt en mogelijk is met kwaadaardige intenties.

[Reactie gewijzigd door Gulpen op 22 juli 2024 22:31]

[Jefrey Lijffijt]

Het vereist extreem veel hardware en stroom om een model zoals GPT-4 te trainen en dat heeft geen mogelijkheden zichzelf aan te passen. Huidige LLMs redeneren en leren niet online.

[Gulpen]

Je kunt niet uitgaan van de huidige situatie (denk aan Moore’s law). Supercomputers uit het verleden heb ik nu in mijn broekzak. In tegenstelling tot een atoombom die nog steeds niet te tillen is.

[Reactie gewijzigd door Gulpen op 22 juli 2024 22:31]

[Jefrey Lijffijt]

Mee eens, maar ook bij exponentiële functies is de basis en de factor die je wil bereiken wel relevant. Met een groei van 900% per jaar ben je in 6 jaar een miljard keer sneller, maar een realistischere basis is 20% groei en dan is het 75 jaar. Het eerst is snel, het tweede maken de meeste mensen die nu leven niet mee.

[Reactie gewijzigd door Jefrey Lijffijt op 22 juli 2024 22:31]

[Jefrey Lijffijt]

Dit is wat een professor computerwetenschappen aan Princeton erover te melden heeft: https://twitter.com/random_walker/status/1791109550894178450

Zodra mensen zoals hij dergelijke zaken publiek durven te delen moet er echt wel wat aan de hand zijn.

Ik denk dat hij het mis heeft dat we nu al direct tegen de grens aan lopen, maar meer data is al een substantieel probleem aan het worden. Het klinkt dan aanlokkelijk om te denken dat je bijvoorbeeld gewoon video-feeds kunt gaan gebruiken, maar dan moet ik je helaas vertellen dat we gewoon nog geen technieken hebben om efficient daaruit te leren.

ChatGPT, zeker op basis van GPT4, is beter dan we hadden verwacht. Dat bestaat echter al wel meer dan een jaar en stabiele substantiele progressie is helemaal niet in zicht. Er is nog steeds wel potentieel tot toepassingen die echt gaan knallen, bijvoorbeeld een revolutie in search is aanstaande, Microsoft en Google hebben dat al een tijdje door en dat gaat mooie dingen brengen, misschien wel zo impactvol als dat Google Search was eind jaren 90 (dat heeft de wereld echt wel serieus veranderd).

[Phrozbug]

Opvallend is dat deze man heel vaak in de media was toen het over alignment en de gevaren van AI ging. Ook OpenAI had voordeel bij deze berichtgeving.
Nu gaan de ontwikkelingen allemaal weer wat langzamer, zijn de gevaren even opzij gezet en hij gaat weg.
Dit gaat niet lang goed.

[Maurits van Baerle]

Er zijn twee dingen in de context die misschien meespelen.

Ten eerste is het opvallend dat OpenAI maar blijft hangen op GPT4 versies met steeds een nieuw extra woordje erbij. Turbo, o(mni), straks misschien nog Super, Ultra, Platinum alles om het maar niet GPT5 te noemen. Sommige mensen denken dat de prestaties van GPT5 tegenvielen en dat ze die toen maar GPT4-Turbo noemden. Het lijkt ook dat we aan de top van de S-curve van LLMs zijn gekomen. Sommige mensen vermoeden dat het naampje GPT5 uitgesteld wordt omdat zo'n sprong in versienummers maar met tegenvallende resultaten wel eens het einde van de LLM bubbel zou kunnen betekenen.

Daarnaast is de tijd dat we dachten dat we "AI"/LLMs puur in technologische termen bekeken ook wel voorbij. We kijken nu ook naar de vrij grote impact op de samenleving in de vorm van informatievervuiling en desinformatie, deepfakes, kartelvorming, verkiezingsbeïnvloeding, kapitaalvernietiging, en milieuimpact om er maar een paar te noemen.

Als je dan een serieuze naam hebt én werkelijk voor ogen hebt dat je het goede wil doen voor de wereld (dat lijkt bij Sutskever het geval maar dat zou ook een façade kunnen zijn, daar kan ik niet zo goed over oordelen) dan is dit het juiste moment om OpenAI te verlaten voordat de zaak wel eens echt lelijk kan worden.

[GoodGuy]

Wat een negativiteit.

Die Turbo versie hebben ze ook al gebruikt bij GPT 3.5-turbo. Dat is gewoon een beperkte upgrade van een bestaand model met een kostenbesparing voor de gebruikers. Fijn dat ze die tussentijds vrijgeven.

Omni is een upgrade met een betere integratie van audio (gesproken taal) en nog wat zaken met wederom een kostenbesparing voor de gebruiker. Fijn dat ze die vrijgeven.

Wat ze met GPT-5 doen en waneer die wordt vrijgegeven is toch vooral hun eigen zaak. Gezien het verleden GPT2 --> GPT3 --> GPT4 kun je verwachten dat GPT5 een nieuw model is met een flinke sprong vooruit. Niks wijst erop dat die hernoemt is naar 'turbo' of 'omni'.

[Exploited]

Het is niet alsof er geen 1000 bedrijven klaar staan om iemand met zo'n CV aan te nemen. Mensen als Sutskever kunnen overal waar ze willen gaan werken en een complete carte blanche krijgen.

[whersmy]

Hoppa, de marketing machine staat weer aan

[Frame164]

De marketing machine staat altijd aan. Ook op jouw werk. Zelfs bij non-profit organisaties. Marketing is immers is de basis van waarom je iets doet. Maar ik denk dat je wat anders bedoelt dan "marketing".

[The Zep Man]

Marketing is immers is de basis van waarom je iets doet.

Marketing betreft niet (de basis van) wat je doet, maar wat je verkoopt. Die twee hoeven niet gelijk aan elkaar te zijn.

"That's what we're selling. It's not what we're doing."

Ryan Bingham, Up in the Air (2009)

[dez11de]

Organisaties die niks verkopen doen ook aan marketing.

[The Zep Man]

Dat is geen marketing. Dat is PR.

[Znorkus]

Hoezo, mensen wisselen toch voortdurend van baan? Hij zal de mogelijkheden (en salarissen) wel op gouden presenteerblaadjes aangereikt krijgen met zoiets op je cv.

[MKWS]

Misschien waren de stock opties vanaf vandaag te verzilveren voor die twee.