OpenAI versterkt toezicht met interne commissie die AI-releases kan blokkeren

OpenAI heeft aangekondigd dat zijn Safety and Security Committee wordt omgevormd tot een onafhankelijke raadscommissie. Deze commissie krijgt vergaande bevoegdheden bij het beoordelen van nieuwe AI-modellen.

De SSC zal voortaan kunnen ingrijpen bij de release van nieuwe AI-modellen als er zorgen zijn over de veiligheid. Dat zegt OpenAI in een blogpost. Dit betekent dat de commissie de macht heeft om releases uit te stellen totdat aan bepaalde veiligheidscriteria is voldaan. Deze maatregel volgt na een interne evaluatie van OpenAI's veiligheids- en beveiligingsprocessen. Naast dit besluit kondigde OpenAI ook aan dat het zijn cyberbeveiligingsmaatregelen uitbreidt en meer transparantie gaat bieden over veiligheidswerk. Ook gaat het samenwerken met externe organisaties voor onafhankelijke tests en ontwikkelt het een geïntegreerd veiligheidsraamwerk voor modelontwikkeling en -monitoring.

Reacties (9)

[Koekhapperrr]

Dit blijft toch een mooi marketingtrucje: periodiek de suggestie wekken dat OpenAI met 'gevaarlijke' technologie bezig is. Die misschien te gevaarlijk is om aan het grote publiek te tonen. Waar ze misschien de grip op gaan verliezen.

Het is OpenAI er erg aan gelegen het idee te laten leven dat ze onderweg zijn naar de ontwikkeling van AGI. Of dat ze hier wellicht al dicht tegenaan zitten. Het is nog maar even wachten, hooguit een paar jaar, en dan is het er. Terwijl ze, op hun eigen gedefinieerde vijf stappen om hier te komen, nog steeds bij stap 1 zijn.

Ze zitten enorm om geld verlegen, en zijn op weg om dit jaar een verlies van zo'n vijf miljard (!) dollar te schrijven. Microsoft kreeg het, als grote investeerder in OpenAI, afgelopen augustus vrij lastig toen ze hun cijfers presenteerden. Destemeer omdat de enorme investeringen (dit jaar zo'n 20 miljard, een volledige kwartaalwinst!) waarschijnlijk nooit terugverdiend gaan worden.

OpenAI heeft dus veel geld nodig. Heel veel geld: vijf miljard per jaar op blijven halen is absurd voor een startup. Met de huidige stand van de techniek gaan ze dit simpelweg niet ophalen. Of terugverdienen. De hype, dat de technologie echt heel snel beter gaat worden, dat ze misschien intern al met 'gevaarlijk intelligente' modellen bezig zijn, moet gefaciliteerd blijven worden. En daar is Sam Altman bijzonder goed in.

[Reactie gewijzigd door Koekhapperrr op 17 september 2024 13:43]

[morphje]

Dus bottomline: we zitten op een bubble? Een dotcom 2.0 bubble wellicht? Alleen dan wel eentje die in verhouding tot de eerste bubble vele malen desastreuzer zal zijn in termen van financiele belangen als deze barst?

Oh ik kan niet wachten. Echt waar niet. Het wordt werkelijk waar weer tijd dat dergelijke enorme bedragen en langdurige verlies investeringen gaan behoren tot de verleden tijd. Aandeelhouders moeten weer respecteren dat geld verdienen een kwestie van geduld is, dat hebzucht juist veel stuk heeft gemaakt.

Het is praktisch onmogelijk om als kleine jongen in deze markt groot te worden. Overgenomen worden is het enige doel en het enige wat het creeert is zijn enorme monopolie gedrochten. En ja, wat mij betreft mag die monopolie bubble barsten. Jammer dan dat innovatie dan misschien wat langzamer gaat omdat er minder investering is, soms is het goed om even een stap op de plaats te maken.

En als het AI is die die bubble laat barsten, dan is dat maar het middel. Hopelijk neemt het gelijk bedrijven als thuisbezorgd, airbnb, Uber mee in z'n kielzog die op dezelfde wijze concurrentie vernietigen.

[tw_gotcha]

helaas zijn er uberrijken op deze aarde die dit soort bedragen gewoon hebben liggen. Dus ik vrees dat je stapje terug er niet gaat komen, of dat een bubbel die barst heel veel kleine bedrijven de kop kost, maar niet die hele grote.

[SillieWous]

Als blijkt dat ze releases ook daadwerkelijk tegenhouden worden ze er weer uitgegooid.

[bapemania]

Gebaseerd op...?

[SillieWous]

nieuws: OpenAI doekt team op dat veiligheid van 'hyperintelligente' AI moest ...

[Stukfruit]

Gebaseerd op het detail dat het gebruik van de term "independent" een losse flodder lijkt te zijn, de leden betaald lijken te worden door OpenAI en omdat er in het gelinkte artikel wordt gesproken over "Collaborating with External Organizations" onder sectie 4?

[dikkechaap]

Door wie zouden ze dan moeten worden betaald? Extern toezicht zou er ook moeten zijn, maar daar heeft OpenAI geen controle over. Wat ze wel kunnen doen is intern iets inrichten, maar dat zullen ze dan ook zelf moeten betalen (want dat gaat niemand voor ze doen). Daar zitten natuurlijk allerlei haken en ogen aan, en hun verleden stelt nou niet meteen gerust, maar het feit dat OpenAI deze commissie nu betaalt kun je ze niet aanrekenen vind ik. Het is ook geen extra argument om te denken dat de commissie er sneller "uitgegooid" gaat worden; zolang er sprake is van een vrijwillige inspanning/samenwerking kan OpenAi altijd de stekker uit zo'n initiatief trekken, ongeacht wie er betaalt.

[ronaldmathies]

Eerste wat ik dacht, om de zoveel tijd richten ze weer een clubje op wat "toezicht" moet houden, om dan vervolgens een paar maanden later weer ontmanteld te worden. Alsof een groepje mensen kan zeggen dat een model wat voor een paar weken / maanden heeft zitten trainen voor tientallen miljoenen dollars aan geld niet gereleased mag worden.

Dat zijn veel te grote bedrijfs risico's, dat gaat echt niet gebeuren. Dit is puur voor de bühne, OpenAI moet doen alsof ze nog steeds cutting edge bezig zijn maar ze zijn hun voorsprong voor een groot deel al kwijt, en dat gaat financieel een probleem worden denk ik met het aantrekken van investeerders.

Op deze manier lijkt het alsof je nog steeds projecten hebt die zo geavanceerd zijn dat ze misschien wel slecht voor de mensheid zijn, en daarom moet je een orgaan hebben wat toezicht houd.

[Reactie gewijzigd door ronaldmathies op 17 september 2024 11:45]