Experts, hoogleraren en techwerknemers pleiten voor tijdelijke ontwikkelstop AI

Een groep van experts, filosofen, investeerders en ontwikkelaars roept AI-bedrijven in een brief op om tijdelijk te stoppen met de ontwikkeling van kunstmatige intelligentie. Onder andere Steve Wozniak, schrijver Yuval Noah Harari en politicus Andrew Yang ondertekenden de brief.

De open brief is inmiddels door meer dan 1100 personen ondertekend. Onder de ondertekenaars zitten onder andere oprichters van techbedrijven, hoogleraren, ontwikkelaars en denktankleden. Er zitten daarnaast ook leden bij van adviesorganisaties en denktanks die specifiek over kunstmatige intelligentie en de ethische implicaties ervan nadenken. Aan de andere kant staan er ook enkele trollnamen zoals John Wick van The Continental op, dus het totale aantal ondertekenaars is niet volledig representatief. Bovendien kan iedereen de lijst aanvullen zonder controle, waardoor er al minstens een ondertekenaar gezegd heeft dat hij het manifest niet heeft ondertekend. Op de lijst staan ook ondertekenaars die zelf AI-start-ups hebben of daar onderzoek naar doen.

De briefschrijvers stellen dat de ontwikkeling van kunstmatige intelligentie grote gevolgen kan hebben voor hoe de maatschappij is ingericht. Daar zou eerst over moeten worden nagedacht voor er verder kan worden ontwikkeld. Het gaat dan bijvoorbeeld over automatisering van banen en de grotere hoeveelheden 'propaganda en onwaarheden', al noemen de ontwikkelaars bij die laatste categorie geen specifieke voorbeelden. Ook vragen de briefschrijvers zich af of 'we geen risico lopen onze samenleving kwijt te raken', maar ook daarover gaan de schrijvers niet verder op details in.

De makers verwijzen naar een manifest uit 2017, waarin de opstellers regels voorschrijven waaraan geavanceerde AI zou moeten voldoen. De schrijvers vinden dat AI-ontwikkelaars eerst goed moeten begrijpen hoe de kunstmatige intelligentie precies werkt en wat de mogelijke risico's zijn.

De groep pleit in de brief specifiek dat alle AI-bedrijven een onmiddelijke pauze van zes maanden inlassen 'voor het trainen van alle AI-systemen die krachtiger zijn dat GPT-4'. Die pauze zou 'publiek en verifieerbaar' moeten zijn. "Als zo'n pauze niet snel kan worden opgezet, zou de politiek moeten ingrijpen en een moratorium afdwingen", schrijven de schrijvers.

Tijdens de pauzeperiode zouden ontwikkelaars gezamenlijke regels moeten opstellen rondom AI-ontwikkeling. Het moet volgens de briefschrijvers gaan om veiligheidsprotocollen die door externe experts kunnen worden gecontroleerd. De briefschrijvers pleiten er ook voor dat de huidige ontwikkeling van systemen zoals GPT-4 en hoger eerst verder moet worden uitgedacht voordat er nog krachtigere kunstmatige intelligentie wordt gebouwd. De bestaande AI zou accurater, veiliger, begrijpbaarder en transparanter moeten worden.

Reacties (135)

[Dannydekr]

Het vreemde van dat hele GPT gebeuren is dat de meest intelligente developers die er vanaf het begin bij betrokken zijn in essentie geen flauw idee hebben waarom het momenteel zo goed werkt. Er is ergens een kantelpunt geweest in de complexiteit van de datasets waarbij het model vrijwel vanuit zichzelf gedrag ging vertonen die wezen op de potentie voor AGI.

Ik denk dat het niet verkeerd is om dat grondig te onderzoeken alvorens men blijft door ontwikkelen. Het verschil met GPT3, 3.5 en 4 is al enorm groot en dat in minder dan een jaar tijd. Onderzoekers hebben onlangs een paper gepubliceerd waarbij de conclusie is dat ze daadwerkelijk kenmerken van AGI hebben gedetecteerd.

https://arxiv.org/abs/2303.12712

Dit is zo’n enorme mijlpaal met verregaande gevolgen voor alle aspecten in onze maatschappij. Denk niet dat iemand dit had durven voorspellen voor 2023.

[Stukfruit]

... we believe that it could reasonably be viewed as an early (yet still incomplete) version of an artificial general intelligence (AGI) system

Dikgedrukt om te benadrukken dat ze iets anders zeggen dan de conclusie die jij hier lijkt te trekken. Er zijn geen kenmerken van AGI gedetecteerd. Wat hier staat is dat het zo bekeken kan worden omdat het resultaat zo overkomt.

Tevens ook benadrukt in de omschrijving van deze paper door middel van de volgende tekst:

... we discuss the challenges ahead for advancing towards deeper and more comprehensive versions of AGI, including the possible need for pursuing a new paradigm that moves beyond next-word prediction

[Anoniem: 532949]

Dikgedrukt om te benadrukken dat ze iets anders zeggen dan de conclusie die jij hier lijkt te trekken. Er zijn geen kenmerken van AGI gedetecteerd. Wat hier staat is dat het zo bekeken kan worden omdat het resultaat zo overkomt.

De conclusie van Dannydekr was wat volgens u?

Wat mijn betreft laat het model wel degelijk sporen van AGI zien en dat is een bijzondere mijlpaal, zoals de paper ook beweert. Als we stukken uit deze paper gaan quoten neem dan ook statements mee die de originele stelling beamen.

We discuss the rising capabilities and implications of these models. We demonstrate that, beyond its mastery of language, GPT-4 can solve novel and difficult tasks that span mathematics, coding, vision, medicine, law, psychology and more, without needing any special prompting. Moreover, in all of these tasks, GPT-4's performance is strikingly close to human-level performance, and often vastly surpasses prior models such as ChatGPT. Given the breadth and depth of GPT-4's capabilities, we believe that it could reasonably be viewed as an early (yet still incomplete) version of an artificial general intelligence (AGI) system.

[Reactie gewijzigd door Anoniem: 532949 op 23 juli 2024 08:00]

[Stukfruit]

Het is een resultaat zoals je dat van een AGI zou wensen, maar resultaat != bevestiging. Dat was mijn (en volgens de omschrijving voor de paper: hun) punt.

Het is eenzelfde soort fout die deze meneer ook maakte. Al sloeg hij er iets te ver in door.

[Anoniem: 532949]

Daarom is de paper ook heel voorzichtig sparks of AGI genoemd.

Wat zou een goede bevestiging zijn, zouden we dit überhaupt herkennen aangezien human intelligence slecht een subset van general intelligences is?

Het captcha incident van laatst, hoe classificeer je dat etc.

[Stukfruit]

Het captcha incident van laatst, hoe classificeer je dat etc.

Om te beginnen door de drang naar sensatie (in het nieuws, niet in jouw reactie) weg te nemen en het te zien voor wat het waarschijnlijk is: het systeem is uitgebreid met de mogelijkheid om plugins toe te voegen zodat je andere vormen van logica op de input kan loslaten. Een voorbeeld is ondersteuning voor Wolfram Alpha of een koppeling met Zapier. Hiermee kun je logica via deze paden laten lopen zodra dit volgens het LLM "past" / nodig is.

Logica zegt sowieso dat een plugin voor o.a. Zapier niet nodig zou moeten zijn als dit automatisch mogelijk is, waardoor de kans dat de aansturing van TaskRabbit voor het oplossen van een CAPTCHA automatisch tot stand komt redelijk laag is.

Dit moet helaas worden aangenomen omdat het niet direct beschreven lijkt te zijn, maar je gaat als bedrijf sowieso geen duur systeem met plugins schrijven om zulke dingen mogelijk te maken als er al iets is wat dat binnen een jaar tot half jaar (samenvallend met de releases van nieuwe modellen en tools van OpenAI) overboord gaat gooien.

TL;DR: de aansturing via TaskRabbit om "een mens aan te sturen" werd daarom waarschijnlijk niet gedaan op basis van wat GPT-4 "wil", maar op basis van een plugin die geschreven is door een mens + wat het beste past bij dat deel van de input.

[Dannydekr]

“Kenmerken van AGI gedetecteerd”.

Zo anders is mijn conclusie toch niet dan hetgeen je hierboven citeert? Of mis ik iets?

[StackMySwitchUp]

Je schetst dit dan weer de andere kant op, maar in 2016 had het LLM van Google al op eigen houtje een taal bedacht om efficiënter te kunnen vertalen. Dat op zichzelf is al een (eerste) teken van AGI. Het gaat steeds rapper met de ontwikkelingen, en we zijn nu aangekomen in een stadium dat AI kan gaan meewerken aan haar eigen ontwikkeling, daarmee komt het nog sneller op gang.

[Knolselderij]

Dat Google translate artikel zegt de volgende dingen:

it seems to have created its own artificial language

En de volgende alinea:

Google’s researchers think their system achieves this breakthrough by finding a common ground whereby sentences with the same meaning are represented in similar ways regardless of language – which they say is an example of an “interlingua”. In a sense, that means it has created a new common language, albeit one that’s specific to the task of translation and not readable or usable for humans

Dit alles geeft mij juist het idee van geen AGI...

[Cergorach]

@TijsZonderH Hebben jullie de bronnen gecheckt? Op die pagina kan iedereen invullen wat hij/zij wil en dat staat er vervolgens onder, er zijn al mensen geweest die aangeven niet dit te hebben ondertekend en staan toch er onder als ondertekenaars.

Zie bv:
https://twitter.com/ylecun/status/1640910484030255109?s=20

In een eerder artikel vandaag linkte @Henrikop al naar deze tweet:
nieuws: Microsoft introduceert op GPT-4 gebaseerde AI-assistent voor cybersec...

[Mathijs Kok]

Dank voor deze reactie want het ruikt allemaal een beetje.

[Cergorach]

Er staat nu onder:

Signatories list paused due to high demand

Due to high demand we are still collecting signatures but pausing their appearance on the letter so that our vetting processes can catch up. Note also that the signatures near the top of the list are all independently and directly verified.

Yann LeCun staat ook niet langer op de lijst, kennelijk hebben ze een hoop kritiek te gekregen over de ondertekeningsprocedure en de betrouwbaarheid van de daadwerkelijk ondertekende personen... Maar ondertussen is het overal al in de media geweest.

Ik heb net geprobeerd Homer Simpson toe te voegen aan de lijst als research partner van Stephen Hawking voor zijn werk aan het Unified Donut Research Project (UDRP)... Ik ben eigenlijk een beetje teleurgesteld!

[Churitos]

Het schijnt dat het geheel is gepubliceerd door AI zelf om te kijken hoe de mensheid zal reageren.

[vanderstam]

AI doet aan 4d schaken.

[Polydeukes]

Het schijnt dat... Zonder betrouwbare bron draag je zelf ook bij aan de onbetrouwbaarheid van deze informatie.

[TijsZonderH]

Hmm dubieus, dat voeg ik wel nog even toe. Nee, ik heb niet alle 1100+-namen gecheckt, maar heb wel de John Wick-verwijzing in het stuk gezet om te laten zien dat de lijst makkelijk te manipuleren kan zijn. Dat de bekende namen echter verzonnen zijn is echter wel een andere grootorde.

[Ionicawa]

Elon Musk zou nu ook hebben getekend en dat betwijfel ik persoonlijk ten zeerste.

[lighting_]

Musk verkondigt al jaren dat er eerst beleidsregels moeten komen voordat AI gemeengoed wordt. Hij heeft al vaker aangegeven dat AI in de verkeerde handen grote gevolgen kan hebben.

[bamboe]

ik wou net vragen hoe ik het beste dynamiet kan maken aan de ai,
dat moet ie toch wel uit kunnen leggen in 200 woorden.

[maratropa]

"We are summoning the demon" geeft z'n gevoel redelijk duidelijk weer idd.

[cold_as_ijs]

Zal zijn twitter account wel gedaan hebben, die schijnt wel vaker een eigen wil te hebben

[Polydeukes]

Musk heeft daarover gezegd dat door zijn Asperger (autisme) hij soms onvoorspelbare dingen zegt/doet/schrijft.

[langestefan]

Precies. En daarmee is de waarde van deze brief 0.0, niet serieus nemen dus.

[Scriptkid]

Maar de gedachte wel.

Kijk hoe erg chatgpt uit zijn verband wordt getrokken en hoe gevaarlijk hij al ingezet wordt

[langestefan]

Net zoals iedere andere techniek ooit bedacht. Niks nieuws.

[maratropa]

AI is dus niet "net zoals alle andere techniek". Al onze techniek spruit uit ons, tot nu toe iig.

[langestefan]

AI spruit ook uit ons. Als je er wat dieper in duikt is het allemaal niet zo spectaculair meer, het is gewoon een taal model.

[maratropa]

ok, maar als dat taalmodel niet meer te begrijpen is? Zelf creeert? Of basisopdrachten koste wat kost gaat uitvoeren? Een atoombom is ook gewoon natuurkunde

[langestefan]

Wat begrijpen we dan precies niet? Een taalmodel heeft veel parameters en daardoor is de output soms lastig te begrijpen. Wat inmiddels duidelijk is is dat er geen sprake is van enige intelligentie. Op de weg naar AGI zijn taalmodellen een leuke tech demo.

Deze paper is leuk: https://arxiv.org/abs/2209.01515

This suggests that language statistics alone are sufficient to generate some sensitivity to false belief, but crucially, not to fully account for human sensitivity to false belief. Thus, human Theory of Mind may involve linking this linguistic input to innate capacities or to other embodied or social experiences.

Oftwel een taalmodel leert wat er te leren valt van taal en ontwikkeld niet zelf een 'hoger begrip'. Dit zie je iedere keer weer terugkomen, een taal model is goed met taal en daar houdt het op.

[Reactie gewijzigd door langestefan op 23 juli 2024 08:00]

[BlueHulk]

Nah. De gedachte is dat er enkele grote spelers gigantisch achter lopen en een half jaar pauze in ontwikkeling zou hen goed uitkomen.

[Scriptkid]

Dus we moeten atoom wapens ook maar weer vrij geven en iedereen mag ze weer ontwikkelen zonder toezichtinc iran . N korea rusland etc.

[BlueHulk]

Ah ja want AI is hetzelfde als een atoomwapen...

[Scriptkid]

Denk nog wel erger als je de scale van misbruik mogelijk heden ziet dan is de impact geen enkele stad maar hele landen of wereld delen.

Het is een wapen wedloop geworden waar veel geld aan te verdienen is mar ook offensief en defensief leger belang

[Reactie gewijzigd door Scriptkid op 23 juli 2024 08:00]

[Henrikop]

Als je de lijst pakt met de grootste namen bovenin en dan kijkt bijvoorbeeld op Twitter zie ik 0 confirmations, Ik vraag dan ook af, hoe wisten ze uberhaupt wat er te ondertekenen viel? En Elon Musk is ook meer dan een dag niet op Twitter geweest, iets wat ook maar zelden gebeurd.

[jvelite]

Dat is ijdele hoop. Gaat niet gebeuren.
Men ruikt geld. Veeeeel geld.

Zelfs wordt het illegaal gemaakt gaat dit doorontwikkelen, al dan niet door de criminelen zelf.

Ik ben bang dat we een soort "post-truth era" zijn binnen gestrompeld, zonder dat we het echt door hadden.

[Splorky]

Dat post truth era is er sinds Trump, fake of niet het maakt niet uit, het wordt door grote groepen gretig geaccepteerd.

In Nederland is het minder erg maar niemand gelooft toch dat onze minister president echt niets wist van 'functie elders' om maat een voorbeeld te noemen, en ook hier wordt het geaccepteerd.

Het enigste voordeel is dat zo'n IA niet bewust de onwaarheid vertelt.

Als het verboden wordt dan wordt het verder ontwikkeld op plekken waar het wel mag, en ik denk zelfs dat het op termijn een landsbelang kan worden om een goede IA te hebben (maar nu staat het nog in de kinderschoenen)

[Cergorach]

Dat post truth era is er sinds Trump, fake of niet het maakt niet uit, het wordt door grote groepen gretig geaccepteerd.

Dat is kolder! Ik ben absoluut geen T. fan, maar iets dergelijks in zijn schoenen schuiven is gewoon niet eerlijk. Dit is al veel langer een probleem, ook al veel langer een probleem in Nederland en zeker niet iets van alleen de afgelopen zes jaar.

Er is een groot verschil tussen wanneer jij (en anderen) uiteindelijk iets realiseren en hoe de wereld al veel langer werkt...

[BlueHulk]

Howla m'n beste, het was toch weldegelijk Trump die tijdens zijn inauguratie het concept van Fake News de wereld instuurde, samen met het idee van alternative facts.

Alles wat je niet aanstaat bestempelen als fake news is echt wel iets wat onze oranje vriend in het leven heeft geroepen.

[core_dump]

Het probleem erkennen en benoemen is niet hetzelfde als er mee beginnen.
In de jaren 50 en 60 waren er in Nederland al grote verschillen merkbaar in de berichtgeving tussen (toen nog) rechtse en linkse kranten. Dit verschil is met de jaren steeds groter geworden tot op het punt waar we nu zijn waar je geen enkele nieuwsbron zonder meer nog kan vertrouwen.

[BadRespawn]

Dat post truth era is er sinds Trump

Het begrip "post truth (era)" stamt van vóór Trump, Trump is alleen maar een zo duidelijke symptoom dat inmiddels spreekwoordelijk iedereen het ziet. https://en.wikipedia.org/wiki/Post-truth

[Mathijs Kok]

al dan niet door de criminelen zelf.

Dat is vrijwel uitgesloten.

Hardcore AI development is iets voor zeer technologische instituten en vrijwel altijd verbonden aan universiteiten. De mensen die daar echt goed in zijn hoeven niet voor criminelen te gaan werken want ze kunnen kapitalen verdienen bij aantoonbare kennis en ervaring. En met kapitalen bedoel ik echt zeer grote bedragen.

[Cergorach]

Als de boel verboden wordt door het illegaal te maken zullen er altijd figuren zijn die hun onderzoek willen doorzetten en die zullen dan aankloppen bij criminelen of overheden die het niet zo nauw nemen met de regels.

Daarnaast, als je in de AI development zit, kan je wellicht kapitalen verdienen omdat je daar goed in bent. Maar wat is je waarde nog als je niet mag doen waar je goed in bent? Dan verdampt die kans dus om kapitalen te kunnen verdienen... Waardoor kapitaal krachtige criminelen weer aantrekkelijk worden...

[Ludewig]

Het is ook een beetje naïef om te denken dat de hele wereld tegelijkertijd een verbod zal instellen. Er zijn 195 landen ter wereld met allemaal een eigen regering en eigen belangen. Waarom zou bijvoorbeeld China meedoen als ze denken dat ze een militair voordeel kunnen halen uit AI? En net zo goed is het onwaarschijnlijk dat bijvoorbeeld de Amerikaanse inlichtendiensten hier alsnog niet opduiken ook al is het verboden. Het verbod op martelen omzeilden ze ook met een transparante truc (door het martelen in andere landen te doen).

[Anoniem: 532949]

Dit is een belangrijk punt, de rol van een sterke concurrentie positie hebben door met AI te mogen werken maakt het vrijwel onmogelijk om het te verbieden.

[Weicool]

China loopt achter: taalmodellen zijn onvoorspelbaar, je kunt de taalmodellen namelijk zo niet makkelijk verplichten te stoppen hun president te vergelijken met Winnie de Pooh!

[Anoniem: 532949]

Hardcore AI development is iets voor zeer technologische instituten en vrijwel altijd verbonden aan universiteiten. De mensen die daar echt goed in zijn hoeven niet voor criminelen te gaan werken want ze kunnen kapitalen verdienen bij aantoonbare kennis en ervaring. En met kapitalen bedoel ik echt zeer grote bedragen.

Dit is een onzinnige gedachte, er werken genoeg geniale hackers voor shady organisatie, denk maar aan all randsomeware attacks de laatste jaren. Sommige mensen passen helaas sociaal niet in het reguliere onderzoek/bedrijfsleven.

[mareck1]

Helemaal geen onzin. Je vat de reactie alleen op alsof alle geniale hackers voor legitieme organisaties werken. Dat zegt hij niet en dat is natuurlijk ook niet zo. Wat wel zo is, is dat inderdaad de meeste geniale mensen die goed zijn in AI of kunnen hacken of ergens anders heel goed in zijn ook dat doen bij normale organisaties omdat je a. meer dan genoeg kan verdienen bij een normale organisatie en b. nog steeds kan doen wat je wil omdat dit soort types altijd behoorlijk vrij wordt gelaten in hun werkzaamheden.

[Anoniem: 532949]

De mensen die daar echt goed in zijn hoeven niet voor criminelen te gaan werken want ze kunnen kapitalen verdienen bij aantoonbare kennis en ervaring.

Gaf een simple voorbeeld om deze stelling onder uit te halen, er zijn natuurlijk veel meer voorbeelden van criminelen die goed geld zouden kunnen verdienen in een legaal circuit, met andere woorden geld is niet de enige motivator voor iemand om zich crimineel te gedragen.

[PageFault]

China heeft bakken vol geld, die gaat niet stoppen met de ontwikkeling van AI...

[xzaz]

China komt altijd boven in dit soort discussies maar wat heeft China nou naast plannen?

[BadRespawn]

[...]

> al dan niet door de criminelen zelf.

Dat is vrijwel uitgesloten.

Hardcore AI development ...

Het grote geld zit 'm niet zozeer in ontwikkeling maar vooral in toepassing van AI.

[Tripledad65]

Toen ik jong was, zei mijn vader al: "Je moet niet alles geloven wat in de krant staan".
Kritisch zijn op bronnen was toen, en is nu nodig. Het gaat wel allemaal steeds sneller, maar dat drukt ook de mensen meer met de neus op de feiten. Net zoals inmiddels iedereen wel weet dat je fotos niet zomaar moet vertrouwen ('zeker gefotoshopt") gaat dat nu hopelijk ook in het collectieve bewustzijn zitten voor tekst, bewegend beeld en geluid.
Dat gaat niet vanzelf natuurlijk, dus ik wil het issue zeker niet bagatelliseren.

[divvid]

Precies dit: in mijn geschiedenis boek op de middelbare school werd al een gemanipuleerde foto van Trotski op de korrel genomen. We hebben het dan over het commodore64 tijdperk…

[Reactie gewijzigd door divvid op 23 juli 2024 08:00]

[Tripledad65]

Die fotomanipulatie is al uit 1967

[divvid]

Precies, nog net niet zo oud als de weg naar Rome….of was het Moskou…zal het ff aan chatGPT4 vragen

[dellai]

In 5 weken tijd is de waarde van ChatGTP met behulp van GPT van $4,3 miljard naar $600,- tot $1000,- gezakt. Ik denk dat geld alleen in dit licht niet de enige motivatie is. De toekomst zal zijn dat je voor een habbekrats je eigen ML interesse gebied kan inrichten. Een soort persoonlijk Google zonder scrollen/klikken/zoeken binnen Google.

[mareck1]

Ik denk dat AI juist ook een manier kan zijn om het post-truth tijdperk, waar we al in beland zijn, uit te komen.

Informatie is met AI nog makkelijker te vinden, en misschien nog belangrijker, ook samen te vatten en begrijpbaar te maken op een niveau en in een taal die voor de zoeker begrijpbaar is.

Vervolgens kan je vragen stellen over de informatie die je hebt gekregen die netjes worden beantwoord. Als je wil met bronnen en links.

[StGermain]

Het blijkt zijn eigen bronnen te verzinnen: https://www.vrt.be/vrtnws/nl/2023/03/24/chatgpt-nepbronnen/

[Hatsjoe]

Lijkt mij dat een groep mensen bang is geld mis te lopen en daarom de concurrentie wilt afremmen.

Die pauze zou 'publiek en verifieerbaar' moeten zijn. "Als zo'n pauze niet snel kan worden opgezet, zou de politiek moeten ingrijpen en een moratorium afdwingen", schrijven de schrijvers.

Dat gaat natuurlijk nooit gebeuren. Geen enkel bedrijf gaat zijn bedrijfsvoering compleet publiekelijk op tafel leggen. Ze kunnen zeggen dat ze er tijdelijk mee stoppen maar ondertussen alsnog doorgaan met het trainen van modellen. Hoe controleer je dat zonder directe toegang tot het hele bedrijf en alle IP?

[Mathijs Kok]

Lijkt mij dat een groep mensen bang is geld mis te lopen en daarom de concurrentie wilt afremmen.

Wel... de groep mensen die niet ontkend hebben getekend te hebben zijn veelal professoren en emritus professoren, niet echt mensen die geld denken mis te lopen.

[Cergorach]

de groep mensen die niet ontkend hebben getekend te hebben zijn veelal professoren en emritus professoren, niet echt mensen die geld denken mis te lopen.

Ja, maar Yuval Noah Harari is een geschiedenis professor (en is Doctor in de filosofie) die toevallig een futuristisch boek heeft geschreven over de toekomstige mens en dat deze de controle verliest over tech. Wellicht dat deze persoon geen AI research heeft wat een inhaal slag moet maken. Maar heeft weldegelijk baat bij deze 'agenda' te promoten, zijn boeken geven immers hetzelfde aan. Je zou dit kunnen zien als een andere invalshoek om hier zwaar geld aan te verdienen (boekenverkoop) dmv. promotie in de media. Dit was ook niet een invalshoek die ik verwachte, ik dacht dat het puur een geschiedenis professor was. Dit is bv. de 3e professor op de lijst.

De eerste professor op de lijst Yoshua Bengio was deel van het event wat de genoemde 'Asilomar AI Principles' uiteen werden gezet. Daar waren meer dan 100 mensen aanwezig, meestal vooraanstaande mensen, het is dus niet vreemd dat een significant aandeel daarvan ook deze petitie ondertekenen. Het is echter frappant dat Yann LeCun er initieel wel onderstond en in een Twitter post aangaf dat hij zichzelf nooit heeft toegevoegd en het ook niet eens is met de stelling, terwijl hij wel in 2017 de 'Asilomar AI Principles' ondertekende. Het lijkt er bijna op alsof Future Life Institute de 2017 lijst heeft gecopypaste zonder dat eerst te checken met de mensen die er op stonden...

Bron:
https://en.wikipedia.org/...Brief_History_of_Tomorrow
https://futureoflife.org/.../yoshua-bengio-interview/
https://futureoflife.org/open-letter/ai-principles/
https://en.wikipedia.org/wiki/Future_of_Life_Institute
https://en.wikipedia.org/...nference_on_Beneficial_AI

[dutchruler]

Ook wel logisch. Kennis is macht en nu word door AI die kennis gebruikgoed.

Iedereen heeft straks de mogelijkheid te leren over van alles wat doe wil in wat voor vorm dan ook. Daar zijn universiteiten natuurlijk niet zo blij mee, want die verliezen zo hun monopolie positie.

[Creesch]

Zo simpel is het niet, zeker niet het opdoen van kennis zelf en het alsnog interpreteren van de kennis die je voorgeschoteld krijgt. Als je argument klopte hadden universiteiten sowieso al niet meer bestaan, want de meeste informatie die ze aanbieden is al publiekelijk beschikbaar.

[dutchruler]

Ik zou zeggen. Probeer ChatGPT 4 en vraag het je een cursus te geven van een bepaald onderwerp.

Dan beschouw dat een paar jaar geleden er nog niks bestond die dit zo kon. Neem ook mee dat het verschil tussen GPT 3.5 en 4 gigantisch is en dat daar maar een half jaar of zo tussen zit. dat GPT 4 ook multimodal is wat betekent dat het plaatjes kan herkennen, beschrijven en genereren.

Kijk ook naar midjourney v5 en naar waar Nvidia mee bezig is.

Ga 3 jaar in de de toekomst en vraag je dan af. Wat hebben universiteiten en het huidige leermodel nu precies te bieden?

Het landschap is gewoon erg aan het veranderen. En dat vinden sommige mensen, instanties en bedrijven niet leuk.
En de verandering gaat drastisch zijn. Daar ben ik wel van overtuigd.

[Creesch]

Ga 3 jaar in de de toekomst en vraag je dan af. Wat hebben universiteiten en het huidige leermodel nu precies te bieden?

Ditzelfde werd ook geroepen over het beschikbaar zijn van informatie op het internet. Ik ontken niet dat de exacte rol die universiteiten spelen zal veranderen. Maar, MLL modellen zoals ChatGPT zullen ook niet alle aspecten vervangen.
Als we er even vanuit gaan dat de ontwikkelingen op dit tempo doorgaan en geen plateau raken.
Tuurlijk, ik kan me een dystopische maatschappij voorstellen waar we alles klakkeloos overnemen van commerciële MLL modellen zonder enige begrip of controle. Maar in een iets meer optimistische toekomst weten we nog steeds de wetenschappelijke methode toe te passen, toetsen we de output van AI daar tegen, etc.
In die laatste maatschappij hebben universiteiten dus wel degelijk nog een rol te vervullen.

En dit is maar een voorbeeld, de wereld is niet zo binair.

[Reactie gewijzigd door Creesch op 23 juli 2024 08:00]

[dutchruler]

Wellicht, maar een groot deel van de taken zullen volgens mij verdwijnen of tenminste radicaal veranderen.

Iedereen heeft straks toegang tot een prive instructeur die kennis heeft over alles.

[dasiro]

Wel... de groep mensen die niet ontkend hebben getekend te hebben zijn veelal professoren en emritus professoren, niet echt mensen die geld denken mis te lopen.

of gewoon van niets weten en hun naam er op is gezet door iemand die dit interessanter wil laten lijken dan wat het uiteindelijk is

[Anoniem: 532949]

Met andere woorden u ziet het nut niet in van AI safety?

Lijkt mij dat een groep mensen bang is geld mis te lopen en daarom de concurrentie wilt afremmen.

Beetje flauw om deze mensen in diskrediet te brengen met dit soort wilde claims terwijl ze zo te zien juist een positieve bijdragen proberen te brengen aan de veiligheid van ons allemaal.

Verder ben ik het volledig met uw standpunt eens, het is niet af te remmen, maar we kunnen wel wat extra in veiligheids onderzoek inversteren

[Hatsjoe]

Met andere woorden u ziet het nut niet in van AI safety?

Nee, dat zeg ik nergens. Ik zie zeker het belang van goede wet en regelgeving maar zolang er geen wereld dekkende wet en regelgeving is, heeft het totaal geen zin om verdere vooruitgang te verbieden. Dat raakt enkel bedrijven en overheden die "braaf" zijn. De rest ontwikkelt voorlijk door en dan heb je ineens een achterstand. Een verbod op doorontwikkeling gaat zijn doel aan voorbij. Daar ben ik op tegen.

Beetje flauw om deze mensen in diskrediet te brengen met dit soort wilde claims terwijl ze zo te zien juist een positieve bijdragen proberen te brengen aan de veiligheid van ons allemaal.

Het is inmiddels gebleken dat prominente handtekeningen niet echt waren. En er spelen altijd veel belangen mee. Tuurlijk wilt iedereen dat we allemaal veilig zijn, maar je kan niet ontkennen dat die dingen roepen voor sommige dan wel heel goed financieel uitkomen. Altijd tussen de regels door lezen en alle belangen proberen te zien.

Verder ben ik het volledig met uw standpunt eens, het is niet af te remmen, maar we kunnen wel wat extra in veiligheids onderzoek inversteren

Helemaal mee eens, en dat kan prima parallel met verdere ontwikkeling.

[PageFault]

En vooral: we kunnen hier en in de VS tijdelijk de ontwikkeling stoppen, maar ik geloof er niks van dat een land als China dat dan ook gaat doen....

[Weicool]

China loopt achter: taalmodellen zijn onvoorspelbaar, je kunt de taalmodellen namelijk zo niet makkelijk verplichten te stoppen hun president te vergelijken met Winnie de Pooh!

[field33P]

Heeft Elon Musk het niet gewoon getekend omdat hij pissig is dat hij de kans heeft laten lopen om zelf OpenAI over te nemen?

[lighting_]

Musk was zelf een van de oprichters. Heeft 100mln gefinancierd. Na een aantal jaar is hij eruit gestapt omdat hij niet eens was met het beleid. Voor hem was de doelstelling OpenAI zonder winstoogmerk. Maar juist het tegenovergestelde. Dat is zijn verhaal. OpenAI heeft weer een ander visie op het verhaal.

[field33P]

Het verhaal wat hij nu vertelt is achteraf. Het werkelijke verhaal is toch wat sappiger https://www.semafor.com/a...usk-sam-altman-and-openai

[lighting_]

Het is niet zo dat ik Musk verhaal voor waarheid aanneem maar artikelen zijn ook niet altijd 100% correct. Indien het klopt dat Musk een eigen AI team wilt opstellen suggereert dat het succes van OpenAI hem wel steekt.

[Reactie gewijzigd door lighting_ op 23 juli 2024 08:00]

[rajackar]

Het klinkt leuk naar als dit daadwerkelijk zou gebeuren betekent dat alleen "nette" landen en bedrijven zich hier aan houden en we dus bijvoorbeeld China de kans geven om een voorsprong te halen.
Ik weet niet of dat nou echt verstandig is.

[Reactie gewijzigd door rajackar op 23 juli 2024 08:00]

[amigob2]

Zelfs als de US het ondertekent gaan ze gewoon door

[gepebril]

Zo was Zuckerberg ook altijd eerlijk....

[vdws]

Ik denk ook niet dat de AI ontwikkeling tijdelijk "stopzetten" de oplossing zal zijn. Maar dat zal ook niet de intentie van deze brief zijn vermoed ik. De aandacht voor AI die deze brief veroorzaakt zal AI (prominenter) op de politieke agenda zetten. En dat is nodig. Want wetgeving zal er moeten komen met betrekking tot AI. Bedrijven dit soort zaken zelf laten regulieren gaat nooit werken. Denk nog maar even terug aan de bankencrisis en de zelfregulering die daar aan voorafging ingezet door ondermeer Bill Clinton.

[Tripledad65]

Ik denk niet dat de ontwikkeling gestopt kan worden (los van de vraag of je dat moet willen). De aantrekkelijkheid is té groot, voor bedrijven en landen. Releases tijdelijk stoppen is wel mogelijk denk ik, en dat geeft overheden dan de kans om regelgeving te ontwikkelen.

[TheekAzzaBreek]

Maar stopzetting van de ontwikkeling is ook niet het punt, pauzeren van de uitrol, daar gaat het om.

Er wordt nu potentieel ontwrichtende technologie vrijwel rechtstreeks vanuit het lab de samenleving ingeflikkerd, zonder dat we hebben nagedacht of daar misschien grenzen of kwaliteitseisen aan gesteld moeten worden. Even de tijd nemen om dat te doen lijkt me wel geboden, en dat gaat vast meer dan een half jaar duren.

[scsirob]

De ratio achter deze oproep is terecht, maar naïef. Wat officiëel op pauze gezet wordt, gaat ondertussen in sneltreinvaart door, met het idee dat zo'n pauze een uitgelezen kans is om een voorsprong op de competitie te krijgen.

[synoniem]

Ik kan me niet voorstellen dat als de ondertekenaars daadwerkelijk in het veld AI werkzaam zijn (ondertekenaars worden kennelijk niet geverifieerd) dat zij dit soort vraagstukken al niet eerder beschouwd hebben. Het is niet dat GPT-4 uit de lucht komt vallen we weten al een poosje dat dit er aan zat te komen en ook welke problemen en gevaren daar mee gepaard gaan. Nu oproepen tot een moratorium gaat niet meer helpen, de geest is al uit de fles. Die krijg je er niet meer in terug.

[WCas]

Zeker hebben we dat soort vraagstukken al wel eerder beschouwd - dit is ook niet de eerste waarschuwing om voorzichtiger met AI om te gaan. Echter was de huidige stroomversnelling rondom publiekelijk toegankelijke, krachtige AI niet per se te voorspellen. Ik, en met mij wellicht anderen, heb misschien verkeerd ingeschat hoe zwaar de economische aspecten van deze producten voor de algemene markt wegen voor de commerciële partijen die ze op het moment uitrollen. Deze partijen nemen grote maatschappelijke risico's voor een groter getalletje onder de streep van hun budgetten. Dan lijkt mij een moratorium een prima eerste stap om wetgeving en de maatschappij wat tijd te geven om bij te komen en deze stroomversnelling in goede banen te leiden.

[Niet Henk]

Wat een rare brief.

"Krachtiger dan GPT-4" is super arbitrair. Hoe meet je "kracht" (zeker bij een model in training wat dus per definitie niet af is, in vergelijking met een proprietair model), en hoe vergelijk je andere AI dan taalmodellen met GPT-4?
De pauze moet "publiek en verifieerbaar" zijn, maar ontwikkeling van deze modellen is op dit moment geheel niet publiek, dus hoe kan een pauze dit dan zijn?
De pauze moet leiden tot een consensus in veiligheidsmaatregelen en een onafhankelijke toetsingsinstantie, maar als deze niet door een wetgever bekrachtigd wordt, wat is dan de waarde van deze toetsingsinstantie?

Als commercieel bedrijf dat enkel AI ontwikkelt is vrijwillig een 6 maanden pauze ook geheel onhaalbaar (tijdelijk je werknemers ontslaan? Of iets anders laten doen? Tegen je aandeelhouders vertellen "we doen gewoon even 6 maanden niks met je investering?")

Klinkt heel erg als "we vinden dat het hard gaat maar hebben er verder niet heel goed over nagedacht". Omdat AI en de ontwikkeling daarvan bij commerciële bedrijven ligt, moet elke ingreep door een instantie met tanden zijn. De aandeelhouders hebben namelijk ook tanden, dus je kan niet verwachten dat bedrijven uit de goedheid van hun hart commercieel slechte stappen nemen.