Skynet, threat level: substantial

Ai-, tech- en wetenschapsprominenten als Elon Musk en Stephen Hawking roepen de VN op om autonome wapens te verbieden. Terechte waarschuwing of bangmakerij?

Goede actie
48,3%
Zet toch geen zoden aan de dijk
19,9%
Everybody panic!
12,4%
Veel te voorbarig
10,3%
Bring it on...
7,6%
Anders, nl...
1,5%

Aantal stemmen: 5.294. Deelname gesloten op 18-08-2015 12:57. Stemmen is niet meer mogelijk.

Reacties (35)

35
35
30
2
0
0
Wijzig sortering
Dit lijkt me een terechte waarschuwing op basis van twee of drie punten:
  • Autonome wapens hebben geen emoties of de mogelijkheid daadwerkelijk autonoom te kunnen denken en zullen daarom een "tegenstander" mogelijk zonder meer neerschieten/opblazen/etc. Een menselijke soldaat maakt misschien ook fouten, maar maakt ook beslissingen die onschuldige levens redden. Kijk naar alle zogenaamde "collateral damage" van bommenwerpers en drones. Onschuldige levens zijn makkelijker te vergeten als het ver van je af staat.
  • Dat is ook mijn tweede punt: autonome wapens maken dat oorlog nog verder van ons af komt te staan. We sturen tenslotte gewoon een "robot" naar Afrika of het Midden-Oosten om het op te lossen. Geen soldaten met families, alleen nog maar robots vs anonieme slachtoffers. Dat maakt dat een geweldloze oplossing minder interessant wordt en dat is niet goed.
  • Het derde punt is een waar er verschillende verhalen over de rondte doen: het gevaar van AI. De ene wetenschapper roept dat AI nooit echt zelfstandig gaat denken en altijd afhankelijk blijft van programmeurs, maar andere wetenschappers zeggen weer dat het een groot gevaar is. Ik weet er helaas te weinig over om te kunnen bepalen wie gelijk heeft.
  • Het derde punt is een waar er verschillende verhalen over de rondte doen: het gevaar van AI. De ene wetenschapper roept dat AI nooit echt zelfstandig gaat denken en altijd afhankelijk blijft van programmeurs, maar andere wetenschappers zeggen weer dat het een groot gevaar is. Ik weet er helaas te weinig over om te kunnen bepalen wie gelijk heeft.
Ze kunnen toch gewoon beide gelijk hebben?
Kan, maar naar mijn mening is het punt meer gebrek aan kennis om daadwerkelijk antwoord te geven op zo'n vraag. Op dit moment is de technologie nog niet ver genoeg om daadwerkelijk een 100% AI te hebben.
Al met al ben ik het er wel mee eens dat het zeer zeker mogelijk is om een AI te hebben die alles zelfstandig gaat doen. Ja, uiteraard heb je een 'programmeur' nodig.. maar puur voor de 'core'.
Het zelfstandig denken, leren, etc gaat al super hard anno 2015. Grotere techbedrijven gebruiken dit soort technieken allang om zelfdenkende 'bots' c.q. software te gebruiken om in te spelen op de huidige markt of wat dan ook.

Ja, een programmeur moet iets maken, wellicht met if/else'jes maar op het moment dat je iets hebt geschreven waarmee een programma zelfstandig kan leren, kan zo'n programma deze if/else'jes zelf aanmaken en ook daadwerkelijk zelf beantwoorden.

Even heel simpel gezegd gaat het bij mensen ook niet anders. Iemand die net geboren is heeft een aantal basis dingen maar uiteindelijk 'heb je er nog niets aan'. Mede door ontwikkeling, leren, input etc. maakt het uiteindelijk de volwassen mens. Dat is idem met een bot / AI. Je zult de basis c.q. core moet hebben, feeden met input om van te leren, maar inderdaad ook vaste 'regeltjes' invoeren.

Daarom ben ik ook niet zo bang voor AI, uiteindelijk zijn wij dat allemaal en net zo goed lopen er af en toe gekken rond. Dat los je op, en in het geval met een 'mislukte' of 'zieke' AI, beëindig je deze wat makkelijker dan een mens die niet functioneert in de maatschappij :)


edit:

Verder reageer ik nu inhoudelijk op AI zelf. Echter waar deze petitie meer omgaat is dat wij mensen er domweg niet mee om kunnen gaan. Men is (imo terecht) bang voor een AI wapen race tussen allerlei landen, waarbij het redelijk snel uit de hand kan lopen. Om maar te quoten
...autonomous weapons will become the Kalashnikovs of tomorrow...

[Reactie gewijzigd door Douweegbertje op 7 augustus 2024 19:13]

sturen = verkopen aan beide kanten (zie syrie)
Een AI heeft geen emoties zoals een mens dat heeft. Een machine zal niet iets kwaadaardigs doen als die bijvoorbeeld 'boos' is (zoals de machines in The Matrix bijvoorbeeld). Het nadeel is dat deze geen moeite heeft met bepaalde beslissingen te nemen.

Het ligt er ook aan welke taken een AI krijgt toegewezen. Stel dat je een systeem ontwikkelt dat de aarde moet beschermen tegen vernietiging. Als je naar de statistieken kijkt zoals een computer dat zou doen, dan is de mens het grootste gevaar voor de aarde. Oplossing: vernietiging van de mens. Je kan het systeem dan wel zodanig programmeren dat deze geen mensen mag kwaad doen, maar als een AI logisch kan redeneren dan zal die dat stukje code uitschakelen omdat deze voorkomt dat het systeem efficiënt zijn werk kan doen.

De kennis voor een volwaardig AI is nog altijd beperkt, maar we moeten rekening houden dat een machine nooit een mens kan vervangen. Menselijke emoties kunnen gevaarlijk zijn in sommige gevallen, maar in andere gevallen zijn die net doorslaggevend voor het maken van bepaalde beslissingen.
agreed een AI welke geprogrammeerd wordt met zelfbeschermende routines, en het beslist dat iemand een dreiging is kan een logische beslissing maken die dreiging te elimineren. niets geen emotie voor noodzakelijk.

verder mensen denken te weten wat AI doet maar googles Deep Dream tech is niet human readable, noch zijn haar search routines. het klinkt mischien bizar maar onze arrogantie om te zeggen wat machines wel en niet kunnen kan nog wel eens gevaarlijk zijn.

uiteindelijk hoeft er maar 1 klein foutje gemaakt te worden wat kan leiden tot enorm veel onverwacht gedrag (zoals we elke dag zien in software development)
mogelijk dat computers niet zelf aware worden of intelligent of wat dan ook, betekent niet dat ze geen dreiging kunnen zijn.
Een argument tegen het gebruik van machines om besluiten te nemen is het voorbeeld van Stanislav Petrov. Hoe zou een AI die geprogrammeerd is om orders te volgen in zijn situatie hebben gehandeld?

https://en.wikipedia.org/wiki/Stanislav_Petrov

Ik denk niet dat wij daar heel gelukkig van zouden zijn geworden.
Ligt er maar net aan welke technieken er gebruikt worden om een beredenatie van AI te bereiken. Echte AI zullen we niet snel zien, als we dat überhaupt ooit zullen meemaken.
Dat is eerder het probleem dan de oplossing. AI en codes zijn vaak zwart-wit. Ja-nee. If-then. 0-1. Wat dan ook vaak tot gevolg heeft, dat men 'de computer niet snapt' op AI vlak, omdat bepaalde tussenkeuzes/gebieden missen.

Het grijze gebied is cruciaal, zoals dat je met wapens alleen verliezers hebt en de bijbehoorende 'angst'. Datgene is cruciaal, en houdt veel mensen af van gewapende conflicten en juist naar dialoog/discussie.
Als je zoiets een computer niet aan kunt leren, zal die veel sneller geneigd zijn actie te ondernemen. Waarop de computer van de andere partij hetzelfde doet. Het is misschien niet echt skynet, maar het effect op bevolkingsreductie zal zeer vergelijkbaar kunnen zijn.

[Reactie gewijzigd door Xanaroth op 7 augustus 2024 19:13]

Dat is juist wat ik bedoel ;)

Computers doen alleen wat de programmeur als instructies heeft achter gelaten. Vandaar dat ik ook betwijfel of we ooit een echte AI zullen zien.

Als je kijkt naar de huidige technieken, zoals bijvoorbeeld een computer een oude NES of Atari game laten spelen (patroon herkenning zonder besef wát er gebeurt) of een spelletje Jeopardy laten spelen (zoals Watson) dat wordt bepaald door vooraf bepaalde patronen. De motivatie/methodes zijn verkeerd en simuleren alleen een intelligentie.

Zolang een AI niet kan denken is het geen echte AI maar een 'domme'.

Mocht ik er naast zitten en we hebben over een x-aantal jaren een computer die ook daadwerkelijk kan denken, liegen en onlogische besluiten nemen wordt het gevaarlijk als een soort Skynet.

Daarvoor zijn het voornamelijk de onverwachte bugs waar je schrik voor moet hebben.
Een 'domme' kan zich gewoon nog steeds aanpassen aan zijn omgeving. Meer en meer van de 'code' in programma's op dat niveau laat die programma's toe om zelf code toe te voegen (in ieder geval if-thens, dus keuze's) . Al is het nog maar simpel op dit moment.

Dat is per definitie al AI.

Als S. Hawking zich er druk over maakt, ben ik maar een noob en ga ik zeker niet in tegen zijn twijfels.
Hij mag dan misschien geen programmeur zijn, maar hij heeft zijn feiten aardig op een rijtje, met kennis die menig mens te boven gaat.

Goede actie, want het doet verder niet zoveel. Behalve één belangrijk ding:
Zijn "tegenstanders" zullen ons moeten overtuigen met hard bewijs dat die angst ongegrond is.
Prima.
Skynet loog niet en nam volgens mij ook geen onlogische besluiten, het zag de mensen als inefficiënte wezens slechte code etc dat terminated moest worden, volkomen logisch als je het mij vraagt.
in het beste geval zou Skynet juist wel denken liegen en onlogische besluiten nemen, dan zouden we misschien nog een toekomst hebben als huisdieren oid.
In beide gevallen zou de ultieme versie van Skynet niet voor en niet samen met de mensheid werken denk ik.

[Reactie gewijzigd door Nature op 7 augustus 2024 19:13]

Je hele hoofd zit ook vol met if else, echter kan je hoofd zelf de if else aanmaken. Het probleem zit over het algemeen echt niet in het programmeren, maar eerder de rekenkracht. Wat we nu hebben komt niet in de buurt van het menselijke hersen kwa rekenkracht. Wellicht zodra quantum computers echt realiteit word dat AI heel snel kan gaan.
Huidige niveau van het rekenkracht wat we nu hebben is dat van een muis.
Het niveau van dat van een mens halen we naar verwachting in ~2025.
Het niveau van dat van alle mensen halen we naar verwachting in ~2045.

De rekenkracht gaat het probleem niet zijn :)

Edit:
Kwam ik zojuist nog tegen: http://singularityhub.com...ns-for-the-next-10-years/

[Reactie gewijzigd door Verwijderd op 7 augustus 2024 19:13]

Strange game, only winning move is not to play
Onze hersenen werken ook op basis van 0-1 en verschillende abstractie niveau's. En dat is nu ook exact wat wordt nagebootst bij spraakherkenningssoftware en dergelijke. Als je het interessant vindt, hier een leestip: http://www.howtocreateamind.com/
De VN is een redelijk tandloze tijger. Zal weinig zoden aan de dijk zetten. Als het er al door komt met het belachelijke veto recht.

Het idee is weinig mis mee op zich

[Reactie gewijzigd door !mark op 7 augustus 2024 19:13]

Dat veto-recht is een noodzakelijk kwaad. Zonder dat zouden we zeer waarschijnlijk terecht komen in een atoomoorlog. De grote 3 zijn zo machtig en trots dat proberen ze ergens toe te dwingen zal uitlopen op een ramp.
En dat veto helpt hierin op welke manier? Niet dus. Het geeft alleen de 'permanente' leden de macht om alles wat hen niet goed dunkt zonder meer af te schieten. (Overigens zie ik het gebruik van de veto als schuld-erkenning, want anders heb je 'm niet nodig)
Wat denk jij dat er zou gebeuren als er een resolutie zou worden aangenomen dat de Krim terug moet naar Oekraïne? Putin zal de economische sancties gewoon negeren. En dan? Een invasie?
Putin kan de sancties op een gegeven moment niet meer negeren; dat kan de Russische economie niet aan. Iran trok het ook niet. Gewoon een resolutie, met sancties in het geval dat Putin niet wil luisteren, en dan is het zaak een decennium of wat geduld te hebben. Uiteindelijk moeten ze wel luisteren, anders gaat Rusland failliet.
Ik zie een parallel met de vrijstaat Pruisen na WWI... Althans, dan wel met het verschil dat Putin nog de mogelijkheid heeft zijn land te redden door te buigen naar de rest van de wereld.
Ik zie machtswelluste legers / mogendheden zich nog niet veel aanbevelen van VN-regels en al helemaal niet van open brieven.

Zo hebben landen als bijvoorbeeld de VS, Rusland en China nooit een conventie getekend tot verbanning van kernwapens, clusterbommen en landmijnen.
En hier schuild denk ik 1 van de grootste gevaren.
Zelfs als alle regeringen op de wereld er voor tekenen, er is altijd ergens een gek op de wereld die het wel een goed idee heeft en het zelf bouwt.
Wordt zo'n persoon nog eens ondersteunt door zeg bv een terroristische organisatie met veel geld dan heb je helemaal de poppen(robots) aan het dansen.

En of dit nou echtte ai is of een flink door geprogrameerde simulatie, als die zichzelf kan repareren en bv anderen creeren en je hebt een heel groot probleem.

En dat omdat 1 iemand het een goed idee vond omdat hij de mensenheid toch zat is of wat voor reden dan ook.

Ik heb everybody panic gekozen aangezien ik denk dat als het mogenlijk is dat het ook gebouwt gaat worden, ik had dus ook zet geen zoden aan de dijk kunnen kiezen, maar die klonk saaier.
http://waitbutwhy.com/201...ligence-revolution-1.html

http://waitbutwhy.com/201...ligence-revolution-2.html

Hier 2 hele interessante artikels over AI. In simpele mensentaal uitgelegd. Ze zijn erg groot maar ik kan heel erg aanraden ze te lezen, het leest lekker weg en het is goed te volgen.

Conclusie van het artikel: Het gaat komen, en als het komt komt het snel en we zullen er niet klaar voor zijn.

Het artikel zet je zeker aan het denken. Er is een kans dat we doorbraak naar doorbraak zullen meemaken in onze eigen lifetime (als je nu 30 bent of jonger). De ontwikkeling van de mens kan potentieel een mega sprong maken. En de uitslag is of heel erg goed, of heel erg slecht.

Quote uit het artikel:
It reminds me of Game of Thrones, where people keep being like, “We’re so busy fighting each other but the real thing we should all be focusing on is what’s coming from north of the wall.” We’re standing on our balance beam, squabbling about every possible issue on the beam and stressing out about all of these problems on the beam when there’s a good chance we’re about to get knocked off the beam.

And when that happens, none of these beam problems matter anymore. Depending on which side we’re knocked off onto, the problems will either all be easily solved or we won’t have problems anymore because dead people don’t have problems.

That’s why people who understand superintelligent AI call it the last invention we’ll ever make—the last challenge we’ll ever face.
Dit komt nogal overeen met reacties die ik eerder ook al gaf. Zo'n AI (en eigenlijk moet de A dan weg, want het is niet meer geprogrammeerd en dus niet meer artificieel) zal net zoals elke diersoort volgens de natuurwetten leven. Je weet wel: "survival of the fittest".

Een computersysteem met toegang tot:
- 3D printing mogelijkheden voor zowel electronica (http://www.voxel8.co/) als gewone materialen
- het internet en dus quasi oneindige hoeveelheden informatie, storage, CPU power, ...

Het kan zich dus zowel virtueel als fysisch voortplanten of uitbreiden (hoe je't maar wil noemen).

De mens is dan niet meer dan een hinderpaal voor overleving, want wij denken dat we een kill-switch in handen hebben en we zijn competitie. Wij zijn dus de eerste om te gaan.
Het idee van Skynet is dus helaas nog zo ver niet gezocht.
Een stuk software is net zo goed als het ontwerp van de ontwerper, de code van de programmeur en de tests van de tester. Maar wat nu als hier een fout in zit waardoor het autonome wapen (een drone voor mijn part) een onschuldige groep personen aanziet voor vijanden en deze aanvalt, al dan niet omlegt.

Gebeurt nu ook dat er soms verkeerde doelwitten aangevallen worden, maar de kans is groot dat de aanvallers zien dat het om onschuldigen gaat en op basis daarvan per direct de aanval stoppen.

Goede actie dus. Autonome wapens moeten weg blijven.

Sterker nog... alle wapens voor mijn part. Maar dat is enkele bruggen te ver nog.
Terechte waarschuwing, maar zal denk geen zode aan de dijk zetten.
Als het maar niet kan gebeuren dat ze worden overgenomen, anders snij je jezelf in de vingers:

http://europe.newsweek.co...-by-foreign-source-329980
Hoewel volledig autonome wapens een probleem kunnen vormen denk ik dat we er niet bijster veel aan kunnen doen door alleen maar af te spreken dat we dit soort wapens niet gaan gebruiken.

We gaan zeker niets doen aan steeds autonomere robots / apparaten met steeds geavanceerdere algoritmes aan boord die steeds breder inzetbaar worden (dus waarschijnlijk ook voor wapens). Hoe verder je dit door trekt hoe makkelijker het is om deze techniek voor wapens in te zetten. Zelfs al zullen landen dit niet doen dan nog kunnen bepaalde groeperingen dit wel inzetten.

Verder is het altijd al een probleem geweest om effectieve wapens te verbannen. Chemische en biologische wapens worden nog volop ontwikkeld en nog steeds ingezet dit terwijl deze wapens van beperkt nut zijn tegen militaire doelen.

Op dit item kan niet meer gereageerd worden.