Bestuurders van ai- en roboticabedrijven waarschuwen VN voor autonome wapens

Bestuurders van bedrijven die zich bezighouden met kunstmatige intelligentie en robotica hebben een open brief gestuurd aan de Verenigde Naties. Daarin waarschuwen ze voor de ontwikkeling van autonome wapens en vragen ze om actie.

Onder de ceo's zijn Elon Musk, bekend van Tesla en SpaceX, en Mustafa Suleyman van Googles DeepMind-project dat zich richt op kunstmatige intelligentie. In totaal gaat het om 116 ondertekenaars uit 26 verschillende landen, aldus The Guardian. Ze schrijven in de brief dat ze zich verantwoordelijk voelen en een waarschuwing moeten afgeven, omdat ze technieken ontwikkelen die ook ingezet kunnen worden om autonome wapens te maken.

Met de open brief willen ze 'een wapenwedloop voorkomen, burgers tegen deze technieken beschermen en de destabiliserende effecten van deze technologieën voorkomen'. Autonome wapens dreigen volgens de bestuurders de 'derde revolutie' in oorlogsvoering te worden en kunnen ervoor zorgen dat conflicten sneller en op grotere schaal uitgevochten kunnen worden. Daarom spreken ze van 'de doos van Pandora', die moeilijk te sluiten is als deze eenmaal is geopend.

Volgens de krant heeft de VN recentelijk gestemd om een discussie over het onderwerp te beginnen. Daarom schrijven de ceo's nu de brief waarin ze vragen om autonome wapens op de zwarte lijst van de convention on certain conventional weapons te plaatsen. Daarop staan onder meer chemische wapens genoemd. The Guardian schrijft dat er al bepaalde autonome wapens in gebruik zijn en noemt de Samsung-sentry gun SGR-A1 als voorbeeld.

Het is niet de eerste keer dat de VN een waarschuwing ontvangt over dit onderwerp. In 2015 stelden Human Rights Watch en Harvard Law School een rapport op waarin zij waarschuwden voor zogenaamde killer robots. Ook in 2009 riep een commissie op om het gebruik van militaire robots te beperken.

Reacties (93)

Even advocaat van de duivel spelen hoor!

In de laatste tientallen jaren is het aantal oorlogsdoden significant afgenomen [1]. Waarom? Een van de redenen is waarschijnlijk sterk verbeterende technologie. Even aangenomen dat autonome wapens ons instaat stellen deze lijn verder te volgen, tja, waarom is dit dan zo'n issue? Ik vraag me af of we een autonome wapenwedloop niet meer moeten verwelkomen.

Als autonome wapens tegen andere autonome wapens vechten (want die worden op den duur onherroepelijk beter dan mensen), nou zoek een mooie zandbak en ga lekker je gang toch? Misschien verdwijnt de hele noodzaak tot oorlog dan wel. Een soort Mutual assured destruction v2.0. [2].

Een ander voordeel is de technologische spin-off. Als er autonoom oorlog gevoerd kan worden, dan maakt dat een hele rits andere zaken ook mogelijk. En dat gaat een stuk sneller als de overheden van o.a. de superpowers volop investeren in deze sector.

[1] https://ourworldindata.org/war-and-peace/
[2] https://en.wikipedia.org/wiki/Mutual_assured_destruction

Jij schetst wel een utopisch beeld, waarin machthebbers hun autonome wapens inzetten om andere autonome wapens te verslaan, alsof een oorlog verwordt tot een soort Robotwars waarbij de wetten van de robotica in acht worden gehouden. Als dat zou werken, waarom kunnen we oorlogen dan niet gewoon oplossen door 's lands schaakkampioen in te zetten tegen die van andere naties? Omdat op een dag iemand er achter komt dat als je de beste schaker van de tegenstander doodschiet, je dan een voordeel hebt. Dus op z'n best gaan vechtrobots straks ingezet worden om technologische instituten van de tegenpartij te vernietigen, zodat andere landen geen goede vechtrobots kunnen ontwikkelen en produceren. In het slechtste geval worden er gewoon burgerslachtoffers gemaakt. Duitsland heeft Nederland in 1940 ook niet verovert door het sterkste leger te hebben (dat hadden ze wel), maar door een paar bommen op Rotterdam te gooien. Veel makkelijker.

Dan kunnen ze net zo goed een lanparty houden en Bf1 spelen tegen elkaar degene die wint wint de oorlog?
Is uiteindelijk gewoon hetzelfde.

Volgens mij zijn over dat concept al meerdere SCI FI films gemaakt.

Iets doet me denken aan Rollerblade. Deathrace 2000, ROBOT JOX, recentelijker FP
enz..

[Reactie gewijzigd door killer_mac op 21 augustus 2017 12:53]

Je hebt in principe gelijk, alleen je punt over Rotterdam klopt niet helemaal. Juist doordat ze een beter leger hadden konden ze Rotterdam platgooien. Dat is ze met London niet gelukt.
Je geeft als partij niet perse op als je (robot)leger wordt verslagen, maar door de gevolgen daarvan. Dat is vaak inname van belangrijke gebieden of steden of imminente dreiging om enorme verliezen te gaan maken (Japan.. al zou de atoombom dreiging niet eens doorslaggevend zijn, Nederland).

Rotterdam is platgegooid i.v.m. Een moreel nogal discutabel experiment.. Nl: Hoe word zo'n stad opnieuw opgebouwd als je een x % platgooit.. Niet om een capitulatie te forceren!

Je hebt ook wel gelijk echter echte oorlogen komen amper meer voor. In de huidige tijd is het vooral wat dreiging en hier en daar een radicale groep aanpakken vaak ook nog eens gesteund door het land zelf.

Niets doen is wellicht ook geen optie en in dat opzicht snap ik de gedachten achter de brief wel. Echter de mens en eigenlijk elk leven wezen heeft zich in die paar miljoen jaar altijd weten door ontwikkelen door de "vijand" een stap voor te blijven en het liefst zonder veel risico zo snel mogelijk onder controle te krijgen dan wel uit te schakelen.

Na Hiroshima wist de wereld in ene ook dit nooit meer. Ook al hebben verschillende landen die ... wapens inzetten doet niemand omdat men wel degelijk weet wat de gevolgen zijn.

Afin het blijft een duivels dilemma en mag zeker wel met goede regels omschreven worden wanneer wel en wanneer niet inzetbaar mag zijn.

Om dan maar een spreekwoordelijke knuppel in het hoenderhok te gooien.

Iedereen moet kunnen genieten van voetbal of kunnen demonstreren, (Hoe debiel het onderwerp soms ook mogen zijn naar mijn mening). Echter er zijn demonstranten die demonstreren vergelijken met een vrijbrief om bakstenen naar agenten te gooien.

De mens schiet niet zo zuiver dus kan er weinig tegen gedaan worden. Zo'n AI geval wat de eerste keer op een knie mikt en bij een volgende keer er gelijk een einde aan maakt. Dat kan nog wel eens een gewenste oplossing zijn. Let wel zoals gesteld op basis van haarscherpe definities wanneer wel wanneer niet.

Ik weet misbruik, onwenselijk etc ligt op de loer en het is eigenlijk geen topic om via forums zo te bespreken maar anyway je hebt altijd 2 kanten aan het verhaal.

U gaat compleet voorbij aan het feit dat dergelijke wapens gebruikt kunnen worden om een bevolking volledig te onderdrukken op Orwelliaanse wijze.

Bijvoorbeeld: Er vliegt 24 uur epr dag, 7 dagen per week een drone met een vuurwapen om u heen die alles wat u doet en zegt beoordeeld en volautomatisch de trekker overhaalt als de AI besluit dat uw acties tegen de gangbare ethiek in gaan.

Met de mate van radicalisering van vandaag de dag, zouden criteria zomaar het drinken van alcohol, het eten van een hamburger, te lang douchen, het lezen van een "verkeerd" boek, "verkeerde" krant of "verkeerde" website kunnen worden.

De techniek en AI zijn momenteel gelukkig nog niet zo ver dat dit serieuze mogelijkheden zijn, maar de basis voor de benodigde inhoudsbeoordeling van werken, bestaat al enige tijd in de vorm van advertentienetwerken.

En een VN verbod gaat dat tegenhouden...

Het getuigt van een behoorlijke naiviteit om te denken dat dat soort machthebbers zich iets aantrekken van enige buitenlandse druk. Ik wet niet waarom je over radicalisering begint, en dan alcohol noemt, want dan wijs je naar Islamitisch fundamentalisme. Dat is niet de eerste richting waarin ik zou denken - dat is China. China trekt zich al 50 jaar niets aan van onze ideeen over mensenrechten, en deze petitie zal daar geen verandering in brengen.

Vooropgesteld: U legt mij woorden in de mond die ik niet gesproken heb. Ik verwijs namelijk naar iedere vorm van fundamentalisme. Hieronder kunt u inderdaad Islamitisch extremisme verstaan, maar bijvoorbeeld ook vegetarisch (vlees) en links- en rechtsextremisme (boeken/informatie) en zo voorts. Dit soort wapens kunnen een prachtig middel worden voor ieder regime op basis van een extremistische filosofie om de bevolking te onderdrukken.

In een ander plausibel scenario, zou het zelfs kunnen dat bepaalde bedrijven deze technologie gewoon inkopen om de eigen medewerkers in het gareel te houden. Ik denk hierbij direct aan Afrikaanse mijnen en inderdaad het Chinese Foxconn.

Verder verwart u mogelijk de "Universele Verklaring voor de Rechten van de Mens" (UVRM) van de VN, die wel door China is ondertekend met het "Europees Verdrag voor de Rechten van de Mens" (EVRM). Hoe tegenstrijdig het ook klinkt, China handelt wel momenteel wel in overeenstemming met de UVRM, maar niet in overeenstemming met het EVRM, dat zij tevens niet hebben ondertekend. De UVRM geeft overheden de ruimte bepaalde zaken te beperken indien dit nodig is om de openbare orde te handhaven. Ik kan mij best voorstellen dat er in een land van meer dan een miljard mensen met verscheidene rebellengroeperingen en een historie van onderdrukking die nog vreselijker is dan die van tegenwoordig, het één en ander aan aanpassingen nodig en gerechtvaardigd is.

Ik denk dat machthebbers wel degelijk inzien dat wapens die autonoom handelen, net zo'n groot gevaar kunnen vormen als nucleaire, chemische en/of biologische wapens en ik denk dat zij zich ook zullen realiseren dat zodra de "uit"-knop van bijvoorbeeld een "dronezwerm" onbereikbaar wordt, dit wel eens tot hele nare situaties kan leiden. Via deze weg is het niet alleen buitenlandse druk, maar ook een vorm van zelfbehoud geworden en daar zijn de leiders meestal wel gevoelig voor.

U kunt mij naïef noemen, maar in de dagelijkse praktijk trekken veel machthebbers zich wel degelijk iets aan van VN-verdragen en tot op de dag van vandaag hebben dergelijke verdragen een behoorlijke rem gezet op allerlei nieuwe militaire ontwikkelingen.
Ik weet dat dergelijke technologie er op een bepaald moment "toch wel" komt en dat zodra deze technologie er eenmaal is, er weer een aantal grote oorlogen gevochten zullen gaan worden. Desondanks vind ik ieder decennium dat wij dergelijke onvermijdelijke conflicten naar achteren kunnen duwen volledig de moeite waard.

[Reactie gewijzigd door vliegendekat op 26 augustus 2017 12:10]

Autonome wapens zorgen ervoor dat de landen die ze kunnen ontwikkellen minder soldaten op de frontlinie moeten hebben. Hierdoor is er minder weerstand om ten oorlog te trekken want minder risico op slachtoffers. We kunnen daardoor een stijging in het aantal militaire conflicten zien alsook een nieuwe wapenwedloop tussen verschillende landen.

Maar wat erger, en belangrijker is: een machine dood koelbloedig en berekend. Wanneer het denkt dat het een vijand ziet zal het vuren. Ook al is die vijand een kind met een speelgoedgeweer. Het verschil tussen een vijand en een onschuldige kan soms zeer sumier zijn en hoewel onze emoties er soms voor zorgen dat een vijand zijn gang kan gaan moet je je afvragen wat je liever hebt: een machine die koelbloedig iedereen kan vermoorden, of een mens die nog nadenkt en verantwoordelijk gesteld kan worden voor zijn/haar daden.

En dan moeten we ook nog eens verder kijken dan wat we vandaag kunnen. Herinner je je nog dat FB experiment van enkele weken terug met AI waarbij het experiment gestopt werd omdat de 2 machines een eigen taal begonnen te ontwikkellen? Wat als we machines hun gang laten gaan en zij beslissen autonoom dat het beter is dat ze ons militair kunnen domineren? Willen we fictie (bijv. Terminater, The Matrix of I, Robot) werkelijkheid zien worden?

De Samsung SGR-A1, benoemd in het artikel, kan zonder menselijke interventie beslissen om een dodelijk wapen in te zetten. Je zal maar net als Noord Koreaanse overloper door een gebied proberen over te lopen dat bewaakt wordt door zo een toestel ...

Maar wat erger, en belangrijker is: een machine dood koelbloedig en berekend. Wanneer het denkt dat het een vijand ziet zal het vuren. Ook al is die vijand een kind met een speelgoedgeweer.

Ik ben ervan overtuigd dat een machine dat beter zal kunnen inschatten dan een gestresseerde frontsoldaat die al 6 maanden niet meer fatsoenlijk geslapen heeft en die er bij de minste verkeerde beslissing zelf het leven aan inschiet.

Herinner je je nog dat FB experiment van enkele weken terug met AI waarbij het experiment gestopt werd omdat de 2 machines een eigen taal begonnen te ontwikkellen?

Dat verhaal klopte langs geen kanten. Die taal was gewoon pure nonsens, er was geen enkele aanwijzing dat die dingen zelf verstonden wat ze uitkraamden.

Want detectie vandaag gaat oh zo geweldig en computers maken natuurlijk geen fouten. En dan wordt de belangrijkste vraag: Als een robot onschuldige burgers dood, wie is er verantwoordelijk?

En wat die onverstaanbare taal betreft: Waarom zou zich dat niet in iets zinnigs kunnen ontwikkelen? Het is niet omdat wij er niets in zien dat de computers er niets in zien.

Want detectie vandaag gaat oh zo geweldig en computers maken natuurlijk geen fouten.

Ik ben benieuwd naar je standpunt over autonome auto's.

En dan wordt de belangrijkste vraag: Als een robot onschuldige burgers dood, wie is er verantwoordelijk?

De eigenaar van die robot uiteraard.

Ik denk dat de autonome autos van vandaag mijn standpunt versterken. Er zijn nog geen autos die volwaardig autonoom kunnen rijden en de commercieel verkrijgbare implementaties zijn enkel geschikt voor de snelweg.

En waarom is de eigenaar van de robot verantwoordelijk? Die heeft helemaal het bevel niet gegeven. Die vertrouwd erop dat dat ding goed werkt. Dan gaat die weer de fabrikant aanklagen die op zijn beurt de onderaannemer gaat aanklagen die gaat beweren dat de systemen daar niet voor ontworpen zijn.

Je spreekt in elke reactie over "vandaag", daar gaat het helemaal niet over.

De eigenaar is verantwoordelijk. Als jouw hond een kind aanvalt ben je ook verantwoordelijk. Als er een verborgen defect aan de hond is dan kun je de schade mogelijks verhalen op de fokker ervan.

Vergelijking gaat mank, als eigenaar train je de hond. Blokker_1999 stipt goede punten aan.
Het is lastig om te bepalen wie op dat moment verantwoordelijk is; de eigenaar vanwege het inzetten van de robot? Of toch de producent vanwege het ontbreken van veiligheidsmechanismes?

Oorlogsrobots handelen in strijd met Asimovs wetten der robotica. Dit soort robots gaat op een gegeven moment misbruikt worden, net als auto's misbruikt worden door terroristen of chemische wapens door een dictator. Veiligheidsmechanismes zullen dan worden omzeilt.

Stel je voor wat een ravage een gevechtsrobot in een winkelcentrum, popconcert of voetbalstadion kan aanrichten.

Bijkomende ontwikkeling is die van de AI, zodra er werkelijk bewustzijn is, kun je dan nog van een robot spreken? Waar ligt de verantwoordelijkheid dan?

Inderdaad.

Stel je voor wat een ravage een gevechtsrobot in een winkelcentrum, popconcert of voetbalstadion kan aanrichten.

Bijkomende ontwikkeling is die van de AI, zodra er werkelijk bewustzijn is, kun je dan nog van een robot spreken? Waar ligt de verantwoordelijkheid dan?

Dit dus... maar we praten in het bovenstaande artikel nog over een vrij dom statisch machinegeweer met wat sensoren en dergelijke..
Wat als die dingen straks mobiel zijn... met benen of wielen of tracks etc. ..
Het gaat hier om de combinaties van technieken die we reeds zijn. .
We hebben al deels autonome voertuigen... combineer een gehackte tesla met zo'n Samsung gun...
Omzeil wat beveiligingen en je hebt al een potentiële ramp..
Gooi hier een goede sterke en snelle kunstmatige intelligentie in zonder de basis wetten en je hebt een klopjacht op een moorddadige robot.
Drop eens een paar van die wagens uit een vliegtuig in de buitenwijken van een stad en juist. .
Dat is waar het om gaat... Dit is zeer gevaarlijk en smerig oorlog voeren. .
Stel je zou zo'n ding willen uitschakelen.. en dat ding is het daar niet mee eens..
Je kan wel een projectiel lanceren... maar die kunnen zij sneller berekend ontwijken dan dat ze aankomen..
Tegelijkertijd weet zo'n ding ook al waarvandaan deze is afgevuurd en heeft het eerste salvo al tussen jouw ogen teruggevoerd.
Die computers rekenen echt idioot snel en veel.
Dit is zeer zeker wel iets om te voorkomen want het gaat anders gebeuren.
En denk nou niet dat kwaadwillende partijen hier geen kennis van hebben. Dit is slechts een kwestie van tijd..

En dan heb je het alleen nog maar over het doelbewust misbruiken van de techniek. .
Laat staan landen die elkaar te lijf gaan met autonome mobiele wapens.
Sky net is niet langer een Holywood fantasie..

Of kijk die aflevering van star trek voyager waarbij belana Torres die autonome nuclear-powered missle probeert uit te schakelen .. Terwijl ze zelf de maker van de aanpassingen was accepteerde die ai haar niet als autoriteit en probeerde haar uit te schakelen.

Het is echt wel een goed iets dat er nogmaals een roep uitgaat om dit te voorkomen voordat we achteraf moeten gaan bedenken welke regels er voor moeten komen

Vergelijking gaat mank, als eigenaar train je de hond.

Dat doet niet terzake. De eigenaar zet zijn killerrobot in.
Als de eigenaar zijn killerrobot in de schuur zet en iemand steelt hem om hem los te laten in de plaatselijke zoo is de eigenaar mede aansprakelijk.

Het is lastig om te bepalen wie op dat moment verantwoordelijk is; de eigenaar vanwege het inzetten van de robot? Of toch de producent vanwege het ontbreken van veiligheidsmechanismes?

zie mijn eerdere reactie: de eigenaar is verantwoordelijk. De producent (alsof dat niet onrechtstreeks hetzelfde leger is trouwens) kan de schade moeten vergoeden als de eigenaar kan aantonen dat de schuld bij hem ligt.

Oorlogsrobots handelen in strijd met Asimovs wetten der robotica

Je weet dat die "wetten" van de hand van een schrijver van fictieverhalen komen?

[...]

Dat doet niet terzake. De eigenaar zet zijn killerrobot in.
Als de eigenaar zijn killerrobot in de schuur zet en iemand steelt hem om hem los te laten in de plaatselijke zoo is de eigenaar mede aansprakelijk.


[...]

zie mijn eerdere reactie: de eigenaar is verantwoordelijk. De producent (alsof dat niet onrechtstreeks hetzelfde leger is trouwens) kan de schade moeten vergoeden als de eigenaar kan aantonen dat de schuld bij hem ligt.

[...]

Je weet dat die "wetten" van de hand van een schrijver van fictieverhalen komen?

Ja, ik heb ook de meeste boeken van Asimov gelezen (Foundation-reeks was geweldig). Het was om aan te geven dat er in de jaren 50 beter werd nagedacht over de consequenties dan nu. Bovendien werden deze wetten lange tijd als standaard geaccepteerd (bij een opleiding in het programmeren van PLC's werd het mij zelfs benadrukt vanwege de veiligheidsaspecten).

De verantwoordelijkheid ligt in dit soort situaties (gevechtrobot) niet vast, simpelweg omdat er nog geen specifieke wetten of jurispredentie zijn. Het gaat niet over een brandwondje, maar om het ontnemen van mensenlevens door inzet van intelligente techniek. Het is jouw mening dat de verantwoordelijkheid bij de eigenaar ligt, maar dat maakt het nog geen feit. Ik schat zo in dat je geen rechter of jurist bent.

En wat als deze robot gehacked worden?
Want reken maar dat dat zal gebeuren als ze "voor het gemak" aan internet worden gehangen voor wat updates enzo.
En wie gaat er beslissen welke regel wanneer wordt toegepast? Om dat in autoprespectief te plaatsen; als de auto doorrijdt rijdt hij over een kind heen, als hij uitwijkt rijdt hij een persoon van 75 over. Is het beginnende leven meer waard dan een geleefd leven? Wat moet een auto dan doen? En wie zegt de auto dmv regels welke het zal worden?

En wat als deze robot gehacked worden?

Als dat zou gebeuren bij deze niet-bestaande robot en er vallen doden is de schuldige de hacker, de fabrikant kan mogelijks mede aansprakelijk worden gesteld omwille van slechte beveiliging.

En wie gaat er beslissen welke regel wanneer wordt toegepast?

daar hebben we rechters voor

Om dat in autoprespectief te plaatsen; als de auto doorrijdt rijdt hij over een kind heen, als hij uitwijkt rijdt hij een persoon van 75 over. Is het beginnende leven meer waard dan een geleefd leven? Wat moet een auto dan doen? En wie zegt de auto dmv regels welke het zal worden?

Ik zie het verband niet met waar het over ging, maar dit is een vals dilemma (ongetwijfeld geïnspireerd door die online quiz van enkele maanden geleden).
De meesten remmen gewoon. Andere mogelijkheden zijn uitwijken naar een andere kant, tegen een muur of paal rijden, handrem optrekken en slippen, ... (waarmee ik niet gezegd heb dat dit betere alternatieven zijn)

Ik denk niet dat dit soort dingen 'zomaar' aan het internet gehangen wordt.

De auto rekent uit wat de maximale veilige snelheid is. I.t.t. een mens zou deze zich wel aan de 30km/u snelheidslimiet houden. Dan is er weinig uitwijken, maar 'gewoon' binnen 0,1sec (mens 0,5s) remmen. Het is zelfs al mogelijk om door auto's heen te scannen (voor voetgangers/fietsers die tussen auto's door komen) waardoor evt gevaar eerder herkend wordt.

Je spreekt in elke reactie over "vandaag", daar gaat het helemaal niet over.

De eigenaar is verantwoordelijk. Als jouw hond een kind aanvalt ben je ook verantwoordelijk. Als er een verborgen defect aan de hond is dan kun je de schade mogelijks verhalen op de fokker ervan.

Dat is jouw interpretatie. Dit is technologie. Geen hond of een kind waar letterlijk wetten over bestaan.

Het feit is dat niemand het weet. Alle technologie is nieuw en buiten de scope van 99% van alle mensen op aarde.

Als een robot onschuldige burgers dood, wie is er verantwoordelijk?

Inderdaad, stel ze kopiëren een stuk code wat jij doodleuk op Github (of twitter: e.g. WannaCry killswitch) heb gezet. En ze plakken het in hun AI-moordmachine...ben jij dan verantwoordelijk?

[Reactie gewijzigd door GenomDalar1983 op 21 augustus 2017 12:10]

Ik snap je punt, maar het is niet de computer die de fout maakt, maar de programmeur die de computer geprogrammeerd heeft, heeft een fout gemaakt in de software.

Wie de verantwoordelijke is, is op zich wel een interessante discussie.
In mijn ogen is de programmeur deels verantwoordelijk, maar ook diegene die het wapen inzet.
Degene die het wapen inzet heeft dat ding in een dusdanige situatie geplaatst dat die een autonome beslissing moest maken en omdat de programmeur een fout heeft gemaakt is de uitkomst van die beslissing niet direct hetgene dat we graag zouden willen zien.

Aan de andere kant, de ouders van het kind hebben ook een verantwoordelijkheid, wie in z'n volle verstand laat een klein kind met een speelgoed wapen spelen in oorlogsgebied?

Dat is niet zo'n gekke gedachte hoor. Kinderen imiteren het gedrag van ouderen en maken er een spel van. Het is eenvoudig voor te stellen dat een Palestijns jongetje zijn 'wapen' op een Israelische robot richt. Die kinderen hebben in het algemeen geen telefoon, tablet o.i.d. waarmee ze zich vermaken, die spelen op straat.

Ik heb het niet over het feit of een kind zoiets dergelijks al dan niet zal verzinnen of doen. Ik heb het over het feit dat de ouders (of verzorgers om het iets breder te trekken) zoiets toelaten in oorlogsgebied, gegeven de situatie dat je te maken hebt met mensen en/of AI die op een dergelijk moment een foutieve beslissing kunnen maken.

Ik denk dat in dat soort gebieden de ouders/verzorgers waarschijnlijk andere zaken aan hun hoofd hebben (om aan de basisbehoeftes te komen als voedsel, drinkwater e.d.). Het is vanuit ons Westers perspectief makkelijk praten over (of vinger wijzen) verantwoordelijkheid/schuldvraag.
Zoals je al aangaf 'in volle verstand', het is maar de vraag of je volle verstand functioneert in zo'n situatie.

Even buiten dat,.. 1 foute virus/mallware, and all bets are off

Ik ben ervan overtuigd dat een machine dat beter zal kunnen inschatten dan een gestresseerde frontsoldaat die al 6 maanden niet meer fatsoenlijk geslapen heeft en die er bij de minste verkeerde beslissing zelf het leven aan inschiet.

Afgezien daarvan, bekijk eens naar het lijstje atrocities zoals verkrachtingen, massamoorden e.d. die gepleegd zijn door troepen, zoals de No Gun Ri Massacre (vluchtelingen werden allemaal uitgemoord omdat er infiltranten tussen zouden kunnen zitten) in Korea, in Vietnam (My Lai Massacre en dit zijn dan nog alleen de grootschaliger incidenten.

edit: Nog een voorbeeld: https://en.wikipedia.org/wiki/Mahmudiyah_rape_and_killings
Echter is de vraag of een systeem zoals doe Samsung SGR-A1 het beter zou doen. Deze is geprogrammeerd om iedere persoon in de DMZ als vijand te zien tenzij deze een bepaalde code kent.
Een vluchteling heeft die code uiteraard niet.

[Reactie gewijzigd door BeosBeing op 1 september 2017 16:45]

Het schrikbeeld is nog veel erger dan dat. Ik ga er vanuit dat een autonome vechtmachine een opdracht gegeven kan worden, door de bezitter ervan. Stel je voor dat de elite van een land of zelfs de hele wereld zich verenigen, een zooitje van die machines aanschaffen, en het nieuwe "regime" uitrollen? Dat betekent levenslange onderdrukking, want er is geen kruid tegen gewassen.

Niet vergezocht als je beseft dat vrijwel de complete menselijke geschiedenis bestaat uit bruut gewelddadige dictators, uitbuiters en slavendrijvers.

Maar wat erger, en belangrijker is: een machine dood koelbloedig en berekend. Wanneer het denkt dat het een vijand ziet zal het vuren. Ook al is die vijand een kind met een speelgoedgeweer.

Niet alleen dat, nog voordat hij dat kind als vijand gaat zien (speelgoed is misschien ook wel te detecteren) ook kan een robot besluiten niet uitgeschakeld te willen worden (als de oorlog voorbij is) en dat alles en iedereen dat hem wilt uitschakelen een vijand is. Op een gegeven moment Iedere gewapende, of dit nu een vijandelijke soldaat, soldaat van het eigen land is, politieagent of sportschutter is, is opeens een doelwit.

Herinner je je nog dat FB experiment van enkele weken terug met AI waarbij het experiment gestopt werd omdat de 2 machines een eigen taal begonnen te ontwikkellen? Wat als we machines hun gang laten gaan en zij beslissen autonoom dat het beter is dat ze ons militair kunnen domineren?

De grens met het zelf gaan bepalen wat de wet is, door die machine, is heel klein. Dan hoeft die machine nog niet eens te gaan communiceren met andere machines. Met die mogelijkheid erbij wordt het nog gevaarlijker.

Je zal maar net als Noord Koreaanse overloper door een gebied proberen over te lopen dat bewaakt wordt door zo een toestel.

Dat dacht ik ook al. Het Wikipedia-artikel meldt ook:
The Samsung SGR-A1 presumes any persons entering the DMZ as an enemy and, upon detecting a foe, will attempt to identify the target through voice recognition. If a proper access code is not provided within a short amount of time, the system can choose between sounding an alarm, firing rubber bullets or engaging the target with its mounted weapons. T

Toch denk ik dat het slechts een kwestie van tijd is voordat het leger zoiets gaat inzetten.
Als land wil je niet dat je soldaten tijdens een missie sneuvelen. Kijk als je meedoet aan een oorlog zoals Nederland van 1950-1955 in Korea (125 doden) dan kun je slachtoffers verwachten.

Bij een missie voor vredeshandhaving zoals van 1979-1985 in Libanon (9 doden) dan is het al vervelender.
(lijstje tot 2007 https://www.trouw.nl/home...litaire-missies~a60b4ab6/ ) Ook bij bombardementen, zoals de USA ze in het verleden heeft uitgevoerd is dat risico er al. Het is dan voor de hand liggend dat men gebruik gaat maken van remote operated devices of robots. De eerste soort is te jammen en mogelijk zelfs door de vijand over te nemen, dus volledig autonome patrouille of aanval is de tweede stap. Dit zal het voornaamste argument zijn om ze in te zetten en als het zo ver komt, dan zal het leger zeker al over voldoende units beschikken.

Jij spreekt over overheden maar autonome wapens zijn ideaal voor een "super villain" of te wel iemand met teveel geld en te weinig liefde van zijn ouders. Een leger samenstellen kost veel moeite en ze dan nog laten vechten en sterven voor je is nog een andere zaak. Maar autonome wapens kan je morgen kopen en overmorgen al inzetten. We spreken dan niet meer over landen die oorlogen voeren maar over particulieren en bedrijven die oorlogen kunnen voeren. Klinkt misschien absurd maar het begint bij één rijke stinkerd die uit paranoia zijn gebied door robots laat bewaken en vandaar gaat het richting drugdealers die hun ladingen cocaine laten bewaken ...

Jij spreekt over overheden maar autonome wapens zijn ideaal voor een "super villain" of te wel iemand met teveel geld en te weinig liefde van zijn ouders. Een leger samenstellen kost veel moeite en ze dan nog laten vechten en sterven voor je is nog een andere zaak. Maar autonome wapens kan je morgen kopen en overmorgen al inzetten. We spreken dan niet meer over landen die oorlogen voeren maar over particulieren en bedrijven die oorlogen kunnen voeren. Klinkt misschien absurd maar het begint bij één rijke stinkerd die uit paranoia zijn gebied door robots laat bewaken en vandaar gaat het richting drugdealers die hun ladingen cocaine laten bewaken ...

En daarna wordt ie spijtoptant omdat ie ziet dat zijn wapens onschuldige slachtoffers maken, en gaat ie proberen de wereld te verbeteren in een vliegend rood pantserpak?

Waarom zo zwart wit? Er kan veel meer gedaan worden met robots. Denk aan bewaken of mijnen/bommen onschadelijk maken.

De grootste reden dat ze deze oproep doen is denk ik omdat ze bang zijn de controle te verliezen. De ai van deze machines is van zo'n hoog niveau dat ze een eigen plan kunnen maken en daardoor de mens de controle verliest.

Waar ze het meest bang voor zijn denk ik is dat ze beseffen dat ze zelf geld genoeg hebben olm zo'n robot leger te kunnen kopen en als ze dan fantaseren wat ze met zo'n leger kunnen slaat de angst hun om het hart omdat ze beseffen dat ook anderen zo'n leger kunnen kopen.

Ja overheden kunnen robots positief inzetten maar het probleem is dat er altijd wel iemand zal zijn die het voor slechte doelen wil inzetten. Kijk gewoon naar het internet. De bedenker zag enkel positieve toepassingen. Had hij ooit geweten dat het internet zou zorgen voor IS en Trump was hij er nooit mee begonnen denk ik.

Het probleem zit hem in de AI. Daar zijn ze bang voor. Niet de machines an sich want die hebben we nu ook al in de vorm van tanks en vliegtuigen bijvoorbeeld.

Een welkom geluid in discussies als deze (+3 van mij). Ik hoor vaak van mensen op verjaardagen dat we in extreem gevaarlijke tijden leven terwijl dat aantoonbaar niet zo is. Als ik ze dan in herinnering breng dat de ETA, RAF en de IRA ook niet zulke gezellige clubs waren, wordt vaak duidelijk dat we het nog niet zo slecht hebben wat geweld betreft.

[Reactie gewijzigd door P_Tingen op 21 augustus 2017 08:27]

Je moet deze brief van Musk en consorten in het daglicht van de andere oproepen van Musk zetten. Als je hieraan begint waar houdt zo'n robot dan op met schieten? Wanneer heft het z'n doel bereikt? Hij is mijn inziens terecht voorzichtig met robots die zelf na kunnen denken want voor je het weet wordt de Matrix/Terminator de waarheid. Stel jezelf ook even de vraag waarom bedrijven die er baat bij hebben dat dit ontwikkeld wordt zouden verzoeken om het juist niet te doen.

Als wij in een wereld leven, waarin wij soldaten tegen soldaten zouden laten vechten en er geen burger slachtoffers zouden vallen. Dan ben ik voor.

Maar wij leven in een wereld, waarin men gasflessen uit vliegtuigen gooid, om zo veel mogelijk burger slachtoffers te krijgen. Dat we clusterbommen hebben, waar jaren na een oorlog nog slachtoffers vallen, etc etc.

Nee, deze wereld is echt toe aan autonome wapens.

Ooit van de ak47 gehoord? Want dan had je geweten dat dat het meest gebruikte wapen in de hele wereld is. En waarmee dus de meeste doden zijn gevallen en nog zullen vallen. Rebellen vechten niet met robots en staten moorden net zo goed onschuldige burgers uit als dat hun uitkomt.

Ik drop even deze Star Trek TOS episode: https://en.wikipedia.org/wiki/A_Taste_of_Armageddon
Doegie!

Ik zag een tijd terug een TED talk waardoor ik toch heel anders naar het probleem ben gaan kijken: https://www.ted.com/talks...ouldn_t_belong_to_a_robot

een kleine TLDW samenvatting van een belangrijk argument tegen autonome wapens:

• vroeger hadden lokale machthebbers een privé leger en gewone lui niets in te brengen
• daarna kwamen in de tijd van Napoleon grote volkslegers waardoor de machthebbers nu afhankelijk werden van voldoende mensen die voor ze wilde vechten, waardoor er veel meer macht bij het volk terecht kwam
• met autonome wapens kunnen de rijken weer privé legers gaan maken en trekken de gewone burgers aan het kortste eind

de nog kortere samenvatting: dit zou wel eens het einde van democratie kunnen betekenen.

Ik begrijp deze gedachtegang wel, maar hij is ook wel wat vergezocht. Rijken kunnen nu ook al privélegers maken en dat is misschien nog wel goedkoper als wanneer ze dat straks met autonome wapens moeten doen. Kwestie van personeel in dienst nemen en een wapen geven, niets meer dan dat.

Dat is een stuk eenvoudiger dan een grote hoeveelheid autonome wapens aanschaffen en deze onderhouden/aansturen.

Overigens ben ik om andere redenen tegen autonome wapens, met name omdat ik vind dat het dehumaniseren van oorlogsvoering al veel te ver is gegaan. Tegelijkertijd erken ik ook dat het bestaan van atoomwapens een belangrijke bijdrage heeft geleverd aan de wereldvrede. Het is ook weer niet volledig zwart/wit.

Ik ben blij dit initiatief. Oorlogen met autonome wapens kunnen leiden tot massamoorden op schalen die we tot nu toe nog niet gezien hebben in oorlogen. De wapens zullen niet alleen door het leger ingezet worden maar ook door rebellen en groeperingen die (in onze ogen) toch wat minder etnisch met burgers omgaan. Neem daarbij dat dit soort wapens per definitie hackbaar zijn met alle gevolgen van dien. Ik denk dat dit de eerste dingen zijn waar we ons druk over moeten maken, de AI vind ik persoonlijk meer een secundaire zorg. Al ben ik bang dat deze ontwikkelingen niet te stoppen zijn. Je kunt ze net als chemische wapens op de zwarte lijst zetten, maar dit zal de ontwikkeling en het gebruik ervan helaas niet tegenhouden (zoals je nu ook ziet met de chemische wapens).

Het probleem met het op die zwarte lijst zetten is wel dat de "goede" landen ze niet hebben, maar de personen/landen die zich er geen zak van aantrekken wel. Je gaat het risico lopen dat ISIS of Noord-Korea straks wel een groep van deze autonome wapens heeft. Ik moet er niet aan denken dat ze zo'n ding een binnenstad in geslopen krijgen.

Ze hebben alleen goede hackers nodig.

Goede landen? Noem er twee......

Daarom dat ik het tussen aanhalingstekens geplaatst had, goed blijft uiteraard subjectief en ook zeker niet absoluut.

https://nl.wikipedia.org/wiki/Lijst_van_landen_zonder_leger

Alhoewel ik het Vaticaan gelijk wil schrappen als goed land.

Maar een Noord Korea (en ISIS is niet eens een land) heeft de budgetten niet om zo een leger te bouwen.

Dat bouwen ze natuurlijk ook niet, maar dat jatten ze gewoon.

Daarnaast ook, dat dachten ze ook over Atoomwapens, en raketten.

Probleem is, een dergelijk land laat liever zijn bevolking hongerlijden als dat betekent dat ze dan een leger kunnen bouwen..

Het zal je denk ik nog verbazen hoeveel geld in die werelden omgaat..

De definitie van goed of kwaad hangt af van de groep waarin je je bevindt. Het zijn dus subjectieve begrippen. Een serie als 'The Wire' kaart dit meesterlijk aan.

Ik ga dus even uit van de westerse samenleving aangezien wij ons daarin bevinden, waarbij je door feiten geleid kan worden wat toch wel de meest sterke positie voor een beoordeling is. Veel andere groeperingen doen dit uit geloofsovertuiging dus op niks substantieel gebaseerd.

Het is een kwestie van perspectief....Voor veel andere groepen is de westerse samenleving slecht en oneerlijk, dat is hun waarheid. Onze westerse samenleving en wetten zijn grotendeels ook vanuit het geloofsovertuiging ontstaan.

Ik vond het ook heel passend dat je 'goede' tussen aanhalingstekens plaatste.

THANK YOU

Waarom zijn ze per definitie hackbaar?

Oorlogen met autonome wapens kunnen leiden tot massamoorden op schalen die we tot nu toe nog niet gezien hebben in oorlogen.

Dat kan, met conventionele wapens ook. Met autonome wapens kan het juist ook zijn dat je veel nauwkeuriger te werk kan gaan dan met bombardementen, zonder dat jouw kant het levens kost, en aan die van de vijand alleen militair personeel.
Tegelijk kan het natuurlijk ook betekenen dat een oorlog sneller wordt begonnen omdat het toch geen levens aan je eigen kant kost, echter in principe is dat met drones al het geval.

De wapens zullen niet alleen door het leger ingezet worden maar ook door rebellen en groeperingen die (in onze ogen) toch wat minder etnisch met burgers omgaan.

En die gaan dat niet doen nu omdat de VN zegt dat het niet mag? Die doen het gewoon nog steeds, alleen nu als ze hun autonome wapens inzetten om wat dorpen uit te roeien omdat daar mensen met een verkeerd geloof wonen, dan hebben die dorpen geen autonome wapens om hun te verdedigen, want dat mag niet van de VN.

Dan zeg jij natuurlijk dat die rebellen geen autonome wapens kunnen hebben als andere ze niet ontwikkelen, maar dat is het hele probleem, degene die de oproep hier doen ontwikkelen effectief autonome wapens. Als ze hun zin krijgen, dan koop je op ebay over 10 jaar een machine learning kastje. Die kan je gebruiken om je robotgrasmaaier nog slimmer te maken, of dat je TV zelf bedenkt welk programma je wil zien. Of je zet hem op een landcruiser, waar je ook wat machinegeweren op hebt gezet met servos en cameras. Geef de juiste input en je generieke machine learning kitje is nu geschikt als autonoom wapen.

Uiteraard zijn dat wel wat veronderstellingen, maar in principe niet heel vergezocht. Ze zijn bang dat het gebeurd, omdat ze zelf de onderliggende technologie aan het ontwikkelen zijn. Dan wil ik niet direct zeggen dat autonome wapens het beste idee sinds voorgesneden brood zijn, maar het is ook niet echt een zwart-wit situatie.

Waarom zijn ze per definitie hackbaar?

Durf jij die vraag serieus stellen op deze site?

En wat denk jij dat er gaat gebeuren als bijv. de VS als eerste een autonoom leger heeft dat het op elke vijand ter wereld kan afsturen zonder dat het zijn eigen soldaten moet riskeren? En beeld je nu eens in dat het niet de VS was maar Rusland? Voel jij je nog veilig in die wereld?

De enige reden dat we vandaag geen grote oorlog hebben, is om dat er een balans bestaat tussen de grootmachten. De eerste die zulke autonome wapens kan bouwen heeft een gigantisch voordeel en krijgt een enorm overwicht dat de balans vernield die er vandaag is. En daar hebben we wereldoorlog 3.

Durf jij die vraag serieus stellen op deze site?

Ja dat durf ik. Het lijkt wel alsof onder veel IT'ers het idee bestaat dat bugs en exploits in code iets is wat erbij hoort. En nu zal ik niet ontkennen dat bij complexe code het compleet uitsluiten dat ze erin zitten erg lastig is. Maar tegelijkertijd betekend het niet dat alles per definitie hackbaar is, en als tweede dat het ernstig is.

Een autonome robot heeft juist geen RF verbinding nodig wat commando's accepteert. Dus dat maakt ze enkel veel minder hackbaar dan bestaande systemen met een human in the loop, zoals drones. Zelfs als je er een RF verbinding op zet, kan je hem maken dat hij slechts enkele commando's accepteert, zoals "Return Home". Als je dan encryptie kraakt kan je dat commando versturen, gevolgen daarvan zullen meestal wel meevallen.

En wat denk jij dat er gaat gebeuren als bijv. de VS als eerste een autonoom leger heeft dat het op elke vijand ter wereld kan afsturen zonder dat het zijn eigen soldaten moet riskeren? En beeld je nu eens in dat het niet de VS was maar Rusland? Voel jij je nog veilig in die wereld?

Je bedoelt alweer drones?
En ik vind het wel een beetje naiief om te denken dat Rusland en/of de VS zich ook maar iets aantrekken van de VN. En terwijl die hun autonome legers maken, voel jij je lekker veilig dan in Europa dat wij daar niet aan mee doen en dus ideale doelwitten zijn?

Ik zie ook niet in waarom die balans ineens anders zou zijn met autonome wapens. Natuurlijk kunnen die een voordeel opleveren. Helpt je nog steeds weinig als je steden een nucleaire parkeerplaats zijn gewoden.
Maar hoewel autonome wapens een voordeel kunnen zijn (afhankelijk van hoe effectief ze zijn), zijn er zoveel militaire ontwikkelingen die je een voordeel opleveren, en die allemaal nog steeds niet tot WW3 hebben geleid.

De Balans, wordt niet direct volledig verstoord,
Het is meer indirect.

Nu kost het mankracht mensen en dus letterlijk doden (soldaten) om een oorlog te voeren.
Het trainen, opleiden kost tijd en geld. Er zijn dus maar een X aantal soldaten beschikbaar.
Nog even los van de publieke opinie als er veel Soldaten doden vallen. (zie Vietnam (US) of Afghanistan (voor de Sovjet Unie))

Met autonome wapens heeft degene die vermoord (wapenfabrikant of bestuurder of zelfs de programmeur) geen enkele verbintenis meer met de persoon die hij dood..
Noch zal de publieke opinie zich veel zorgen maken in het land waar de wapens vandaan komen, immers sneuvelen er geen soldaten meer.

De drempel om aan te vallen wordt daarmee verkleint, daar ligt 1 van de grote gevaren.
Daarnaast wie zegt dat de informatie voorziening op wat men aanvalt voldoende is?, verkeerde informatie kan zomaar een ziekenhuis aanwijzen als een bolwerk van vijandigheid. geen enkele beperking zit er meer in.

Dan nog het AI stuk, het gaat uiteindelijk niet meer om hoeveel wapens je bezit maar hoe handig je bent in hacken. Al zou Amerika (als voorbeeld) het grootste arsenaal autonome wapens hebben, 1 onderbreking van een signaal of hack in het systeem kan het hele arsenaal tegen hen gebruikt worden.
(Nog los even van een volledig door AI gestuurd systeem, waar al helemaal een risico in zit)

Alles met electronica is per definitie hackbaar.

Ik snap niet helemaal waarom je vragen stelt bij mijn post aangezien je precies hetzelfde zegt als ik, maar dan met meer woorden. Het is leuk dat je een aantal losse regels quote, maar als je de hele post meeneemt dan staat er echt hetzelfde.

Neem nu bijvoorbeeld

Je kunt ze net als chemische wapens op de zwarte lijst zetten, maar dit zal de ontwikkeling en het gebruik ervan helaas niet tegenhouden (zoals je nu ook ziet met de chemische wapens).

of

De wapens zullen niet alleen door het leger ingezet worden maar ook door rebellen en groeperingen

plus, je bevestigd zelf al waarom autonome wapens eerder leiden tot massamoorden dan conventionele wapens. Deze zijn namelijk veel makkelijker in te zetten dan mensen. In theorie kunnen ze zelfs door 1 persoon ingezet worden met als doel een terroristische aanslag te plegen.

Dat ik het met een aantal van jouw punten eens ben, betekend niet dat ik het niet met de rest oneens ben. Ik zie wel waarom er een hoger risico is dat zulk soort wapens eerder worden ingezet, maar ik zie totaal niet in waarom dat eerder zou leiden tot massamoorden dan conventionele wapens. In theorie kan ook één persoon een atoomwapen inzetten, in de praktijk blijkt dat toch tegen te vallen.

Eigenlijk is het een beetje raar dat hier bezwaar tegen gemaakt wordt....

Sinds de uitvinding van de speer is de mens bezig oorlog minder menselijk te maken. Eerst was de beslissing om iemand te doden er één die je maakte terwijl je die persoon in de ogen keek, met de speer werd dat iemand die je kon onderscheiden als menselijk, met het geweer werd het steeds meer iemand die in de verte stond. Artillerie en het vliegtuig maakte zelfs dat een non-issue en de stratosferische bommenwerper ging zelfs nog een stapje verder.
Met de uitvinding van de raket is het zelfs nog verder gegaan; na lancering heb je niets meer te vertellen. En de moderne raketten beslissen dan ook nog eens grotendeels zelf wat er gebeurt als ze bij het doelwit aan komen.

Sinds jaar en dag zijn wij bezig de menselijke factor te elimineren. Dit is slechts de laatste stap in dat proces. Ik zie geen enkele reden om die laatste stap te verbieden zonder al die eerdere stappen ook te verbieden. Het verschil tussen een HOTL en een HITL is nihil dus waarom de HITLs ook niet verbieden? Als we oorlog dan toch menselijker willen maken, ga dan gewoon terug naar zwaarden.

[Reactie gewijzigd door Croga op 21 augustus 2017 08:05]

Doe mij die utopie met zwaarden maar weer.. kan ik ook nog wat betekenen voor de samenleving

Nee, ik zie inderdaad niet dat we dit kunnen stoppen. Maar ik vind dat elk autonoom apparaat de mogelijkheid moet hebben om door een mens onderbroken te worden. Daarnaast voor "intrusive" beslissingen/wapens eigenlijk een HITL zou moeten zijn..

Ook voor auto's moeten we opletten bijvoorbeeld. Maar daar is de beslissingsfactor gebaseerd op reactiesnelheid van de mens en kan er "levensreddend" gehandeld worden door de auto sneller te laten reageren.. Dan nog komt hier uiteindelijk het ethische dilemma boven, over de bestuurder of de voetganger dood.

_{Edit: HITL ipv HOTL... nog niet helemaal wakker...}

[Reactie gewijzigd door Vinnie2k op 21 augustus 2017 08:14]

Nee, ik zie inderdaad niet dat we dit kunnen stoppen. Maar ik vind dat elk autonoom apparaat de mogelijkheid moet hebben om door een mens onderbroken te worden. Daarnaast voor "intrusive" beslissingen/wapens eigenlijk een HITL zou moeten zijn..

Waarom dan? Waarom zou HOTL slechter zijn dan HITL, waarom zou autonoom slechter zijn dan HOTL, als we in gedachten nemen dat we al millennia lang die kant uit aan het bewegen zijn? Waarom is HITL dan niet slechter dan ongeïnformeerd fire-and-forget (zoals stratosferische bommenwerpers)? Waarom is dat dan weer niet slechter dan geïnformeerd fire-and-forget (zoals sidewinders)? Waarom leggen we nu een arbittraire grens bij deze wapens terwijl we de afgelopen millennia geen grenzen gesteld hebben?

Is de SGR-A1 daadwerkelijk slechter dan de bommen die we op Hiroshima en Nagasaki gegooid hebben? Want die zijn nogsteeds gewoon "toegestaan"

Voetganger ten alle tijden, ik betaal toch niet voor zo'n auto als ie mij dood laat gaan?
Nee maar over die discussie, zo'n autonome wagen pakt over het algemeen de beste kans. bovendien hoeft hij de helft van de beslissingen die een mens moet maken nooit te maken, omdat hij zoveel sneller "denkt". En de meeste keuzesituaties nooit ontstaan.
Overigens ben ik wel van mening dat je de bestuurder hoort te beschermen.

Een speer werd niet gebruikt om het minder menselijk te maken hoor. Wapens zijn uitgevonden om een voordeel te hebben tov je tegenstander. Meer afstand is gewoon effectiever. Gevechtsvliegtuigen kunnen ook uit de lucht geknald worden maar het is effectiever om een bom neer te gooien dan er te voet één neer leggen.

Ach.. het einde is toch al zoek...

Als we kijken naar het gebruik van wapens die ontwikkeld worden nu en wat de mogelijkheden worden.

En hoe goed de imo "foute" landen omgaan met wetten en regelgeving op oorlogsgebied, zie ik afspraken hierover bruut geschonden worden in de toekomst..

Als je weet dat HITL (Human In The Loop, menselijk goedkeuren voor actie) nu al naar HOTL(Human on the loop, mens kan actie afbreken) gebracht kan worden bij dit wapen. Is het een kwestie van geduld voor de eerste zonder verdere interactie gaan schieten.

Je gaat die ontwikkeling toch niet tegenhouden.... maar de "trigger" om oorlog te voeren word zo wel naar beneden gebracht.. Erg jammer

De techniek achter deze wapens is wel interessant, maar o zo gevaarlijk!

Waar het bij dit soort afspraken om gaat is dat de leden elkaar en andere landen controleren op de naleving er van. Maar belangrijker nog is dat de leden zelf hier niet mee bezig gaan. Aangezien de grootste landen met de grootste defensie invloed hier vertegenwoordigd zijn heeft dit dus wel degelijk zin. Er worden nu bijvoorbeeld door Ameika ook geen chemische wapens of clusterbommen ontwikkeld. Omdat wij hier met zijn allen afspraken over hebben gemaakt.
Dat wil niet zeggen dat er helemaal niks gebeurd op dit vlak, dat zou naief zijn. Maar het geeft wel een duidelijk signaal dat je hier niet ongestraft mee weg komt. Jij kan ook nog steeds een bank beroven maar je weet van te voren dat dit niet mag en dat er consequenties aan zijn verbonden.

Ik neem aan dat je dat sarcastisch bedoelde toch?

De Amerikaanse Wapen industrie maakt echt nog wel chemische wapens en clusterbommen namelijk..

Nee dat is feitelijk niet waar, door het verdrag tegen chemische wapens is 93% van alle chemische wapens vernietigd. Ook is dit verdrag door 193 landen getekend en uitgevoerd. Bron: https://www.armscontrol.org/factsheets/cwcglance het heeft dus wel degelijk nut en alhoewel het probleem niet zomaar opeens weg is is dit wel een stap in de goede richting en niet kansloos zoals hierboven wordt gesuggereerd.

Hahahahahhahahahahahaaa dan blijft er nog 7% over van hoeveel ton aan chemisch spul... Er blijft dus nog genoeg over om zieke (pun intended) shit mee uit te halen.

Daarnaast is de kennis er.. En kan je dus op ZEER korte termijn wapens maken.

Dus leuk zo'n akkoord.. Maar dat doet niets af aan de situatie

Als je ziet dat veel terreur acties nu al met auto's / vrachtwagens gebeuren, hoe moeilijk zal het dan zijn om je auto/vrachtwagen voor te programmeren (en middels AI op de juiste plek krijgen).

Dus om nu te gaan neuzelen dat AI slecht is in combinatie met wapens wil ik ook wel geloven

Ik denk dat het wachten op Fallout 5 langer duurt dan wachten op een echte Fallout-wereld..

Mijn vraag is dan weer; wat wil de VN hieraan doen? Alsof de landen die bewust AI ontwikkelen voor wapens gaan luisteren naar de VN. In de koude oorlog werd er ook van alles geroepen over sancties, maar die heeft uiteindelijk ook een tijdje geduurd.

Ik vind autonome wapens helemaal super!

Wat is er nou beter, mensen die elkaar kapotdood slopen, of landen die een dispuut uitvechten met een potje battlebots? Laat de machines het vuile werk maar opknappen.

Naar mijn idee is datgene waar men zich uiteindelijk zorgen over maakt, het punt dat tegenwoordig software in ontwikkeling is die zelf leert (machine learning) én zichzelf kan herschrijven om zich te verbeteren. Combineer dat met het internet en i.o.t, en je kan gaan fantaseren over zelfdenkende software die meer en meer aan zichzelf werkt, over de hele wereld heen zwerft, en op enig punt voor zichzelf gaat beslissen zonder dat nog menselijke interventie mogelijk is, en een fysieke vorm uitkiest, 3d print of bouwt, etc.etc.etc.

Wat ik altijd zo grappig vind, is dat de briefschrijvers zelf de grootste promoters en onderzoekers zijn naar kunstmatige intelligentie en autonome robots (zelfrijdende en denkende auto's/ruimtetuigen, robotica, software, ...). Het lijkt me eerder dat deze ceo's anderen proberen te overtuigen om er niet aan te beginnen om zelf het monopolie op AI te kunnen behouden.

Nee, dat denk ik niet. Deze mensen weten gewoon veel meer/ zijn veel beter geïnformeerd op dit gebied dan al het gepeupel. Dat juist deze vooraanstaande mensen met deze berichten komen moet gezien worden als een urgente waarschuwing.
Verdiep je eens in ai, deeplearning en zet het af tegen de enorme resources (financieel, software, hardware) die beschikbaar zijn. Combineer dat met bijvoorbeeld een Stuxnet (cyberwapen dat uiteindelijk ook deels terechtgekomen is in malware) en neem dan de kennis mee dat soevereiniteit van staten in het gedrang , het verdwijnen van soevereiniteit is de belangrijkste factor geweest in de meest zwarte periode van de menselijke geschiedenis namelijk de Holocaust.
Nee, twijfelen aan de oprechtheid van deze waarschuwing is wat mij betreft totaal niet aan de orde.