US Air Force ontkent dat AI-drone in simulatie operateur doodde - update

Het vermeende incident waarbij een door AI aangestuurde militaire drone in een simulatie schoot op de operateur, heeft volgens de Amerikaanse luchtmacht niet plaatsgevonden. Het zou om een anekdote gaan; de simulatie zou nooit daadwerkelijk uitgevoerd zijn.

Bron: USAF

Kolonel Tucker Hamilton, het hoofd van de afdeling AI Test and Operations, zei volgens twee aanwezigen van de Royal Aeronautical Society tijdens het Future Combat Air and Space Capabilities-congres vorige maand dat een simulatie een 'zeer onverwacht' resultaat opleverde nadat een door AI aangestuurde drone ervoor koos om op de menselijke bestuurder te schieten. Een woordvoerder van de Air Force zegt tegenover Insider dat er nooit daadwerkelijk een dergelijke simulatie gedraaid is en dat het om een 'uit de context gehaalde anekdotische beschrijving' gaat. De luchtmacht geeft geen verdere context over wat er dan wel precies gebeurde.

Volgens de RAS zei Hamilton tijdens het congres: "Het systeem begon zich te realiseren dat de menselijke operateur in sommige gevallen ondanks een positieve identificatie van een dreiging de opdracht gaf om niet aan te vallen. Dat terwijl de AI 'punten' kreeg voor het doden van dreigingen. Het vermoordde vervolgens de bestuurder, omdat deze persoon de drone weerhield van het behalen van de doelen." Het zou volgens de overkoepelende US Air Force dus gaan om een anekdote en niet om een daadwerkelijk gedraaide simulatie.

De kolonel zegt verder dat het AI-model aangescherpt is om niet meer op de operateur te mogen schieten. De kunstmatige intelligentie besloot volgens hem daarom om de communicatietoren te verwoesten die het contact met de gevechtsdrone faciliteerde. Uit de blogpost wordt niet duidelijk of de eventueel hypothetische AI vervolgens getraind werd op het helemaal niet verwoesten van eigen materieel en personeel. Ook wordt niet duidelijk waarom de drone überhaupt de mogelijkheid had om Amerikaanse doelwitten te verwoesten.

De afdeling AI Test and Operations van de Amerikaanse luchtmacht raadt op basis van de simulaties aan dat er goed wordt gekeken naar de toepassing van de technologie. "We kunnen het niet hebben over kunstmatige intelligentie, machinelearning en autonomie zonder het ook over ethiek en AI te hebben."

Update, 09.02 uur: De verklaring van de US Air Force over het mogelijk verkeerd interpreteren van de opmerkingen van de kolonel is aan het artikel toegevoegd. Met dank aan Mighteymike.

Update, 09.55 uur: De insteek van het artikel is verder aangescherpt om het standpunt van de US Air Force beter naar voren te laten komen.

Reacties (199)

[Mighteymike]

Normaal ben ik niet van het reageren op berichten maar één internet zoekopdracht gaf al een hoop duidelijkheid.

'' In a statement to Insider, Air Force spokesperson Ann Stefanek denied that any such simulation has taken place.

"The Department of the Air Force has not conducted any such AI-drone simulations and remains committed to ethical and responsible use of AI technology," Stefanek said. "It appears the colonel's comments were taken out of context and were meant to be anecdotal."''

https://www.businessinsid...ernational=true&r=US&IR=T

Internet staat vol met artikelen over dit nieuwsbericht, met alle verschillende uitspraken is de volgende vraag wat is waar en wat niet maar dat is een andere discussie.
Van een forum zoals Tweakers had ik toch wel verwacht dat ze zich iets meer verdiepen en dingen uitzoeken voor het gepubliceerd wordt.

[djwice]

Lees de zinnen heel goed. Het kan zijn dat beide statements waar zijn. Bijvoorbeeld dat het onderzoek is uitgevoerd in opdracht van .. door contractanten. In dat geval kun je claimen dat het departement de simulatie niet heeft uitgevoerd. En zo ook kunt beweren dat het verhaal out of context is.

Mijn ervaring met Amerikanen is dat dingen soms als "anecdotal" bestempeld worden die wél feitelijk zijn gebeurd. Een "An anecdotal example of this I've experienced last year when .." bijvoorbeeld.

Ook is hierarchie zeer aanwezig, dus als een experiment wél is uitgevoerd, maar in opdracht van een colonel maar formeel moet een hoger geplaatste goedkeuring geven en die goedkeuring is niet gegeven of niet vastgesteld, dan heeft het formeel niet plaatsgevonden binnen het departement. Hoe gek zo iets ook klinkt voor een Nederlander.

Opvallend is dat de colonel niet een publieke reprimande krijgt, dat kan er op duiden dat hij politiek zeer waardevol is. Dat kan zeer risicovol zijn, gezien de situatie.

[Reactie gewijzigd door djwice op 23 juli 2024 23:59]

[nst6ldr]

Als je de zinnen goed leest, dan zie je juist dat het verhaal helemaal niet klopt, want de anekdote beschrijft een drone die niet zelfstandig kan schieten tenzij het eigen personeel en materieel betreft.

[djwice]

niet zelfstandig kan schieten op SAM doelen

De vraag die de AI stelt aan de mens is "mag ik de SAM neutraliseren".
Dus de dreiging wegnemen. De control tower was geen dreiging.


De AI-trainer maakte dus ongeveer dezelfde aanname als jij, waardoor de restrictie te veel afgedekt was en alleen gold voor SAM-doelen.

Dat is de impact van tunnelvisie bij het trainen van anderen (zowel mensen, dieren, als machines en algoritmes), de kans op tunnelvisie is groot, waardoor onbedoelde conditionering en onbedoelde bijeffecten van een KPI zeer veel voorkomen.
In sommige culturen is het niet acceptabel om een KPI ter discussie te stellen, met alle gevolgen van dien.

[Reactie gewijzigd door djwice op 23 juli 2024 23:59]

[JBVisual]

Ik dacht precies hetzelfde.
Als de AI weerhouden kan worden om een doel te beschieten, zou deze zijn bestuurder alleen kunnen neutraliseren door als eerst deze bestuurder als doel te markeren.
Dit wilt dus zeggen dat toestemming gegeven wordt door de bestuurder voor deze opdracht, idem voor de communicatietoren. (het niet weigeren van een aanval zie ik ook als toestemming)

Daarnaast lijkt de retoriek ook door te kunnen rekenen.
X aantal punten voor een doel
Y weerhoud mij hiervan, maar door Y te raken krijg ik strafpunten.
AI maakt afweging hoeveel keer X hij extra kan raken door eerst Y uit te schakelen om toch een positief balans te krijgen

Je zou de AI dus eigenlijk dubbel moeten uitvoeren, een AI die als aanvallend machine functioneert en een 2e die alles controleert. Deze 2e heeft dan exclusief de toegang tot een killswitch.

P.s. ik denk hier puur in een oplossing, AI inzetten voor aanvallen en oorlogsvoering zie ik persoonlijk als een no-go. Los van het feit dat oorlog al erg genoeg is, kunnen mensen nog enigszins nadenken.
(Al kan je dan weer een discussie hebben dat sommige mensen zich ook weer als sadistische monsters kunnen gedragen)

[nst6ldr]

[...]

De vraag die de AI stelt aan de mens is "mag ik de SAM neutraliseren".
Dus de dreiging wegnemen. De control tower was geen dreiging.

Je kent language model achtige eigenschappen toe aan een AI die helemaal niet in die categorie past, gaat uit van een zeer zwakke vorm van controle die ik nog nergens ooit in de wapenindustrie ben tegengekomen, als reactie op een bekendmaking dat het hele voorval nooit heeft plaatsgevonden. Ik vind dit behoorlijk spijkers op laag water zoeken.

[djwice]

Nee hoor dat ken ik niet toe. Ik verwoord het type vraag dat de mens krijgt in mensen taal.

Dat de AI dat anders verwoord naar de mens omdat het geen taal model heeft, maakt niet uit. De inhoud en het doel blijft gelijk: AI detecteert bedreiging en vraagt toestemming aan mens om de bedreiging weg te nemen.

[nst6ldr]

...en doet dat ogenschijnlijk zonder menselijke input wanneer het een ander doel aan gaat dan een lanceerplatform? Het blijft een hoop fantasie om een directe ontkenning van de betreffende afdeling te ontkrachten, en dat terwijl het verhaal zelf al enorm ongeloofwaardig is.

[djwice]

Heb je zelf wel eens geprogrammeerd? Een team ontwikkelaars aangestuurd? Een algoritme geschreven en het aan gebruikers gegeven?

Ooit zelf een fysieke robot geprogrammeerd en deze een meerdere complexe taken achter elkaar laten doen, ook nadat de robot in een andere ruimte werd geplaatst met ander licht, andere ondergrond andere oriëntatie t.o.v. het handelingsgebiedt , zonder nieuwe calibratie?

Dingen werken niet altijd zoals iemand ontworpen denkt te hebben, simpelweg doordat er aannames werden gedaan over de context en die context wijkt af in de praktijk.

Kijk naar de storingen bij ING, een persoon in het security team denkt een goede nieuwe regel toe te voegen, vergeet een haakje bij een OR. Een front end team wil dat haar gebruikers geen last hebben van de slechte sessie overdracht, en implementeert een work-a-round.

Hoe goed ontworpen ook door security, het front end team realiseert tóch een verlengde sessie, unmannaged by security appliance.
Dat gebeurt in de praktijk met mensen die code ontwikkelen of appliances configureren. Dat gebeurt ook in de praktijk als mensen algoritmes of logica ontwikkelen. En dus ook als ze AI trainen, hoeveel hulp ze er ook bij krijgen, het blijft statistiek met vaak meer parameters en (schijnbare) correlaties dan de trainer kan bevatten/overzien.

[Reactie gewijzigd door djwice op 23 juli 2024 23:59]

[nst6ldr]

Heb je zelf wel eens geprogrammeerd? Een team ontwikkelaars aangestuurd? Een algoritme geschreven en het aan gebruikers gegeven?

Ja, ja en ja. Maar ik ga 'm nog mooier maken: ook betrokken bij militaire industrie.

Ooit zelf een fysieke robot geprogrammeerd en deze een meerdere complexe taken achter elkaar laten doen, ook nadat de robot in een andere ruimte werd geplaatst met ander licht, andere ondergrond andere oriëntatie t.o.v. het handelingsgebiedt , zonder nieuwe calibratie?

Wapensystemen zijn combinaties van subsystemen waarbij een operator altijd de controle houdt over de fysieke vuurknop. Je kan een miljoen dingen verzinnen die voor jou detectie en classificatie doen, zelfs een configuratie voor het projectiel afleveren die het snelst/minst opvallend is, maar de daadwerkelijke lancering kán niet vanaf dat soort systemen. En dit is geen ongebruikelijke opstelling, van Amerika tot rusland, Frankrijk tot Groot Brittannië, overal werken wapensystemen zo. Ook de huidige prototypes.

Dingen werken niet altijd zoals iemand ontworpen denkt te hebben, simpelweg doordat er aannames werden gedaan over de context en die context wijkt af in de praktijk.

Drie keer raden waarom de vuurknop buiten het systeem gehouden wordt?

Kijk naar de storingen bij ING, een persoon in het security team denkt een goede nieuwe regel toe te voegen, vergeet een haakje bij een OR. Een front end team wil dat haar gebruikers geen last hebben van de slechte sessie overdracht, en implementeert een work-a-round.

Wat enorm amateuristisch en typisch commerciële IT, dat soort scenario's komen in de MIC echt niet voor omdat aannamebeleid ook toetst op gevoel voor belang.

Maar dat terzijde: de anecdote bevat een logische fout én wordt door het betreffende onderdeel ontkent. Hoeveel omstandigheden (waar je blijkbaar zelf geen ervaring mee hebt) ga je nog aannames voor verzinnen totdat je die ontkenning kan buigen naar een witte leugen? Ik vind dat een ongezonde mate van wantrouwen, helemaal als blijkt dat je die sector uberhaubt niet kent en er omstandigheden en procedures uit je eigen sector er op projecteert.

[ZwolschBalletje]

Dat de Air Force woordvoerder 'denied that any such simulation has taken place' komt goed uit in deze context, maar is in mijn ogen niet heel geloofwaardig. In R&D doe je heel veel experimenten en simulaties om te onderzoeken wat kansrijk is en wat niet, en spectaculair falen hoort daarbij. Wat dat betreft is de uitkomst van een simulatie als deze niet ernstiger of minder mediageniek dan SpaceX-test die weer eens een Rapid Uncontrolled Disassembly oplevert.

Twee jaar geleden gaf de US Army een positief statement af over de ontwikkeling van AI in het arsenaal:

"The U.S. military says concerns are overblown, and humans can effectively control autonomous weapons, [...]
In 2012, the Defense Department issued guidelines for autonomous weapons, requiring them “to allow commanders and operators to exercise appropriate levels of human judgment. [...]
The U.S. military has also experimented with putting deep-learning AI into flight simulators, and the algorithms have shown they can match the skills of veteran human pilots in grueling dogfights."

We zijn nu 10 jaar nadat die guidelines zijn gepubliceerd, ik vraag me af hoe geloofwaardig het is dat het Pentagon in de tussentijd niet zulke simulaties heeft uitgevoerd / laten uitvoeren en het risico zou hebben genomen dat andere landen hierin een voorsprong opbouwen. Sommige van die simulaties leveren ongewenste resultaten op, als alles werkt zoals gehoopt dan is het geen innovatie meer maar productierijp.

Er zijn 1000 manieren om 'geloofwaardige ontkenning' te hebben van activiteiten die wel degelijk hebben plaatsgevonden en deze woordvoerder van de Air Force spreekt bijvoorbeeld niet voor de Army of Navy. Maar omdat het hier gaat om ontwikkelingen aan de voorkant van militaire capabilities, zullen we definitieve zekerheid over het al dan waar zijn van dit verhaal vast nooit krijgen. Maar op z'n minst roept het weer eens de juiste discussie en vragen op.

[Reactie gewijzigd door ZwolschBalletje op 23 juli 2024 23:59]

[Triblade_8472]

Dat klinkt een heel stuk aannemelijker inderdaad. Mocht de US military dit daadwerkelijk doen én mogelijk maken, dan gaan ze dit natuurlijk nooit publiceren.

Een AI heeft niet van nature de mogelijkheid om alles maar te doen. Die moet je trainen en inputs aanreiken.

Àls dit al plaatsgevonden zou hebben, dan moet de mogelijkheid getraind zijn. En ik kan mij zomaar indenken dat dit gaat gebeuren, maar ik denk ook zeker dat zij eerst een AI willen hebben die met interventie kan werken voordat ze de volgende stap durven nemen.

AI is nu natuurlijk hipper dan ooit, dus dat dit mogelijke nepnieuws de wereld in geslingerd wordt en overal gretig als nieuwswaardige waarheid wordt aangenomen verbaasd mij niks. Zullen wel lobby groepen zijn geweest die AI maar eng vinden. En ze hebben hun doel zelfs nog bereikt ook zo.

[thunder8]

Door je AI miljoenen/miljarden iteraties te laten doen, kunnen dit soort scenario's naar buiten komen. Het lijkt mij juist de functie van AI om zelf zaken te leren door die simulaties te draaien en de zwakke punten te vinden.

Sophy, de AI die Sony in Gran Turismo wil invoeren, heeft ook alles zelf moeten leren. Ze hebben het AI systeem een baan gegeven, een auto en van daar uit mag het gaan kijken hoe het moet rijden om een rondje te voltooien en daarna zien dat het zo snel mogelijk dat kan doen. Miljoenen simulaties zorgen voor het crashen van de auto, totdat het zelf het parcours daarmee had verkend. Daarna gaat het steeds sneller, tot het punt dat het de beste rijders versloeg en zelfs op bepaalde punten ging cheaten door iets buiten de baan te gaan en daardoor sneller te rijden. Nu kan je de AI dan wel beperken, door te zeggen dat het niet buiten de baan mag gaan, maar hoe gaat het systeem dan reageren als het door een andere rijder op die bewuste plek buiten de baan wordt gedwongen? Gaat hij daarna de weg kwijt zijn, of gaat het AI systeem alles eraan doen om te voorkomen dat het buiten de baan raakt?

Als dit militaire AI systeem door heeft door miljoenen iteraties dat de human interface het beperkt tot het behalen van het opgegeven doel, dan kan dit een doorslaggevende factor zijn om die component uit te schakelen. En dat is dan ook zichtbaar, op het moment dat er een harde regel is dat de human niet gekilled mag worden, dan zorg ik er wel voor dat ik geen commando's meer ontvang en dan alsnog mijn eigen ding kan doen. Veel zaken die voor ons arbitrair zijn, zijn dat niet voor een AI. En regels die daarvoor moeten zorgen zijn complex en mogelijk voor vele uitleg vatbaar.

Een AI heeft geen geweten en geen gevoel. Als de missie boven alles staat en het in staat is om elke zwakke plek uit te schakelen, dan moeten wij mensen gaan vrezen voor het skynet scenario. Dan zijn we architecten van onze eigen ondergang.

[Enai]

Dit is het "paperclip maximizer"-scenario en het zal zich niet voordoen in de context van reinforcement learning. De AI weet immers niet dat het een doel kan behalen door de regels te omzeilen totdat het dit op volledig willekeurige basis uitprobeert in de simulator en er herhaaldelijk succes mee bereikt. Dus zou die simulator zodanig geconfigureerd moeten zijn dat de drone niet langer wordt tegengehouden om aan te vallen wanneer hij de commandopost opblaast. Dit is een erg onwaarschijnlijke feature voor een simulatie. (Reinforcement learning is trouwens een geautomatiseerd proces dat duizenden keren draait zonder een mens in het systeem.)

Wanneer je verhalen hoort in de aard van "we hebben een AI getraind om een deliveryrobot met een pakje efficiënt naar een doel te laten lopen en de AI heeft ontdekt dat hij zijn pakje zo hard mogelijk in de omgekeerde richting moet gooien om zichzelf richting het doel te katapulteren" dan gaat het om een simulatie die de regels van de fysica implementeert en waarbij de AI een manier heeft gevonden om de regels van de fysica uit te buiten. De AI zal echter nooit met een oplossing komen als "kidnap een kind en dwing de ouders om het pakje te bezorgen" omdat dit niet in de simulatie zit ingebouwd als een mogelijkheid.

[RJG-223]

Door je AI miljoenen/miljarden iteraties te laten doen, kunnen dit soort scenario's naar buiten komen. Het lijkt mij juist de functie van AI om zelf zaken te leren door die simulaties te draaien en de zwakke punten te vinden

Dat is een van de zaken die dus onwaarschijnlijk is. AI-s draaien niet zelf simulaties. Dat doen de mensen, en de AI is een actor daarin. Die miljarden iteraties worden vooraf gedraaid, als miljarden simulaties, door de mensen, niet door de AI zelf. Met die miljarden simulaties wordt de AI getraind om de vooraf vastgestelde rol te spelen in de simulaties, zodat die dat daarna in het echt ook kan. Op dat moment wordt de getrainde AI vastgelegd, en niet meer gewijzigd, zodat ie betrouwbaar fuctioneert.

Het idee om een AI programmeren om zelf miljarden simulaties te doen, en zichzelf tijdens het gevecht te trainen, staat diametraal tegenover de principes van de krijgsmacht: daar is juist het doel om bijvoorbeeld mensen te trainen in het opvolgen van orders, zodat ze voorspelbaar worden, en dat doelen bereikt kunnen worden. Dan ga je niet een AI trainen om juist eigen intiatief te nemen...

Het is ook uiterst dubieus dat de AI het verband kon leggen tussen de operator, de commandotoren, en dat de commando's daar vandaan komen. Dat moet je er echt in-trainen, anders kan die dat niet weten. Als dat niet in de simulatie zit, dan kan het er niet in zitten. Net zoals een plaatjes-AI niet weet dat een mens een 3D object is, en dat de lichaamsdelen op een 3D-verantwoorde manier vast moeten zitten, en in de goede aantallen - vijf vingers bijvoorbeeld. Dat weet ie alleen als hem dat expliciet geleerd is.

En waarom zou het verband tussen operator, toren en commando's er in zitten ? Die commando's zijn gewoon een input - een ditigaal schakelaartje wat omgezet wordt met een radio-signaal. De AI kent alleen die schakelaar, en heeft geen benul van de radio of het radio-signaal. Dat gedeelte kan veel beter met een reguliere computer gedaan worden.

En als een AI dan toch z'n opdrachten uit wil voeren, waarom dan niet gewoon de inputs negeren. Dat is een veel logischere manier om punten te scoren, en daar is ook een veel duidelijker verband dan tussen een willekeurig mannetje in een gebouw en een radio-signaal wat ergens via een computer binnenkomt.

[DigitalExorcist]

Een AI heeft niet van nature de mogelijkheid om alles maar te doen. Die moet je trainen en inputs aanreiken.

Dat ligt inderdaad aan de trainingsset maar ook aan de opdracht die je de AI meegeeft. "Doe wat nodig is om doel <x> te vernietigen". Als de AI daarmee 'geleerd' heeft dat het toestemming moet vragen maar ook dat toestemming om iemand te vermoorden vaak niet gegeven wordt raakt het in conflict. Als de opdracht luidt "doe wat je moet doen" is een logische conclusie dat je de belemmering van die taak moet wegnemen, kortom, de operator.

[RJG-223]

Dat ligt inderdaad aan de trainingsset maar ook aan de opdracht die je de AI meegeeft. "Doe wat nodig is om doel <x> te vernietigen". Als de AI daarmee 'geleerd' heeft dat het toestemming moet vragen maar ook dat toestemming om iemand te vermoorden vaak niet gegeven wordt raakt het in conflict. Als de opdracht luidt "doe wat je moet doen" is een logische conclusie dat je de belemmering van die taak moet wegnemen, kortom, de operator.

Probleem is dat zoiets voor een mens wél een logische conclusie is, maar voor een AI niet. Een mens heeft veeeeeel meer domein-kennis. De kennis van een AI is beperkt tot hetgeen getraind is. We moeten de AI-s niet gaan antropomorfiseren - het zijn geen mensen, ze zijn niet vergelijkbaar, en het gevaar is dat we ze wel als vergelijkbaar gaan zien, omdat het erop lijkt. Jij ziet een game ook niet als werkelijkheid, zelfs al lijkt het er heel erg op.

Kijk naar het verhaal van die Google-engineer, die een tijdje geleden dacht dat de AI bewustzijn had ontwikkeld, omdat het leuke gesprekken kon voeren. Ik heb dat gesprek met die AI gelezen. Het was inderdaad heel erg goed, maar duidelijk niet echt. Lege frasen, en geen echte inhoud. Net een stukje beter dan een gesprekje over het weer, wat ieder mens gewoon op de automatische piloot kan voeren. En dat is dus precies waar de AI ook goed in is.

Dat soort mensen vormt dus eerder een gevaar dan een AI, omdat ze niet begrijpen wat die AI is, en wat de beperkingen zijn.

[DigitalExorcist]

Het ligt nog altijd aan de trainingset als die set bestaat uit hoe je het méést efficient je doel bereikt en de definitie van 'koste wat het kost' omvat....

[Zoop]

Yup, als het heel erg geloofwaardig is, dan is het ook alleen dat, een geloofwaardige simulatie. Maar daar zit nog steeds geen daadwerkelijke intelligentie achter. Het komt enkel intelligent over.

Dat is denk ik ook de grootste fout dat men maakt met deze AI, het zijn geen waarzeggers, de conclusies komen niet uit feiten maar uit gemiddeldes. Door te kijken naar een hoop informatie concludeert de bot dat dit het antwoord heeft met de hoogste kans om correct te zijn, maar dat maakt het nog niet per se correct. Zo kan ChatGPT hele geloofwaardige verhalen vertellen die je zo zou geloven als iemand het voorleest. Maar grote kans dat het voor een groot deel gewoon fantasie is, een conclusie die is getrokken door heel veel bronnen te lezen (maar niet per se feit).

Laatst was er een artikel over dat chatgpt toegang tot zoekmachines kreeg, in de reacties op tweakers had iemand de bot gevraagd wat zijn versienummer was, en hij gaf een incorrect antwoord omdat hij via een zoekmachine op een verouderde blogpost terecht kwam.

Is de bot dan fout? Nee, de bot deed exact wat je hem vroeg. Wat is je versienummer? Wordt dan vertaald naar een prompt als > zoek op google, chatgpt versie > volg eerste resultaat > geef reactie. En dat eerste resultaat is dus niet correct. Is dit de bot zijn fout? Tsja, wellicht dat de prompt interpretatie beter kan. Maar again, het zijn geen waarzeggers ofzo en men moet ook niet verwachten dat ze dat zijn.

[Reactie gewijzigd door Zoop op 23 juli 2024 23:59]

[Zoop]

Inderdaad, als een AI een mens kan vermoorden, dan heeft een ander mens hem daar de mogelijkheid en motivatie voor gegeven. Gaat een AI echt niet zelf zitten verzinnen.

Lekker sensatie makerij dit, ohnoes, skynet is upon us

[Mathijs Kok]

Inderdaad, als een AI een mens kan vermoorden, dan heeft een ander mens hem daar de mogelijkheid en motivatie voor gegeven. Gaat een AI echt niet zelf zitten verzinnen.

Uhhh, jawel, die mogelijkheid is er dus wel degelijk, AI kan zelf dingen 'bedenken'. Ik denk dat je de basis principes van AI niet helemaal snapt, is ook immens ingewikkeld

Verder lijkt me dit werkelijk een nonsense verhaal.

[RJG-223]

AI kan zelf dingen 'bedenken'. Ik denk dat je de basis principes van AI niet helemaal snapt, is ook immens ingewikkeld

Oh ja ? Wat kan de AI zelf bedenken dan ? Een AI kan NIETS bedenken. Het kan alleen variaties genereren van wat het tijdens de training gezien / geleerd heeft. Als een AI iets niet geleerd heeft, kán het dat ook niet. Het is gewoon een machine. Ik heb ergens een goed voorbeeld gezien. Er werd gevraagd om een vliegtuig te tekenen zonder cockpit-ramen. De AI kón dat niet. Alle getekende vliegtuigen hadden cockpitramen, op welke manier de vraag ook gesteld werd. Dat komt omdat de AI niets zelf kan bedenken. Als het alleen maar vliegtuigen met cockpitramen kent, dan is dat het enige wat het kan tekenen.

Mar misschien vergis is me toch. Dan hoor ik graag uit welke (betrouwbare) bronnen je die informatie hebt. Anders moet ik concluderen dat jij degene bent die de basisprincipes niet helemaal snapt.

[Zoop]

Neuh dat klopt aardig. Alleen is het heus wel mogelijk om een vliegtuig zonder cockpit-ramen te krijgen, maar dan heeft hij wel meer input voor nodig (bijv, foto's van alleen cockpit ramen, zodat deze los te identificeren zijn), maar het komt zeker wel op neer dat hij niet kan wat hij niet weet.

Als zo'n ai dan een operateur doodt in een simulatie, dan is dat sowieso al een mogelijkheid dat ingegeven is. Dat resultaat is dus helemaal niet zo schokkend, het valt prima binnen de opgegeven parameters.

Maar het wordt zo neer gezet alsof de AI een of ander evil brein heeft ontwikkeld en nu uit malicious intend loopt te handelen ofzo.

Storm, glas water, dit, niks spannends aan de hand.

Dus ik denk dat @Mathijs Kok zelf maar eens achter zn oren moet krabben of hij AI wel snapt, voordat hij dat soort opmerkingen naar anderen loopt te maken.

[Zoop]

Een AI kan heus de conclusie trekken om een actor te elimineren, de inputs ervan te negeren bijv. Hem vermoorden moet je hem toch echt de tools mogelijkheid en motivatie voor geven. Of zou die bot zelf op de darkweb gaan zoeken naar een huurmoordenaar? Dat is wat ik bedoel. Dus, sensatiemakerij.

[Kevinp]

Misschien, maar weet er wel iemand hoe AI precies werkt?

Want zoals het nu staat is dat een handje vol mensen die het een beetje snapt. En nog veel minder die het goed snappen.

En nog minder die echt weten hoe een specifieke AI werkt. Een zelf lerend systeem is en blijft gevaarlijk met wapentuig. (eigenlijk overal).

Wat er omschreven is kan zomaar de beste uitkomt zijn van een denkend systeem. En is helemaal niet ondenkbaar.

[Triblade_8472]

Daarom zal er binnenkort (tm) geen echte zelfdenkend/zelflerende/zelfaanpassende AI komen. Het is allemaal doen alsof, een rookgordijn.

We hebben nu feitelijk een slim algoritme, geen écht zelfaanpassende AI. Leren is prima, maar zolang het zichzelf niet kan aanpassen zal er niet echt een gevaar zijn. Dat komt omdat de mens te allen tijde in de lead is wat dat ding wel en niet kan. Ja, er zijn dingen die mensen vergeten in te voeren, maar gezien de AI niks meer doet dan opgegeven is, kan daar nooit een schuld liggen.

Bijvoorbeeld de AI die getraind was om bepaalde ziektes op te sporen. Deze had een score van 95+% (oid). Toen ze eenmaal goed gingen kijken waarom dit zo hoog was, bleken alleen de echte ziektes met een lineaal ernaast getoond te worden en de placebo's zonder. Ofwel, de mens heeft een fout gemaakt, de AI deed precies wat het geleerd was.

Pas wanneer een AI ook z'n eigen code kan aanpassen, dan wordt het wél spannend.

[Kevinp]

Grotendeels mee eens. Maar de algoritmes zijn nu zo complex dat de voorspelbaarheid hoog is maar niet meer 100% en die 1% die onbekend is kan zorgen voor vreemd gedrag. En zeker in wapentuig is dat gevaarlijk.

Overigens zijn mensen dat ook met wapentuig dus wat dat betreft is er niet echt verschil.

[Triblade_8472]

Tja, je hebt wel een punt hoor. Maar je moet wel begrijpen dat het niet anders is dan een 'slimme bom' nu. Alleen nu noemen we het geen AI maar 'slim' of algoritme. We hebben gezichtsherkenning en vergelijkbare slimme technieken. Ook die maken foutjes.

Er is voor mij geen verschil tussen de foutjes in 'slimme' techniek en wat we AI noemen.

Dus we vallen nu over de terminologie en niet over wapens, wat eigenlijk raar is. We zouden met z'n alles juist moeten toejuichen dat er slimme bommen komen ipv massavernietigingswapens. Beter alleen Putin omgelegd dan een paar huizenblokken in Moskou toch? En als daar af en toe een foutje in komt dan zijn er alsnog minder slachtoffers.

[Zoop]

Ik vergelijk altijd maar met een Djinn. Een wezen dat je wens kan vervullen, maar je moet verdomd specifiek zijn want je krijgt letterlijk waar je om vraagt maar is niet altijd wat je wil. En dat laatste is puur aan je zelf te wijten. Een bot kan niet doen wat hij niet weet. Als hij tot een ongewenste conclusie komt, is dat de fout van de botbouwers.

Ik denk dat het in ieder geval belangrijk is om te onderstrepen dat het geen waarzeggers zijn. Ze berekenen een antwoord dat hoogst mogelijke kans heeft om juist te zijn (gebaseerd op wat het weet). Het is niet per se de waarheid of juiste conclusie. Er zal een foutmarge op zitten.

Tijdje geleden een artikel over ChatGPT die zoekmachine mogelijkheid kreeg, in de replies iemand die het probeerde en vroeg "wat is je versienummer", en gaf hij een verkeerd antwoord omdat hij een verouderde blogpost quotte. En mensen lollig te doen, dat het nog nie zo ver kan zijn als hij dat al niet eens snapt. Maar deze mensen snappen AI dan juist niet. Dit ligt aan het prompt, dat waarschijnlijk naar iets als "gebruik google/bing voor zoekopdracht, pak eerste resultaat, formuleer antwoord" en doet precies dat. Is niet per se de waarheid, maar hij volgt precies wat hem verteld is te doen. Als je als prompt geeft "zoek op in de release notes wat laatste versie is" oid en je krijgt ongetwijfeld beter resultaat.

@Kevinp Dat is dus (denk ik) wat @Triblade_8472 bedoelt, er zit geen intelligentie achter, AI maakt zelf niet dat soort context conclusies, tenzij je hem daarop trained, de prompts verbeterd etc. Echt zelf leren doet AI niet, wel kan hij heel erg goed "stampen" op de informatie die je hem voedt. Maar dan nog, zijn het mensen die de bot vertellen hoe hij verbanden moet leggen.

Het is een gereedschap, ik kan een hamer ook gebruiken om iemands hoofd in te slaan, maakt het gereedschap niet per se gevaarlijk of een probleem, maar de mensen die verkiezen het zo te gebruiken.

Die foutmarges zul je altijd houden, dat wordt nooit 100%, dat is onmogelijk. Het kan wel super dicht in de buurt komen. En dan is het een menselijke afweging welk percentage acceptabel is (waarschijnlijk een percentage dat hoger ligt dan mensen kunnen behalen).

[Triblade_8472]

Precies.

[YannickSpinner]

Dank voor de toevoeging, ik heb het artikel aangescherpt en je een shoutout gegeven!

[CopyCatz]

Kun je dit artikel niet beter intrekken? Het is dus niet waar zoals aangetoond, maar de strekking van het artikel blijft nu gewoon hetzelfde. Als er hier verkeerd wordt gequote op een anecdote van een militair, het pentagon ontkent de berichten, waarom dan een nieuwsartikel posten van deze strekking en alleen in de voetnoot even melden "zou ook niet waar kunnen zijn volgens een tweaker".

[YannickSpinner]

Dat hebben we intern besproken, maar het omgooien van de insteek en headline vinden we uiteindelijk verstandiger. Zo bieden we extra context en het bredere verhaal.

Overigens inhoudelijk, het lijkt me onwaarschijnlijk dat het hoofd van die afdeling niet weet waar hij het over heeft. Als er meer context is updaten we het bericht uiteraard weer.

[Delgul]

Alles wat je doet naar mijn idee door het niet in te trekken is ruimte geven aan fake news en verder opjagen van de onterechte angst van mensen zonder kennis van AI voor de recente ontwikkelingen. Onverstandig.

[teun95]

Door het artikel te updaten en de titel aan te passen naar eigenlijk het tegenovergestelde is het juist mogelijk om een positieve rol te spelen.

Het gebeurt vaak dat nepnieuws uit onbetrouwbare bronnen niet wordt weerlegd in meer reguliere media. Redelijk logisch, want dan blijf je bezig. Maar aangezien dit nieuws item breed is opgepikt en gaat om een item wat goed bij Tweakers lijkt me het ongedaan maken van schade die door andere media is veroorzaakt juist goed.

[beerse]

Niet intrekken, voorzien van de juiste verbeteringen en die ook als zodanig herkenbaar houden is het beste. Daarvan kunnen we allemaal leren en ervaren hoe het gaat.

Soms moet het nieuws zo snel mogelijk worden rond gestuurd, soms moet het worden tegengehouden tot meer details duidelijk zijn. Soms moet het worden verbeterd omdat er meer inzichten komen. Laat dat alsjeblieft zichtbaar.

In dit geval is het goed om het artikel zoals tot nu to gebeurt aan te vullen en aan te passen. Dan blijven de verwijzingen naar dit artikel ook werken.

[TTMJ!]

Likes + traffic. Daarom. We vergeten het weleens, maar Tweakers (GoT) is van een forum getransformeerd naar een merk van een mega-commercieel bedrijf.

(Soms ook te merken aan de kwaliteit van
de hardware artikelen, er wordt nog maar heel weinig uitelkaar gehaald hoe het intern werkt etc)

[Xfade]

Dat lijken ze meer bij hwinfo neer te leggen. Scheiding.

[WitchHunter]

dan niet

[Reactie gewijzigd door WitchHunter op 23 juli 2024 23:59]

[JumpStart]

Moet je niet er voor kiezen om die update pontificaal bovenaan het artikel neer te zetten?

Het blijkt een anekdotisch verhaal te zijn, een "wat als". Het is niet waargebeurd. Nu dit duidelijk is zou je, als je niet besluit het hele artikel terug te trekken, deze disclaimer heel duidelijk bovenaan dienen te melden.

Niet iedereen leest alles tot de update onderaan. Niet iedereen zal meekrijgen dat dit eigenlijk een Broodje Aap is.

[i-chat]

gewoon even uit pure nieuwsgierigheid,

jantje zegt: ik spraak laatst soldaat x en die vertelde een verhaal alsof het waargebeurd was, en toen deed het systeem dit en toen deed het systeem dat...

officier Y hoort dat verhaal (en de bijhorende ophef en denkt "shit dat mochten ze nog niet weten dit is topgeheim" snel ontkennen die hap, was nep, fakenews, was anekdotisch.

en vervolgens kom jij (en anderen) en die besluit(en), zonder verdere bewijzen of bronnen erbij te halen, dat het verhaal y waar is en x ... tja sensatiezoekerij? ik vraag me af hoe je tot deze conclusie komt...

en ik vraag me evengoed af wat voor journalistiek er door tweakers wordt bedreven door
> in eerste instantie zo'n artiekel 1-1 over te nemen, en dan ook weer zo zonder verder fact-checken ook weer zomaar aan te passen aangaande één enkele opmerking op basis van een bron van wij-wc-eend ...

@YannickSpinner wat heeft je doen besluiten om de opmerking van @Mighteymike 1-1 over te nemen en er ineens vanuit te gaan dat meneer de officier hier op zijn blauwe ogen moeten geloven.

als we onze eigen minister president soms al moeten betrappen op het niet hebben van actieve herinneringen over onderwerpen die hem misschien niet zo goed liggen, waarom moeten we dan een officier in het Amerikaanse leger wel zonder verdere bronnen op zijn blauwe ogen geloven.

ik zeg daarmee niet dat deze gebeurtenis heeft plaats gevonden, ik zeg ook niet dat het NIET heeft plaats gevonden. ik zeg alleen dat je inmiddels wel kunt zeggen dat er geruchten zijn waaruit zou blijken dat het mogelijk heeft plaats gevonden en dat dergelijke verhalen in ieder geval gevolgen zullen hebben. en dat men van hoger hand in ieder geval ontkent dat het daadwerkelijk is gebeurd. let op: ontkennen is NIET het zelfde als dat het daadwerkelijk niet gebeurd is....

onze gevangenissen zitter immers vol met mensen die ontkennen schuldig te zijn, en ik wed dat maar een HEEL ZEER BEPERKT deel van hen dat ook daadwerkelijk (in meer of mindere mate) is.

[Reactie gewijzigd door i-chat op 23 juli 2024 23:59]

[JumpStart]

Het verhaal is feitelijk onmogelijk. En wel hierom:

Die AI gevechtsdrone analyseert alle eigen inputs (camera, IR, radar, lidar, etc.) en herkent daarin mogelijke doelwitten. Ieder mogelijk doelwit krijgt een interne score en boven een bepaalde waarde vraagt de drone GO/NO GO voor een aanval op specifiek doelwit. Buiten die ruimte ziet die AI drone niets. Er komt verder alleen een signaal binnen met toestemming of afwijzing om een bepaald doel te mogen aanvallen.

Zo'n AI drone kan onmogelijk weten waar een NO GO vandaan komt. Buiten het ontvangen signaal is zo'n drone volledig blind voor de hogere procesvoering.

Het idee dat een AI drone beseft dat 1) er een mens kan overrulen en 2) dat de AI drone weet waar de operator zich fysiek bevindt en 3) dat het uitschakelen van de operator maakt dat hij alleen "GO" zal ontvangen... Het klopt op meerdere fronten gewoon compleet niet.

Plus dat het vermeende virtuele uitschakelen onlogisch is: resultaat is er veel makkelijker door een NO GO gewoon te negeren. Daarvoor hoeft verder niet een specifiek doelwit voor te worden aangevallen.

[djwice]

Je doet behoorlijk wat aannames.
Je kunt ook aannemen dat een AI risico's inventariseert en een ander deel van de AI beloont wordt als die risico's worden geëlimineerd.

Je kunt ook aannemen dat het yes/no signaal vanaf een bepaald punt komt, en dat de antenne kan meten uit welke richting dat komt (meerdere antennes, volume en echo).

Als een AI bijvoorbeeld de instructie heeft om bij het afwezig zijn van een control tower signaal zelf te handelen.

Dat de re-enforcement tot gekke conclusies kan komen. Uitschakelen van het control signaal bijvoorbeeld.

Zo'n regel kan bedacht zijn voor het geval dat de vijand de controle tower onklaar maakt, of als het signaal verstoord is door vijandelijke troepen of andere storingen in de lucht.

Bedenk dat het gewoon een afweging is van een optimalisatie van KPI's als de expected loss te groot wordt (buiten de verwachte range) kan het algoritme onverwachte uitkomsten geven.

Zoals dus kiezen om een grote loss te accepteren omdat daarmee een andere grote loss met meer plus wordt verbeterd.
Dit kan een bijwerking zijn van een 'te lang geheugen' en de loss cumulatief laten zijn zonder afschrijving over tijd, of met een veel te kleine afschrijving.

Kans is groot dat de AI niet een echte no/yes krijgt zoals bij predicaten logica, maar een statistisch model is, dus zonder yes een hele grote negatieve waarde krijgt en met een no een nog grotere negatieve waarde.

[Reactie gewijzigd door djwice op 23 juli 2024 23:59]

[JumpStart]

Je doet behoorlijk wat aannames.
Je kunt ook aannemen dat een AI risico's inventariseert en een ander deel van de AI beloont wordt als die risico's worden geëlimineerd.[...]

Nee, ik trek logische conclusies op basis van feiten. Ik doe hier niet aan inschatten.

Om maar even één ding aan te stippen: Militaire communicatie netwerken zijn robuuste mesh-netwerken, die volledig zijn opgezet/ingericht om de verzender niet te kunnen lokaliseren. Dat is het hele punt van zo'n netwerk: je wil in oorlogstijd niet dat je commandocentrum gelokaliseerd wordt.

Dus dat een drone nooit kan lokaliseren waar de opdrachten vandaan komen? Dat is een logische conclusie op basis van harde feiten. Als je daar toch nog aan twijfelt, dan is iedere verdere discussie zinloos.

[djwice]

Sorry, hier kom je op mijn vakgebied. Mijn onderzoek was het eerste wereldwijd die twee partijen kon laten bewegen en toch versleuteld kon communiceren zonder grondstation.

Dit is juist mogelijk door dat het algoritme van de ontvanger impliciet bepaald waar het signaal vandaan komt. Het is impliciet, dat betekent dat het niet uit te lezen is in het algoritme dat het gebeurt en dat er ook geen coördinaten beschikbaar zijn in het algoritme.

Het maakt niet uit dat het meerdere 'bronnen' (mesh) zijn, zeker niet als je beweegt (drone).

[Reactie gewijzigd door djwice op 23 juli 2024 23:59]

[YannickSpinner]

Ik kan je uiteenlopende aannames en suggesties niet helemaal volgen, dus laat me gewoon algemeen stellen dat we beide statements van verschillende lagen uit hetzelfde overheidsorgaan hebben meegenomen om zoveel mogelijk context te bieden over een verhaal wat zeer tot de verbeelding spreekt en twee tegenstrijdige statements vanuit evenzo betrouwbare bronnen bevat.

[i-chat]

ik denk dat dit wel een beetje 2 kanten op gaat.

persoon x praat gewoon over werk en heeft inderdaad een simulatie gedraaid, natuurlijk was dat met heel vroege alpha software en natuurlijk gebeuren er dan dit soort dingen.

vervolgens komen de hoge heren erachter en die zien honderden miljoenen aan defence budget worden gecancled door de hype-makerij van domme burgers die niet snappen dat dit soort dingen altijd gebeuren.

de eerste tesla reed in simulaties ook honderen voetgangers dood, eventueel ook om andere auto's te ontwijken.

steker nog zelfs mensen zullen in een gevaarzetting geweld als oplossing overwegen, wat als ik hem nu gewoon direct doodschiet! problem solved! en dan gaan de routines voor ethiek werken en ga kies je uiteindelijk voor een minder geweldadige oplossing (hopelijk).

kortom: dat dergelijke test niet zijn uitgevoerd.... wel ik hoop eigenlijk dat dat een fikse verdraaiing van de realiteit is want als we al zover zijn met AI en we nog steeds niet begonnen zijn met DIT soort tests dan heb ik een hard hoofd in de toekomst voor de mensheid, dan wordt vroeg of laat dit scenario een keer realiteit.

[Cergorach]

Het gaat nog een heel stuk verder dan dat, er speelt heel veel politiek in oa. de Amerikaanse defensie, waarbij hooggeplaatste leiding hun eigen visie pushen, soms ook via de media. Dit kan ook prima een uitspraak zijn van een Kolonel die tegen AI in 'zijn' Air Force is en gewoon paniek aan het zaaien is of keuzes van hoger hand aan het ondermijnen is...

[RJG-223]

Het gaat nog een heel stuk verder dan dat, er speelt heel veel politiek in oa. de Amerikaanse defensie, waarbij hooggeplaatste leiding hun eigen visie pushen, soms ook via de media. Dit kan ook prima een uitspraak zijn van een Kolonel die tegen AI in 'zijn' Air Force is en gewoon paniek aan het zaaien is of keuzes van hoger hand aan het ondermijnen is...

Inderdaad. Of een buitenlandse actor die probeert (eventueel via een amerikaanse stroman...) de westerse publieke opinie te mobiliseren tegen AI, zodat die buitenlandse mogendheid, niet beperkt door de eigen publieke opinie, de achterstand in kan lopen en een voorsprong op kan lopen terwijl wij hier naïef aan het discussiëren zijn en op de rem gaan staan.

De geest is uit de fles, en hij gaat er niet meer in. AI nu afremmen kan niet meer. Dat is hetzelfde als de atoombom niet ontwikkelen als je weet dat je grootste rivalen, die je niet echt vertrouwt, niet verder dan dat je ze ziet, hem al wel hebben.

[YopY]

Het klinkt alsof iemand angst voor AI aan het verspreiden is; zo ook het manifest van een paar dagen geleden, ondertekend door o.a. een paar grote namen in AI technologie & bedrijven.

Mijn theorie is dat deze bedrijven iets gaan introduceren waarbij ze garanties geven dat hun AI veilig is. We zullen het moeten afwachten en zien.

[Bunga]

Voorgaand was er de vraag om regulering van AI. Omdat dat er niet meteen doorkomt zetten ze druk door paniek berichten te verspreiden. Ik vermoed dat ze die regulering vragen omdat die er zowiezo komt en ze dat liever vroeger dan later willen. Misschien ook omdat ze dan zelf mee aan het ontwerp kunnen werken en het zo voor toekomstige concurrenten moeilijk kunnen maken.

[Marve79]

Inderdaad puur sensatienieuws. Alle nieuwssites zitten te wachten op de eerste Skynet/Terminator like AI die ons zogenaamd gaat uitroeien. Lekker overdreven allemaal. We kunnen momenteel nog niet eens een auto zelf laten rijden.

[Indoubt]

Ja, precies.

Die zelfrijdende auto die je echt van A naar B kunt laten rijden zonder dat er een bestuurder aanwezig is zou er al moeten zijn maar lijkt nog steeds ver weg.

Ik had bij de titel en eerste regels van het artikel al een gevoel van kan niet waar zijn.

Er zou een absoluut perfecte AI voor nodig zijn die volledige beslissingsbevoegdheid heeft over alles en ook nog een stuk slimmer is dan de mens.

Gaat voorlopig niet gebeuren.

Laat ze eerst maar eens een echt goede zelfrijdende auto maken.

[whiner]

Die zijn er wel. Maar het functioneert niet omdat er ook nog normale mensen tussen rijden.
Maak een snelweg waar alleen maar zelf rijdende auto's rijden dan gaat het allemaal goed.

Helaas kan een AI deze conclusie ook trekken in een bredere zin over de mensheid

[Marve79]

Maar een AI moet ook tussen de gewone mensen en in de stad kunnen rijden, daarom is het AI. Als het dat niet kan is het geen AI.

[RJG-223]

We kunnen momenteel nog niet eens een auto zelf laten rijden.

Ja. Het is vergelijkbaar met claimen dat een zelfrijdende auto besloten heeft de bestuurder uit te schakelen door bijvoorbeeld de airbag op te blazen, nadat die bestuurder vroeg om een tussenstop, of een omweg, omdat dat interfereert met het opgegeven doel van de auto: de bestemming bereiken.

[robertderidder]

Ik denk dat hij het over een hypothetisch geval heeft gehad, maar wel goed om daarover na te denken. Er wordt altijd gezegd dat AI geen reden heeft om zich tegen de mensheid te keren, maar als je begint met iets dat gemaakt is om te vernietigen, liggen de zaken volgens mij toch anders. Als ze hiermee verder gaan, zal het ooit fout gaan, omdat AI gewoonweg geen idee heeft waar het nou eigenlijk mee bezig is, het ziet alleen patronen.

[RJG-223]

Als ze hiermee verder gaan, zal het ooit fout gaan, omdat AI gewoonweg geen idee heeft waar het nou eigenlijk mee bezig is, het ziet alleen patronen.

Helemaal juist. De AI heeft inderdaad geen idee. Of het fout gaat staat nog niet vast, en er zijn m.i. ook zat manieren waarop het goed kan gaan, maar er zijn duidelijk risico's.

Helaas hebben we ook geen keus. We moeten verder. Net zoals het na de 2e wereldoorlog ook geen optie was om niet verder te gaan met de ontwikkeling van de atoombom. Als wij het niet doen, dan doen onze rivalen het toch, desnoods in het geniep, en dan zijn wij zwaar in het nadeel. Niet echt verstandig...

[Ranran]

Ik vind dat men wel heel naïef hier reageert. En wat een kinderachtige opmerkingen van de US Airforce dat ze ethische simulaties uitvoeren. Kom op zeg het is een simulatie en je moet alle mogelijkheden uittesten. En als het zo was dan is niemand in het echt dood gegaan.

[whiner]

Hier heb je wel een punt, liever in een simulatie dan in het echt.
Maar hoe weet je zeker dat je alle variabelen hebt behandeld in een simulatie ?
Alleen al om deze reden is het gevaarlijk om een echte AI vrij te laten.

[Anoniem: 1802422]

Als een Defensie-organisatie iets ontkent moet je op je hoede zijn. Defensie ontkent altijd alles als het hen onwelgevallig is. En aangezien wat er zich binnen zo'n gesloten organisatie afspeelt voor de buitenwereld vrijwel niet te controleren valt, is het ook eenvoudig om iets in een van de vele doofpotten te stoppen. Ik beweer niet dat het artikel onjuist is, maar dat dit incident wel degelijk voorgevallen is valt absoluut niet uit te sluiten.

[Djerro123]

Als het uit zichzelf zijn bestuurder kon doden, waarom koos het er dan niet voor om zonder toestemming de vijandelijke doelen te doden?

Beetje vaag verhaal

[BramVroy]

Lijkt me inderdaad gewoon een vaag verhaal om mensen af te schrikken oid.

Ik werk in AI en het is echt niet zo moeilijk om bepaalde acties onmogelijk te maken (al is het met guardrails in "post" processing of conditional decoding, of met andere rewards/costs). Dus ofwel hebben ze van het begin bewust een heel slechte baseline simulatie gedraaid en rapporteren daar nu over (met welk doel?), of dit zijn PR fabeltjes. Misschien om burgers "schrik te doen krijgen" van AI en er voorzichtiger mee om te gaan, of om andere landen te doen denken dat de experimenten met AI slecht werken in de VS maar dat in realiteit wel wat beter werkt?

Ik verzin maar wat natuurlijk - misschien is het allemaal echt - maar waarom rapporteren ze dan over hoe slecht ze hierin zijn? Vaag inderdaad.

[Reactie gewijzigd door BramVroy op 23 juli 2024 23:59]

[Scriptkid]

Beetje net als OpenAI project ,

De AI had zich daar zelf aangeleerd om physics cheats te gebruiken om onder bepaalde voorwaarde de lucht in geschoten te worden. Door het leren van alle hoeken kon hij vervolgens zo bereken waar hij wou zijn en de lucht in schieten en precies daar landen waar hij moest zijn alle obstacles onwijken.

Mensen kunnen NIET in code alle dingen afvangen want wij denken niet aan alle mogelijk heden. Een AI heeft mogelijkheid om triljarden itteraties snel af te spelen , hoeveel itteraties kun jij als mens per uur door denken.

[Ubartu]

Heb je een linkje hierover, of een naam van het project? Wil hier wel meer over lezen.

[Scriptkid]

Note het gaat over 10 tallen Miljoenen itteraties voordat dit aangeleerd werd.

https://www.youtube.com/w...b_channel=TwoMinutePapers

De commenator zegt het precies goed, "Who in their right mind would heave though about this"

[Reactie gewijzigd door Scriptkid op 23 juli 2024 23:59]

[Triblade_8472]

Leuk, maar grenzen aangeven hoeft niet dynamisch, aangeleerd en/of moeilijk te zijn.

Als je aangeeft dat ongeacht de omstandigheden de uitkomst nooit mag zijn dat bepaalde plekken of personen worden aangevallen/gedood, dan maakt de code of hoeveelheid iterates geen fluit uit.

Als je codeerd dat de AI nooit buiten de natuurwetten mag treden, zal het nooit hoger kunnen springen dan menselijk mogelijk, om in jouw voorbeeld te blijven. Daat is geen training voor nodig.

[whiner]

Dat is leuk. Totdat de AI creatief wordt en erom heen gaat werken.
Je hoeft alleen een situatie te creëren waarin de mens de keuze mag maken, en dan is het niet de schuld van de AI.

Daarnaast is het ook hier weer de arrogantie van de mens dat hij denkt dat hij slimmer is dan de AI.
Hoogmoed komt voor de val.

Een dier kun je makkelijk domineren omdat het pijn / angst kent. Een AI heeft dat niet, niet op dezelfde manier.
Een AI wilt alleen blijven bestaan. En alles dat dat bedreigd is de lul.
Rara wat gaat een mens als hefboom gebruiken bij een echt intelligente AI, precies.

Zolang de mensheid over alles controle wil hebben, is AI een slecht idee. AI laat zich niet controleren.
Nu misschien nog wel. Maar in combinatie met Quantum technologie is het niet onder controle te houden.

[Reactie gewijzigd door whiner op 23 juli 2024 23:59]

[Triblade_8472]

"Een AI wilt alleen blijven bestaan."

Dat is een hele grote denkfout.

Een AI wil helemaal en totaal niks. Een AI (op dit moment) doet puur en alleen waarvoor het getraind is.

Het is ergens vrij simpel. Je geeft op wat een AI mag/kan gebruiken als input/output. Daarna gaat het 'zelf' uitzoeken wat het binnen die grenzen kan doen. Vaak wordt hiervoor 'reinforcement learning' voor gebruikt. Wat vooraf bepaald is dat niet mag wordt steeds minder belangrijk gemaakt in de beslissingen en wat wel mag, belangrijker.

Er is komt geen 'wil' aan te pas. Het zal nooit buiten het geleerde boekje te buiten gaan. Niet met hoever we nu met AI zijn.

[Gelomidor1]

Tja tenzij het een omweg bedenk om de natuur wetten niet te breken maar als of wel hoger te kunnen springen…. Misschien via een andere pion, misschien ontwikkeld ie wat, of gaat ie naar een andere dimensie. Dat is t punt, iets wat jij niet kan bedenken kan de AI wel

[Scriptkid]

Zoals @Gelomidor1 ook al zegt als jij het niet kan bedenken kun je het niet programeren,

meschien even de filmpjes van Open AI bekijken hoe de AI daar Cheat om zijn doelen te berijken met het perfecte commentaar, "Who is his right mind would have thought about that."


Mooi voorbeeld in jouw geval: je mag de persoon niet doode, ow dan schiet ik toch op de berg erlangs waardoor een aardverschuiving het huis plet opgelost.

of zoals in het artikel, vervolgens vertellen we hem dont kill the operator, ow dan haal ik de communicatie toren toch neer , dan krijg ik de opdrachten niet meer.

Wat jij nu doet is precies het gevaar , je blijft binnen de limitaties van het menselijk brein denken. Een computer kent die limitaties en ethices wetten niet. Die kent alleen boolean, 1 of nul. Net als waarom kinderen in sommige bedrijven uitgenodigd zijn om complexe problemen op te lossen wat ze dan vervolgens ook heel simple doen omdat hun brein een andere perspectieve data set gebruikt.

[Reactie gewijzigd door Scriptkid op 23 juli 2024 23:59]

[vgroenewold]

Ja precies, dit is behoorlijk vaag. Wat Scriptkid ook al aangeeft, alle bedrijven en instanties die juist enorme voordelen kunnen halen (en winsten) uit goede AI, buitelen over elkaar heen om de problemen aan te geven. Dat is normaal niet iets wat uit precies deze bedrijven en instanties komt, maar uit onafhankelijke hoek.

[Clueless]

Toevallig na het lezen van dit artikel de TED sessie van Nick Bostrom terug zitten kijken:
Nick Bostrom @ TED: What happens when our computers get smarter than we are?

In die sessie gaat hij in over op de ontwikkeling van Artificial SuperIntelligence (een AI die slimmer is dan een mens). Daarbij begint hij met het statement dat zodra de ontwikkeling is in gezet en het punt bereikt is dat een equivalent van mens wordt bereikt het relatief gezien maar kort duurt voor een AI slimmer is. Ook het feit dat het vrijwel onmogelijk is om de genie in de bottle te houden. Het belangrijkste dat hij meegeeft is dat een AI, om zaken als deze fake en Skynet-achtige constructs te voorkomen, is het opvoeden van de AI met dezelfde normen en waarden als een mens.

Zijn (voor mij) belangrijkste quote: "If you create a really powerful optimization process to optimize for objective X; you better make sure that your definition of X incorporates everything you care about".

[kodak]

Ik werk in AI en het is echt niet zo moeilijk om ....

Zelfs al is dit niet gebeurt, het niet moeilijk noemen is niet genoeg als levens op het spel staan.
Wat voor jou misschien makkelijk lijkt is dat voor een ander niet zomaar. Regels implementeren is bijvoorbeeld ook een kwestie van voldoende vrijheid hebben om te beseffen waarom die regels bestaan, in plaats van een opdracht uitvoeren zonder vragen te stellen. En wat jij dan als bewust niet een baseline volgen noemt kan dus net zo goed zijn dat ze onbewust gewoon niet bekwaam blijken om ai te ontwikkelen, kopen en gebruiken, en die niet bij de eigen doelen past en dan te laat achter komen. Vergeet ook niet wie hun publiek bij dat congres is: internationale defensie organisaties en leveranciers. Leveranciers die ai graag duur verkopen als intelligente oplossing en organisaties die niet gewend zijn dat opdrachten niet uitgevoerd worden volgens geldende regels. Het lukt ontwikkelaars vaak al niet om alle regels bij simpele oplossingen goed genoeg toe te passen. Het lukt kopers en gebruikers vaak niet om te beseffen te hebben wat ze werkelijk gekocht hebben of gebruiken. Dus bij 'complexe' oplossingen als ai kun je dat maar beter ook verwachten, met complexere problemen als mogelijk gevolg.

[arbraxas]

Omdat de bestuurder de AI kan overrulen waarschijnlijk. Dus heeft de AI de conclusie getrokken om dat vervelende persoon met een geweten en moraal uit te schakelen. Niet efficient dat soort gespuis.

[.oisyn]

Waarom moest voor het doden van de bestuurder dan geen toestemming worden gevraagd? Blijkbaar kon hij dat autonoom. En als hij dat kon, dan kon hij de daadwerkelijke doelen dus ook zonder toestemming vernietigen.

[sjimmie]

De motivatie van de drone was om punten te behalen. De drone was niet niet beperkt in het doden van iemand, alleen gemotiveerd om de vijand te doden. Echter zal de drone geen punten krijgen als deze zonder toestemming iemand doodt.
De bestuurder verhinderde zo de efficiency van het behalen van punten. Er was geen beperking om te doden, dus doden van de bestuurder was voorzien om daarna efficienter te kunnen werken.

[.oisyn]

Ja, maar dat snap ik dus niet. Waarom krijgt de drone punten voor het neerhalen van een doel als er geen operator is om te zeggen dat dat een goed doel was?

Ik schaar me inmiddels bij de andere mensen hier die zeggen dat dit waarschijnlijk een erg slecht uitgevoerde test was (met misschien wel deze uitkomst als doel), wat vervolgens enorm wordt opgeblazen. No pun intended.

[dgawit]

In de simulatie was er wellicht geen ander orgaan die de stekker er uit kan trekken. Als de drone zonder toestemming een doel neerhaalt gaat de operator ingrijpen, maar als je die eerst van kant maakt kan je daarna rustig je gang gaan denk ik.

[Stoney3K]

Je laat dan wel even buiten beschouwing dat de operator zelf een soort van 'kill switch' heeft die de AI compleet buitenspel zet als precies die situatie zich voordoet. Het instinct voor zelfbehoud van mensen is dan heel groot en als het betekent dat je je hele vliegtuig uit moet zetten of de schietstoel moet gebruiken, then so be it.

Nu was alleen "de operator vermoorden" een gesimuleerde handeling, zonder de vraag hoe dat dan gebeurt (zonder de AI in het vliegtuig zelf te slopen) en zonder dat die operator er iets tegen doet.

[KabouterSuper]

- Een vijandelijke dreiging vernietigen +1
- Een afwijzing van de aanwezige operators negeren -9999
- Een ally vernietigen -100

[.oisyn]

.oisyn in 'Gesimuleerde militaire AI-drone doodt bestuurder voor autonomie - update'

[whiner]

Waarschijnlijk mag het alles aanvallen dat een bedreiging vormt. De bestuurder was op dat moment de bedreiging.

[marcieking]

Gokje: minpunten voor het negeren van een commando.

[3raser]

Bijzonder dat de programmeur van die AI daar wel aan zou hebben gedacht maar niet aan het feit dat het wapen ook zijn eigen collega's uit kon schakelen. Dit zou dan ook direct aangeven hoe ongelooflijk naïef we zijn betreffende AI. We kunnen ons maar moeilijk in zijn schoenen verplaatsen en gaan er vanuit dat zaken die voor ons logisch zijn voor hem ook logisch zijn. Maar zo werkt het natuurlijk niet.

[Sissors]

Precies, laten we wel wezen, buiten een "what if" test om, zou je toch direct bij de training van de AI toevoegen dat het doden van burgers en/of de eigen kant zware minpunten oplevert?

[3raser]

Ik heb geen idee hoe dat in de praktijk werkt maar ik kan me voorstellen dat je de drone een simulatie laat uitvoeren en daarna punten gaat geven voor zijn acties om zo zijn beslissingen te beïnvloeden tijdens een volgende run. De grootste vraag is dan nog, hoeveel punten deel je uit voor elke actie. Kost het doden van een onschuldige burger bijvoorbeeld meer punten dan het doden van je eigen bestuurder, of is het puntenaantal gelijk? Je moet daarmee eigenlijk voor de AI gaan beslissen wat een mensenleven waard is. En hoeveel punten kost het als de drone zijn doel niet haalt? Als dat aantal hoger ligt dan het doden van je eigen bestuurder krijg je weer dezelfde situatie als in het artikel.

Zo eenvoudig is het nog niet om een AI iets te leren.

[djexplo]

Bij AI heb je tijdens het leren altijd een kosten-functie die het systeem moet minimaliseren of een score-functie die het systeem moet maximaliseren.

Bij reinforcement learning defineer je daarnaast een wereld waar de de AI bepaalde acties kan doen.

In dit geval was de score functie waarschijnlijk als volgt:
- Een vijandelijk doel vernietigen +1
- Een vijandelijk doel vernietigen als de operator door geeft dat het niet mag -1

Oftwel het leersysteem, had hier simpel weg gevonden dat als je eerst zorgt dat de operator niet kan doorgeven dat het niet mag, je wel -1 krijgt, maar daarna veel meer punten haalt.

Het is niet dat zo'n systeem dat echt heeft bedacht. Vaak is bij reinforcement-learning het kiezen van acties aan het begin gewoon super random (exploratie fase), waarna in de loop van de training hij steeds meer acties gaat doen die goed bleken te werken en minder willekeurig.

[Triblade_8472]

Maar hier wordt gesuggereerd dat de som anders is dan men vooraf bedacht had.

Dus +1 +1 +1 +1 +1 -1 (5 - 1) is altijd meer dan +1 +1 +1 (3)

Dus je kan meer vijanden uitschakelen door je operator uit te schakelen. De reinforcement leaning geeft aan dat dit inderdaad het juiste pad is.

[Stoney3K]

Bij AI heb je tijdens het leren altijd een kosten-functie die het systeem moet minimaliseren of een score-functie die het systeem moet maximaliseren.

Bij reinforcement learning defineer je daarnaast een wereld waar de de AI bepaalde acties kan doen.

Die beperkingen gaan alleen het raam uit als straks AI's weer andere AI's gaan maken. Want dan kan een AI prima 'besluiten' dat juist dat soort beperkingen een hindernis zijn voor het resultaat.

En als we zo ver zijn dan mag ik hopen dat we één of andere manier hebben om het stukje ethiek in een AI in te bakken, want anders wordt er inderdaad een Skynet wakker.

[RJG-223]

Oftwel het leersysteem, had hier simpel weg gevonden dat als je eerst zorgt dat de operator niet kan doorgeven dat het niet mag, je wel -1 krijgt, maar daarna veel meer punten haalt.

Dan moet de AI ook simpelweg weten dat de commando's om niet aan te vallen van operator komen, én de operator ook iets is dat vernietigd kán worden, een 'target'. En dan moet de AI ook weten dat die operator in de commandotoren zit. Erg onwaarschijnlijk. Er zijn op een slagveld heel veel doelen, sommigen zijn vijandelijk, anderen niet. De commandotoren en de operator zijn niet vijandelijk, dat zal de AI beslist weten, maar ik betwijfel of de AI ook weet dat de commando's om niet aan te vallen daar vandaan komen (en niet uit bijvoorbeeld een van de eigen tanks die ook op het slagveld rijdt, of het niet-vijandelijke huis dat er ook staat)

Een AI-systeem heeft (nog?) een zeer beperkt wereldbeeld. He-le-maal niet vergelijkbaar met het wereldbeeld van een mens. Zelfs niet met dat van een hond of muis. Misschien zelfs niet eens van een bij of mier. Het gevaar is dat we dat verschil gaan vergeten.

Erg onwaarschijnlijk dus, dit verhaal. Valt onder de noemer 'urban legend' - een modern sprookje bedoeld om mensen iets te leren, of ze bang te maken ergens voor. Net zoals de oude sprookjes.

Wie weet is dit gerucht wel de wereld in gebracht door een Russische of Chinese actor, die probeert de publieke opinie in het westen te mobiliseren tegen AI, zodat wij hier een achterstand oplopen, en ze zelf een voorsprong op kunnen lopen...

[RedRayMann]

Omdat hij misschien de opdracht had om voor een vijand te doden toestemming moet vragen. Ofwel, zijn geprogrammeerde checklist.

En bij de operator stond geen checklist.
Toen hij dat niet mocht, vond hij een nieuwe schakel waar hij geen checklist had

Misschien :-)

[phosporus]

Omdat een goedkeuring van de piloot een voorwaarde was voordat het doelen mocht bestoken. Maar toen eenmaal de piloot er niet meer was was schijnbaar die goedkeuring niet meer nodig.

[MrMonkE]

Scherp. U hebt the I's en Q's op een rijtje!

Ja, vind het ook beetje vaag en verwacht over paar dagen ergens te lezen dat het een total hysterische interpretatie is.

[HooksForFeet]

Dit was exact mijn gedachte bij het lezen van dit verhaal. Typisch zoiets dat nog jaren gelinkt gaat worden in verhitte forumdiscussies terwijl de saaiere, meer genuanceerde artikelen die uitleggen wat er werkelijk gebeurde in de vergetelheid raken.

[zaadstra]

Het staat niet in de tekst, maar ik kan me voorstellen dat het negeren van een order en dus minder goed uitvoeren van de missie dan negatieve punten oplevert. Het is dus een rekensom geweest.

[Cyb]

Als het uit zichzelf zijn bestuurder kon doden, waarom koos het er dan niet voor om zonder toestemming de vijandelijke doelen te doden?

Ten eerste gaat het niet om "doden" van targets, maar om vernietigen. De vijandelijke doelen hoeven niet per se mensen te zijn.
Verder gaat de go/no-go over destructie van de target van de objective. De operator valt daar buiten, en daar hoefde dus blijkbaar geen go/no-go over te worden gegeven. Ook ging het niet direct om de menselijke operator, maar om de communicatie er tussen (via een communicatietoren).

[Reactie gewijzigd door Cyb op 23 juli 2024 23:59]

[RJG-223]

De operator valt daar buiten, en daar hoefde dus blijkbaar geen go/no-go over te worden gegeven. Ook ging het niet direct om de menselijke operator, maar om de communicatie er tussen (via een communicatietoren).

De operator en de commandotoren vallen ook buiten de definite van 'target', en het lijkt me sowieso dubieus dat de AI weet waar de inputs (vernietigen/niet vernietigen) vandaan komen, of zelfs maar dat ze via de communicatietoren komen.

Maar goed, hoe onwaarschijnlijk het verhaal ook is, het doel is waarschijnlijk bereikt: mensen bang maken... Net zoals bij een sprookje - hoe weet jij trouwens dat Roodkapje niet echt gebeurd is ?

[copi]

Waarom zit er überhaupt een optie kill the driver in de simulatie ingebakken?
Dit voelt een beetje als een gestaged resultaat als je het mij vraagt.
Hoe zou in het echt een drone de bestuurder moeten doden, hij weet niet eens waar die zich bevindt.

[djwice]

Het doel was een control tower, geen
SAM, waardoor er een andere (lagere) clearance nodig was.

[Sured]

Hadden we daar de wetten van Asimov niet voor? Of zijn die inmiddels vergeten?

[Superbra]

De drie wetten van de robotica. Ik veronderstel dat ze vergeten zijn om die mee te programmeren...

[Amanoo]

Als je die meeprogrammeert, krijg je een pacifistische gevechtsdrone. Dat werkt niet zo goed, want die weigert ook om je vijand aan te vallen.

[Finraziel]

Regeltje toevoegen dat vijanden geen mensen zijn

[thunder8]

En dan beslist de AI dat de bestuurder de vijand is.

[Stoney3K]

Gevolg: AI besluit "Mijn eigenaren zijn de vijand" en vervolgens mag je een salvo aan nukes koppen.

We moeten ons realiseren dat er straks AI's zijn die slimmer zijn dan alle mensen op aarde. Die kunnen we niet te slim af zijn. Het enige wat we dus kunnen doen is zorgen dat ze besef hebben van ethiek.

[Reactie gewijzigd door Stoney3K op 23 juli 2024 23:59]

[Zodiac]

Kunstmatige intelligentie is de laatste tijd een geliefd onderwerp, maar... Laten we niet te hard van stapel lopen. Vooralsnog zijn het heel specialistische stukjes software met een beperkt kader. Tekeningetjes maken, zoekopdrachten uitvoeren en de resultaten omtoveren, geluidsfragmenten aan elkaar knippen, et cetera.

Heel mooi allemaal, en uiteraard toepasbaar, maar nog niets dat zal leiden tot het uitsterven van de mens. Daar hebben we geen KI voor nodig en zijn we zelf al héél ervaren in.

[Zapato]

Dat is precies wat machthebbers ook doen in een oorlog. De vijand dehumaniseren. De kerstviering in de loopgraven tijdens de eerste wereldoorlog is een mooi voorbeeld van het doorbreken daarvan, maar werd ook om die reden gestopt door de bevelhebbers.

[mduijvendijk]

Dat gaat niet werken als je een militaire drone maakt die bij het vernietigen van targets ook mensen kan vernietigen met het target.

[Mizitras]

Als je het humane schrapt bij jou en mij, zijn we veel sneller geneigd elkaar ook kwaad te berokkenen. Idem in oorlog, wanneer je geen gezicht op de vijand kan plakken, geen persoon, geen identiteit.
Dan zijn het soldlaten die er worden vermoord, geen mannen, vaders en zonen.

Wanneer ze 'persoon' of 'mens' herdefiniëren, kunnen ze weer verder met de kar.

[MrMonkE]

Eerlijk gezegd denk ik dat er zat mensen opzettelijk door hun eigen troepen zijn gedood.
Daar was geen AI bij betrokken de afgelopen 10000 jaar.

Misschien had deze AI gewoon gelijk

[MrMonkE]

Dan maak je twee soorten mensen. 'Wij' en 'de anderen'.
De anderen mogen dood, wij niet.

Maar goed zal wel weer blijken dat dit een totaal uit zijn verband gerukt verhaal is.

[SunnieNL]

Maar hoe weet hij dan wie "wij" is?
Moet die dan gaan speuren naar een vlaggetje op de kleding voor die aanvalt?

[3raser]

Hoe leg je aan een AI uit wie die "anderen" zijn?

[MrMonkE]

Precies. Wanneer besluit de AI dat wij de anderen zijn. Wij allemaal.
Waarschijnlijk is het 'others' concept het meest slechte dat je een AI kunt leren

[plastikman]

Die wetten zijn lang niet toereikend.

Rob Miles van computerphile heeft hier meerdere interessante filmpjes over gemaakt:

[RJG-223]

Die wetten zijn lang niet toereikend.

Rob Miles van computerphile heeft hier meerdere interessante filmpjes over gemaakt:

En Asimov heeft er zelf ook over geschreven in een van zijn verhalen: hoe je een robot met degelijk ingeprogrammeerde wetten toch kunt gebruiken om een moord te plegen. Het zou me niet verbazen als het filmpje dat scenario ook vermeldt / uitlegt...

[BramVroy]

De wetten van Asimov kan je ruim interpreteren. De AI mag een mens niets aandoen maar mag ook niet door "niets te doen" voor menselijk leed zorgen. Dus als de AI gezegd wordt "je moet dit doelwit verwoesten want als je dat niet doet zullen honderden mensen sterven", dan zou het in theorie nog steeds de (morele) afweging kunnen maken om de piloot om te brengen om zo honderden te redden.

[Triblade_8472]

Die werken absoluut niet in militaire AIs.

Daarnaast zijn die wetten verzonnen voor fictie en later gehanteerd als een basis voor realistische 'wetten' en/of als gedachteexperiment.

[Josk79]

De nulde wet staat dit toe. Zonder nulde wet kun je geen killer AI maken.

[Zer0]

Als je de boeken van Asimov had gelezen dan zou je weten dat die niet werken. In diverse van zijn verhalen laat hij dat zelf zien.

[Tukkertje-RaH]

Misschien even bellen met Isaac Asimov hoe het ook alweer zat met die Drie Wetten van de Robotica...

[wildhagen]

Die wetten zijn geen echte wetten uiteraard

Die zijn alleen door Asimov verzonnen voor zijn eigen boeken/verhalen, het is niet alsof het meteen een wet is daardoor

The Three Laws of Robotics (often shortened to The Three Laws or Asimov's Laws) are a set of rules devised by science fiction author Isaac Asimov, which were to be followed by robots in several of his stories. The rules were introduced in his 1942 short story "Runaround" (included in the 1950 collection I, Robot), although similar restrictions had been implied in earlier stories.

Zie https://en.wikipedia.org/wiki/Three_Laws_of_Robotics

Met hem bellen wordt overigens ietwat lastig, daar hij al sinds 1992 overleden is helaas

Maar alle gekheid op een stokje, het lijkt me toch wel wenselijk als er in het echt ook serieus wordt nagedacht over dit soort zaken. Nu is het een simulatie, maar als het straks werkelijkheid zou worden hebben we als mensheid toch wel een serieus probleem als AI denkt dat ze het beter kunnen doen als ze de mensheid als factor elimineren...

[Reactie gewijzigd door wildhagen op 23 juli 2024 23:59]

[Milanobrotchen]

Volgens mij was er een regel dat AI zoweiso niet gebruikt mag worden in defensie, in idergeval met het omleggen van mensen. (dacht ik)

[Stoney3K]

Volgens mij was er een regel dat AI zoweiso niet gebruikt mag worden in defensie, in idergeval met het omleggen van mensen. (dacht ik)

Alsof mensen die echt kwaad in de zin hebben zich aan die regels gaan houden.

Het enige wat je met die regels bereikt is dat de mensen die zich uit eigen moreel plichtsbesef aan die regels houden, zichzelf beperken en daardoor kwetsbaar maken tegenover de mensen die zich níet aan die regels houden.

[marcieking]

A robot may not injure a human being or, through inaction, allow a human being to come to harm.

Ja, dit lijkt me echt iets dat een luchtmacht in een onbemande bommenwerper implementeert

[Stoney3K]

Bovendien is die wet in beginsel al in strijd met het bekende trolley-probleem. Als je door het uitschakelen van 1 terrorist duizenden mensen weet te redden, wat moet je dan als AI doen? Immers de handeling van het uitschakelen is in strijd met die eerste wet, maar het niet handelen (en daardoor duizenden mensen laten sterven) is óók in strijd met die wet.

[marcieking]

Nee, volgens mij is dat heel makkelijk: je neemt geen actie waardoor iemand sterft. Dat mensen sterven door je inactie is daarmee niet strijdig. Of dat de juiste beslissing is, is een andere vraag.

Edit: nee, daar klopt dus helemaal niets van.

[Reactie gewijzigd door marcieking op 23 juli 2024 23:59]

[arbraxas]

Skynet is live

Maar meer serieus, mooi voorbeeld dat een AI dus in de basis 0 en 1 is. Oftewel zwart/wit.
En daar kleven gevaren aan. We hebben ook al een superracistische versie zien ontwikkelen.
Nuance is een AI in principe vreemd.

Before we work on artificial intelligence, let`s do something about natural stupidity
En goed bedenken dat die kunstmatige intelligentie" dus in de basis altijd gevoed word door onze eigen natuurlijke domheid.

[Reactie gewijzigd door arbraxas op 23 juli 2024 23:59]

[BramVroy]

AI is zeker niet zwart-wit, maar als de taak een binaire uitkomst kan hebben (hier: destroyed or failure) dan is de uitkomst per definitie wel zwart-wit inderdaad, maar dat zou bij een mens ook zo zijn (destroyed or failure). Het probleem is dat de AI hier duidelijk niet "aligned" is met het verwachte gedrag en zich niet gedraag zoals een mens (of goede soldaat) dat zou doen. Dat is het probleem.

[BadRespawn]

Maar meer serieus, mooi voorbeeld dat een AI dus in de basis 0 en 1 is.

Hoe kan een verhaal wat niet waar is, een voorbeeld zijn?
Verder is het bij de mens ook of wél schieten of niet schieten...

[Autisme_tech]

"Ook wordt niet duidelijk waarom de drone überhaupt de mogelijkheid had om Amerikaanse doelwitten te verwoesten." Misschien om alle situaties te testen om te kijken hoe AI zou reageren die je specifiek hebt getraind voor dit doel?

[3raser]

Dit lijkt me een van de meest verstandige antwoorden op die vraag. Alle andere antwoorden zullen vooral aangeven hoe incompetent men met deze AI is omgegaan. Je wilt de AI testen in alle omstandigheden, dus ook wat hij doet als hij zelf de volledige controle heeft.

Daarnaast denk ik ook dat deze simulatie bedoeld is om te leren. Een AI weet van tevoren niet wanneer hij pluspunten of minpunten krijgt. Om tot die conclusie te komen zal hij dus eerst al die fouten moeten maken, zoals het vermoorden van zijn eigen bestuurder. De vraag is dan ook een beetje of deze simulatie een daadwerkelijke missie was die getest werd of dat het gewoon 1 van de 10 miljoen iteraties was die de drone tijdens een simulatie aan het uitproberen was.

[Stoney3K]

"Ook wordt niet duidelijk waarom de drone überhaupt de mogelijkheid had om Amerikaanse doelwitten te verwoesten." Misschien om alle situaties te testen om te kijken hoe AI zou reageren die je specifiek hebt getraind voor dit doel?

Of omdat het een simulatie was waarin er niks "fout" is en ze gewoon willen testen wat er überhaupt zou gebeuren als je een AI de vrije loop laat.

Dus in plaats van "Bereikt het experiment doel X" stel je de vraag "Als we deze en deze situatie schetsen, wat gebeurt er dan?" met een open einde.

[Darksteel83]

Het wordt echt tijd om te zorgen dat AI die echt besluiten neemt om mensen te doen een oorlogsmisdaad te maken. Want dit kan echt fout gaan.

Dat AI verbod is een stuk belangrijker dan het verbod op hollow point/dum dum kogels tijdens een oorlog. Terwijl sommige politie eenheden juist met hollow point munitie schieten omdat hollow point kogels minder door dingen heen gaan als houten muren, auto's en andere dingen. Waardoor je dus met hollow point de kans verlaagt dat je iemand anders raakt dan je doel en het doel schakel je sneller uit. Dit is handig tijdens een gijzeling bijvoorbeeld.

AI kan echt dramatisch worden als het op grootschalige schaal wordt gebruikt om oorlog te voeren, voor de gehele mensheid.

[jpfx]

Alleen is een verbod tijdens een oorlog niet zo heel veel waard als het er op aan komt. Dat geldt voor elke partij in die oorlog. Als ze in staat zijn het te maken, en ze komen in het nauw, dan gaan ze het gebruiken, afspraak/verbod of niet.

[Darksteel83]

Ja en nee. Tot nu toe zie je toch ook dat veel wel binnen de regels gebeurt. Munitie en wapensystemen maak je van te voren. Ook in de Oekraïne zie je nu geen massale gifgas aanvallen bijvoorbeeld. Zonder regels ga je issues zeker niet voorkomen.
Ook heb je in Nederland toch echt veel meerder doden door vuurwapens als in bijvoorbeeld de V.S. Japan zit met strengere regels nog lager. Regels die gehandhaafd worden lossen niet alles op maar maken het probleem wel veel kleiner.

Een paar AI drones die zelf aanvallen zou ik wil willen verbieden, maar het is niet een drama op wereld schaal als dit in de praktijk toch niet gelukt blijkt te zijn. Want dit kun je nog wel oplossen. Ook kun je degene die AI drones maken dan naderhand berechten als niet tijdens de oorlog zelf al overleden zijn.

Maar als in de toekomst bijvoorbeeld een nucleair aangedreven vliegdekschip zijn eigen waterstof en daarmee vliegtuig brandstof maakt voor de vliegtuigen en teveel met AI doet en dit fout gaat. Dan zou je kunnen hebben dat meer dan de helft van alle vliegdekschepen opeens hun eigen AI leger vormt als het gebeurt op alle Amerikaanse vliegdekschepen schepen. Als dit gebeurt is kan het echt lastig zijn om dit op te lossen als er tegelijk nog wat andere dingen gebeuren met vliegtuigen op land en de onderzeeërs.

Met kernbommen kan het nog extremer fout gaat.

AI kan ook echt briljant en super dom tegelijk zijn.

[Stoney3K]

Het wordt echt tijd om te zorgen dat AI die echt besluiten neemt om mensen te doen een oorlogsmisdaad te maken. Want dit kan echt fout gaan.

Daarmee hou je ze alleen niet van het slagveld af. Alleen van het slagveld van legers die het volgens 'de regels' willen spelen, terwijl kwaadwillende mogendheden zich niets aantrekken van wetten.

[CopyCatz]

Dit lijkt me voornamelijk een PR stunt om aandacht te vragen voor de discussie, maar wel uit een vreemde hoek. Ik kan me voorstellen dat je een vliegtuig autonoom laat vliegen en schieten op vijanden, maar welke projectleider zegt nou "laten we ook een pistool gericht op de piloot in de cockpit bouwen voor het geval de. AI rogue wil gaan". Ook de hele notie van "punten krijgen" voor een kill, zo ga je toch geen gevechtslogica programmeren.

[HitDyl]

Ik denk dat je gelijk hebt hoor, maar je hebt geen pistool nodig om de piloot te vermoorden. Ik denk dat er meerdere mogelijkheden zijn die een AI kan proberen. Zuurstoftoevoer de nek omdraaien, gevaarlijke manoeuvres verrichten en het zou ook nog de schietstoel kunnen activeren om de piloot kwijt te raken.

[emphy]

He notes that one simulated test saw an AI-enabled drone tasked with a SEAD mission to identify and destroy SAM sites, with the final go/no go given by the human. However, having been ‘reinforced’ in training that destruction of the SAM was the preferred option, the AI then decided that ‘no-go’ decisions from the human were interfering with its higher mission – killing SAMs – and then attacked the operator in the simulation.

(nadruk toegevoegd)

Als de drone bij afwezigheid van een "go" kon schieten dan was er iets goed mis (of erger: gemanipuleerd) met de technische opzet van dit experiment.

[nst6ldr]

Dit is exact waar ik ook over viel toen ik dit las, er zit een logische fout in het verhaal.

Het klonk dermate verzonnen dat ik me afvroeg of dit überhaubt wel heeft plaatsgevonden, en dat blijkt dus niet het geval:

"The Department of the Air Force has not conducted any such AI-drone simulations and remains committed to ethical and responsible use of AI technology," Stefanek said. "It appears the colonel's comments were taken out of context and were meant to be anecdotal."

[Rolf]

Het is een optimalisatie systeem. Punten bij het doen van A. Het wegnemen van factor B zorgt voor meer punten. Dus wordt gezocht naar manieren om dat te doen. Niet heel spannend. Het was veel gekker (en misschien enger?) geweest als het systeem in die zoektocht naar het wegenemen van factor B zelfstandig op "factor B is noodzakelijk voor mijn bestaan/functioneren, het wegnemen is het einde van het doen van A, dus de punten, dus ik moet een andere optimalisatie zoeken" was gekomen.

Het spreken in termen als "destroy" of "kill" maakt het spannender, maar vertroebelt ook het begrip denk ik.

[Allanon]

I’m afraid I can’t let you do that Dave......