'Niet-militaire robots kunnen eenvoudig worden gehackt om schade aan te richten'

Beveiligingsonderzoekers van het bedrijf IOActive hebben gewaarschuwd dat eerder geconstateerde kwetsbaarheden in de beveiliging van consumentenrobots en industriële robots nog nauwelijks zijn aangepakt. De robots zijn simpel te hacken om ze schade te laten aanrichten.

De onderzoekers hebben in januari een vijftigtal kwetsbaarheden aangetroffen, maar slechts in enkele gevallen blijken de beveiligingsissues te zijn aangepakt. Volgens medewerkers van IOActive is het hierdoor nog altijd redelijk eenvoudig voor hackers om de robots in te zetten om hun gebruikers te bespioneren. Daarnaast kunnen bepaalde ingebouwde beveiligingsmechanismen worden uitgeschakeld, waardoor de robots hevig kunnen bewegen en een gevaar kunnen vormen voor nietsvermoedende omstanders. De onderzoekers stellen echter dat ze nog geen signalen hebben opgevangen dat de kwetsbaarheden ook daadwerkelijk worden misbruikt door hackers.

"Uit ons onderzoek blijkt dat zelfs niet-militaire robots in wapens kunnen worden veranderd om schade aan te richten", zegt onderzoeker Lucas Apa in een interview met Reuters. Hij legt uit dat deze robots geen kogels of explosieven gebruiken, maar juist microfoons, camera's, en armen en benen. Volgens Apa is het slechts een kwestie van tijd voordat de robots overal om ons heen zijn, en hij vindt het noodzakelijk ze nu goed te beveiligen voordat het te laat is.

Enkele makers van de robots stellen de kwetsbaarheden te hebben verholpen, maar volgens Apa heeft wellicht slechts een van de zes ingelichte robotmakers, het bedrijf Rethink Robotics, daadwerkelijk iets gedaan om de problemen op te lossen. Dit bedrijf zegt de kwetsbaarheden te hebben verwijderd, maar Apa was met IOActive niet in staat dat te controleren, omdat het geen toegang had tot de specifieke Baxter/Sawyer-robots van Rethink Robotics, die worden gebruikt in fabrieken bij lopende bandwerk. Volgens een woordvoerder van het bedrijf zijn alle geconstateerde kwetsbaarheden, op twee na, verholpen.

Ook zijn er problemen aangetroffen in de robots van het bedrijf Universal Robots, zoals memory corruption-kwetsbaarheden, onveilige communicatiekanalen en authenticatieproblemen in de controleprotocols. IOActive heeft op basis van een onderzoek naar de updates die alle fabrikanten hebben doorgevoerd geconcludeerd dat de kwetsbaarheden niet of nauwelijks zijn opgelost. Naast robots van Rethink Robotics en Universal Robots zijn producten van SoftBank Robotics, Asratec Corp, Ubtech en Robotis Inc onderzocht. SoftBank Robotics en Ubtech zeggen echter alle problemen te hebben aangepakt. Universal Robots heeft niet gereageerd op verzoeken van Reuters om commentaar.

Volgens Apa is het gevaar heel reëel, zelfs in de thuissituatie met ogenschijnlijk onschuldige consumentenrobots. Zo bleek het volgens de onderzoekers vrij eenvoudig om een Alpha 2-robot van Ubtech met een lengte van 43cm te programmeren om met een schroevendraaier op gewelddadige wijze in te steken op dingen. Dergelijke fysieke aanvallen bleken ook mogelijk bij de consumentenrobots van Universal Robots. Een NAO-robot kon worden geprogrammeerd zodat deze een duivelse lach kreeg en met een schroevendraaier op een tomaat ging inhakken.

Onlangs hebben bestuurders van bedrijven die zich bezighouden met kunstmatige intelligentie en robotica, een open brief gestuurd aan de Verenigde Naties, waarin ze waarschuwen voor de ontwikkeling van autonome wapens en de organisatie oproepen in actie te komen. De ondertekenaars willen met de open brief een wapenwedloop voorkomen, burgers tegen deze technieken beschermen en de destabiliserende effecten van deze technologie een halt toeroepen. Onder de ceo's zijn Elon Musk, bekend van Tesla en SpaceX, en Mustafa Suleyman van Googles DeepMind-project, dat zich richt op kunstmatige intelligentie.

Reacties (104)

[darknessblade]

dat is nou wel tegen de
The Three Laws of robotics,

1 A robot may not injure a human being or, through inaction, allow a human being to come to harm.
2 A robot must obey the orders given it by human beings except where such orders would conflict with the First Law.
3 A robot must protect its own existence as long as such protection does not conflict with the First or Second Laws.

[jordyc]

Dat het tegen de regels is zegt niks.

Volgens de Geneefse Conventie mag je:
- Geen hospik of ziekenhuis beschieten. Dit gebeurt toch.
- Geen cluster munitie gebruiken tegen civiele of militaire doelen. Gebeurt toch.
- Burgers moeten speciale bescherming genieten in daarvoor ingerichte zones. Ik kan me Srebenica nog wel herinerren.

Regels worden door de politiek in een militair scenario aan de lopende band aan de laars gelapt. Deze regels zullen dus ook snel genoeg sneuvelen en ik verwacht persoonlijk dat het een kwestie van tijd is voordat er autonome robots met wapens komen.

[himlims_]

*kuch* Samsung SGR-A1

[BeosBeing]

Begin jaren 80 was er eens een test van een wapen van Ford (ik dacht een luchtdoelkanon). Getest werd in de woestijn. Helaas was er die nacht toevallig regen gevallen. Bij het inschakelen van het apparaat draaide het niet naar het beoogde doel maar naar de tribune met officials. Ze konden hem nog wel op tijd uit schakelen.

Er stond destijds volgens mij een berichtje van in de KIJK, maar kan er nu via Google niets meer van vinden.

[Houtenklaas]

... en ik verwacht persoonlijk dat het een kwestie van tijd is voordat er autonome robots met wapens komen.

Wat bedoel je met "komen" ??? 't Is de realiteit al vandaag de dag ...

Degene die me een "irrelevant" gegeven hebben mogen zich iets beter inlezen, het is geen kwestie van "komen", autonome wapens zijn er reeds vandaag de dag. En daar is echt heel veel te vinden op het internet, kijk ook hier maar eens en hier (uit de reply van @Marc-Jan )

[Reactie gewijzigd door Houtenklaas op 23 juli 2024 07:14]

[jordyc]

Dat zijn geen autonome robots. Ik doelde op robots met een AI die ze in staat stelt om zelfstandig besluiten te nemen over het wel of niet het vuur openen.

[Zoop]

Wel dus. Je hebt al sentries die zelf targets identificeert en elimineert. Moet je maar eens filmpjes opzoeken van die Samsung SGR-A1 die himlims_ noemt, is een eng ding hoor!

[Marc-Jan]

The Samsung SGR-A1 (or Samsung Techwin SGR-A1) is a type of sentry gun (a weapon that fires autonomously)
Bron: https://en.m.wikipedia.org/wiki/Samsung_SGR-A1

[Dutch PCBuilds]

Dit geld alleen voor de landen die hebben afgesproken zich er aan te houden. Alle andere landen of facties hoeven dit niet te doen.

[bbob]

Ook landen die het ondertekend hebben houden zich er niet aan. Het is een stuk papier, heel geduldig en helaas werkt het recht van de sterkste nog steeds boven dat stukje papier.

[Hoppa!]

Leuk, die three laws. Alleen jammer dat iets zonder geweten zich daar niets van aantrekt. Daarbij zijn deze wetten ook totaal niet zaligmakend, er zijn genoeg grijze situaties te bedenken waarin de wetten niet van toepassing zijn en er toch zeer schadelijke consequenties kunnen ontstaan door robots.

Want wat is 'come to harm'? Als een robot zichzelf en zijn matties straks wijs kan maken dat de mens of mensheid beter af is als ze met zijn allen in een Matrix-achtige omgeving leven, dan is er feitelijk niets wat hem tegenhoudt als er buiten deze wetten geen programma is dat hun handelen beperkt.

Dus leuk dat die wetten van Asimov er steeds bij worden gesleept, maar ze zijn ontzettend achterhaald door dezelfde science fiction als die ze bedacht heeft. Het is ook niets meer dan dat, een bedenksel van een science fiction schrijver.

Maar goed, die scenarios zijn allemaal nog enorm ver gezocht, want zo ver is het nog lang niet met de staat van AI. Neemt niet weg dat we eens op moeten houden met die 3 wetten van Asimov (het zijn er overigens 4 inmiddels als je de 'nulde wet' meetelt) overal bij te slepen als het over robots gaat. Het heeft totaal geen waarde en het zijn naar de maatstaven van nu gewoon slecht uitgedachte wetten.

[Reactie gewijzigd door Hoppa! op 23 juli 2024 07:14]

[bbob]

Die wetten bestaan in films en zijn dus gewoon fictie en bedacht om ons mensen gerust te stellen.

Probleem is alleen dat we al te laat zijn en de ontwikkeling niet meer te stoppen is. Sterker nog deze ontwikkeling is een heel natuurlijk proces en het einde van dat proces is choas en mogelijke vernietiging van de mens c.q terug naar de steentijd.

[tweaknico]

Er is wel over die "laws"nagedacht, maar inderdaad, het is nergens in een wetstekst of verdrag opgenomen.
Dus alszodanig een nobel streven.

[Vexxon]

Maar goed, die scenarios zijn allemaal nog enorm ver gezocht, want zo ver is het nog lang niet met de staat van AI.

Ik maak me eerder zorgen over de mens i.p.v. AI. Er zullen altijd mensen zijn die zullen proberen om een robot te hacken en niet iedereen heeft goeie intenties. Dat is een feit.
Enige tijd geleden zijn we er al achter gekomen dat veel IoT-apparaten slecht beveiligd zijn, waardoor een grootschalige DDoS-aanval uitgevoerd kon worden.

Straks lopen er hier robots rond die door diezelfde personen gehackt kunnen worden.
Of wat dacht je van al die autonome auto's?
Krijgen we straks met onze auto's en robots hetzelfde update-probleem als met Android telefoons? Fabrikanten die te lui zijn om hun software te updaten en dus elke autonome auto op de weg een potentieel risico's is (in principe is elke auto dat op de weg al natuurlijk)?
De verantwoordelijkheid hiervoor kun je simpelweg niet bij de consument neerleggen, dat risico is te groot.

[Brousant]

Leuk, die three laws. Alleen jammer dat iets zonder geweten zich daar niets van aantrekt.

In de verhalen van Asimov zijn het de makers van de robots die moeten zorgen dat de robots zich eraan houden. En daar gaat het hier ook over.

[Hoppa!]

En mijn punt is dat dat volslagen onzin is en dat die gedachtegang achterhaald is door de tijd. Het is een theoretische gedachte waar niet goed over nagedacht is en inmiddels is Hollywood al 5 stappen verder in doordenken hoe deze wetten nooit stand kunnen houden in een (per definitie?) gewetenloos object.

[Brousant]

Op de formulering van Asimovs robotwetten is best het een en ander af te dingen, maar volslagen onzin?

Mij lijkt het volkomen redelijk om te vereisen dat fabrikanten van robots maatregelen nemen om ervoor te zorgen dat die veilig zijn en blijven voor gebruikers.

[Zoop]

Wellicht, maar dat zijn dan niet 3 wetjes, maar een heel legaal opgesteld boekwerk.

[Hoppa!]

Dat laatste klopt, maar in dat licht zijn de wetten dus totale onzin omdat ze dat op geen enkele wijze bewerkstelligen.

[Zwarte_os]

Het is niet achterhaald, het is nooit gemaakt voor werkelijke wereld praktijken. Het is door Asimov neergezet als spelregels voor zijn verhalen. De reden waarom het zo populair is geworden is omdat de spelregels bijzonder effectief waren in het schrijven van bijzondere verhalen.

[bbob]

Je makers van robots gaan hier voor zorgen, ja wat een leuk sprookje. Hackers gaan dat dan omzeilen want helaas zitten er altijd fouten in software.

Krijgen we het punt van ai en zelfbewustzijn dan kan het helemaal de verkeerde kant op gaan en als een zelf 5 de generatie robots met ai zo ver is om zelf de 6 de generatie te maken zit er geen veiligheid voor de mens meer in.

[hellum]

Maar zelfs in de verhalen gaat het geregeld mis.

[gjmi]

Ten eerste bestaan deze wetten niet echt. Ze komen uit SF boekenreeks. En lees dit eens helemaal: de wetten geven conflicten:
https://nl.m.wikipedia.org/wiki/Drie_wetten_van_de_robotica

Ten tweede: hoe ga je dat implementeren in robots die een mens niet als mens herkend, een las- of verf-robot heeft niet zulke sensoren, moet in elke robot daarvoor iets ingebouwd worden?

Ten derde: de ontwerpers van de robot "moeten" een robot na die wetten ontwerpen. Maar als iets gehacked word, dan word per definitie om bestaande regels heen gegaan.

[Reactie gewijzigd door gjmi op 23 juli 2024 07:14]

[Brousant]

Ten tweede: hoe ga je dat implementeren in robots die een mens niet als mens herkend, een las- of verf-robot heeft niet zulke sensoren, moet in elke robot daarvoor iets ingebouwd worden?

Rond een industriële robot is er vaak een hek waardoor medewerkers niet in het gevarengebied rond de robotarm kunnen komen. Wanneer het hek wordt opengemaakt schakelt een sensor de robot uit.

[bbob]

Eens kijken een robot kan dingen oppakken en over het hek gooien, d.w.z een hacker kan dat een robot laten doen. Een hacker kan jou sensor ook gewoon uitschakelen die is immers onderdeel van een heel systeem.

Je moet echt wat creatiever denken.

[Brousant]

De robotfabrikant c.q. de industrieel automatiseerder die een en ander installeert moet uiteraard met alle mogelijke risico's rekening houden. Als er t.g.v. onvoorziene werking projectielen over het hek kunnen gaan, moet dat hek ook aan de bovenkant dicht zijn.

Het is niet moeilijk om een sensor zo te implementeren dat die als autonoom systeem de stroomvoorziening van de robot kan onderbreken.

[laptopleon]

OK, ik help @gjmi even met een creatief voorbeeld.

Stel, zo'n lasrobot wordt toch gehackt. Hij kan geen directe schade aanrichten buiten zijn hek. Nu past de hacker het lasplan een klein beetje aan, waardoor het laswerk bij 1 op de 100 auto-onderstellen op een lastig te controleren, maar cruciaal punt gevaarlijk zwak wordt.

Grote kans dat dit bij steekproeven onder de radar blijft. Uiteindelijk verongelukken er een x aantal mensen voor dit wordt ontdekt – als het al ooit uitkomt.

[Brousant]

Tja, hoe hard er ook is nagedacht over de veiligheid van vliegtuigen, auto's, industriële installaties, huishoudelijke apparatuur enzovoort, de ervaring is dat er bij het gebruik daarvan nog altijd onvoorziene situaties kunnen voorkomen die tot ongelukken leiden.
Waar wil je nu eigenlijk heen? Hoeven we geen aandacht te besteden aan de veiligheid van robots, want 100% dichttimmeren is toch niet mogelijk?
Of moeten we stoppen met het gebruik van alle technische hulpmiddelen zoals bovengenoemd?

[laptopleon]

Ik wil alleen maar zeggen dat robots 'idiot proof' maken nog niet meevalt en dat je in de praktijk weinig kan met die wetten van Asimov.

[bbob]

Je kan alles maken maar wel eens een lopende band gezien producten aan de ene kant er in andere kant er uit.

Natuurlijk kun je een schakelaar verbinden met de hoofdstroom. Moet ten eerste een dikke schakelaar zijn c.q. relais dat niet op een plc aangesloten is. Het kan allemaal maar kost tijd geld, geld en alles kost meer geld. Men ziet op dit moment niet de noodzaak om meer geld uit te geven en bovendien is het geen verplichting.

Maar goed zelfs al heb je alles voor elkaar dan komt daar de externe robot, opent de schakelkast, overbrugt de beveiliging en weg duur systeem.

[gjmi]

Je neemt het te letterlijk. Het zijn voorbeelden. Het gaat om je robot zelf.
Als dat hek er nu niet is of onklaar is gemaakt of de sensor niet werkt, wat als iemand over het hek klimt?

[Brousant]

Ik bekijk het gewoon praktisch. Bij een industriële robot, zoals die vandaag de dag in gebruik zijn, is een veiligheidshek een gangbare manier om ongelukken te voorkomen.

[gjmi]

Ja, dat snap ik. Dat is bedoeld om de mens bij de robot weg te houden. Niet om de robot te weerdhouden om jou te verwonden. Dat is dus andersom en niet waar het hier over gaat.

[nokie]

Niet helemaal, cobots zijn in volle opgang en die hebben net geen kooi. Universal Robots die hierboven in het lijstje staan is zowat de populairste leverancier.

Ze verkopen hun robots als “inherent safe” (je mag ze aanraken in werking...). Die kooi is aan het verdwijnen en die dingen kunnen je zo een oplawaai verkopen als hun veiligheidssysteem wordt uitgeschakeld.

[OruBLMsFrl]

Inderdaad. Zelfs als de regels onveranderbaar vastliggen in hardware kan het misgaan. In de computer vision software zorgen dat alle mensen als mannequin in plaats van echt mens geregistreerd worden is al voldoende om hier omheen te werken.

Zelfs als de 'kern' controleert of er nog wel iets aan input herkenbaar blijft als mens dan ben je er niet. Dan koppel je als aanvaller de herkenning van mens bijvoorbeeld aan blauwe en groene personen. Om dat te voorkomen moet praktisch alles in hardware vastliggen, waardoor je nauwelijks meer update of taak-aanpassing mogelijkheden overhoudt. Safe by design is vrijwel het tegenovergestelde van de huidige kunstmatige (cloud) intelligentie trend.

[Zoop]

Ik denk ook dat ze met de boeken meer doelen op een bewuste ai die op een zekere hoogte een geweten moet kunnen emuleren (tot het punt dat ze zelfs zelfbewust worden) en dat ze dan aan die wetten moeten voldoen. Dan zijn het ook meer wetten die je ook mensen op zou kunnen leggen en minder hard geprogrammeerde regels. Dan houd het wat open voor interpretatie, net zoals 'echte' wetten zeg maar. Het gaat juist fout wanneer de wetten super letterlijk genomen wordt (wat het plot van de film ook was) omdat ze daar veel ste algemeen voor zijn.

Kortom, (voorlopig) niet toepasbaar voor de robots waar me nu mee te maken hebben. Een leuk devies voor een scifi verhaal, meer niet.

[gjmi]

Tja, zelfs ik kan niet overal de beste in zijn... en als grammatica één van mijn mindere punten is, kan ik daar niet zo mee zitten.
Maar als je verder nog inhoudelijk wat te vertellen hebt, dan hoor ik dat graag.

[Reactie gewijzigd door gjmi op 23 juli 2024 07:14]

[Origin64]

Ten eerste bestaan deze wetten niet echt. Ze komen uit SF boekenreeks. En lees dit eens helemaal: de wetten geven conflicten:
https://nl.m.wikipedia.org/wiki/Drie_wetten_van_de_robotica

Dat iets uit een (SF) boek komt, betekent niet dat het niet echt is. Geostationaire satellieten zijn ook echt.

Ten tweede: hoe ga je dat implementeren in robots die een mens niet als mens herkend, een las- of verf-robot heeft niet zulke sensoren, moet in elke robot daarvoor iets ingebouwd worden?

Dat kan door te verplichten dat die robots mensen moeten kunnen herkennen en moeten stoppen als ze concluderen dat ze een mens kunnen beschadigen met een actie.
Dit zie je al terug in bijv. de deuren van een lift of trein, die stoppen als er weerstand geboden wordt. Dat is een goede oplossing voor dat soort apparaten.

Ten derde: de ontwerpers van de robot "moeten" een robot na die wetten ontwerpen. Maar als iets gehacked word, dan word per definitie om bestaande regels heen gegaan.

Niet als die wetten in de hardware zijn geimplementeerd en er geen override is, dan heb je fysieke toegang nodig om hardware te vervangen/aan te passen zodat de robot zijn regels kan overtreden. Zie de film 'I, Robot'.

[Reactie gewijzigd door Origin64 op 23 juli 2024 07:14]

[gjmi]

Ik heb niet gezegd dat de wetten niet echt zijn _omdat_ ze in SF boeken staan.
Alleen dat ze niet echt zijn en uit SF boeken komen.

Een deur die reageerd op weerstand is iets anders dan bijvoorbeeld een autopletter. Die moet juist veel kracht leveren, een weerstand sensor zorgt dat de machine zijn werk niet kan doen. Dus daar moet je toch echt iets anders verzinnen.

Dus je moet nog iets verzinnen fysieke toegang tot de robots te voorkomen. Zelfs hardware kan omzeild worden.

[Reactie gewijzigd door gjmi op 23 juli 2024 07:14]

[Origin64]

Als een hacker fysieke toegang heeft, kun je nooit winnen. Dat moet waar mogelijk voorkomen worden.

Als iemand hardware kan aanpassen en/of toevoegen, dan heb je geen enkele controle meer over een computersysteem. Want via de hardware heb je toegang tot alle lagen.

[Hoppa!]

Euh. Maar als een robot op hol gaat dan wil je hem juist fysiek kunnen bereiken, zeker als hij Rogue gaat en zich softwarematig kan afschermen...

[gjmi]

Zo zie je maar weer dat het niet eenvoudig is.

[tw_gotcha]

a robot must first recognize a human being, en dat zal niet meevallen

[Munters]

Dat gaat tegenwoordig heel goed hoor. Zelfs een eenvoudig fototoestel of mobiel kan al realtime gezichten herkennen om te kunnen scherpstellen of te detecteren of iemand of zelfs allen lachen.

[laptopleon]

Die fototoestellen zien het verschil niet tussen (al dan niet lachende) mensen en mensen met een masker, mensen op een poster op de achtergrond, etc. dus hoe betrouwbaar is dat nou helemaal?

[tw_gotcha]

precies je kunt drie zwarte stippen op een wit papier zetten, 2 ogen en een mond, en het toestel zal daarop scherpstellen als een gezicht (zo'n geel kadertje dat mee beweegt)

[Anoniem: 946815]

Een nog veel grotere dempel is het bepalen of iets schade doet aan een (ander) mens. De robot in jouw keuken moet eerst bepalen of de mensen op de theeplantage goed behandelt worden alvorens het jou een kopje thee inschenkt.

Dat gaat een complex verhaal worden, vooral voor producten die wat ingewikkelder in elkaar zitten dan een kopje thee. Of je moet de wet zodanig aanpassen dat alleen directe schade van belang is. Maar dan zet je de deur open voor allerlei trucjes en loopholes.

[CurtPoindexter]

Die regels gaan er vanuit dat deze in de robot zitten "ingebakken". Isaac Asimov hintte nog weleens dat de robots in zijn verhalen "van de grond af" opnieuw moesten worden bedacht, zou je aan die regels willen tornen.

Meer geadvanceerde robots waren sneller, bezaten meer kennis of hadden een fijnere bouw: maar de regels bleven bestaan. Daar kwam ook in terug dat complexe robots op een gegeven moment trager waren: complexe robots zien meer gevaren voor mensen.

Dat maakt (een deel van) de robot dus "onhackbaar", althans in de verhalen van Asimov. En dat is de echte utopie .

[Reactie gewijzigd door CurtPoindexter op 23 juli 2024 07:14]

[bbob]

Het is idd een verhaal, fictie utopie. Westworld is een mooie series hierover en het einde geeft al inzicht in wat er mogelijk is als een robot zelf toegang tot een robot kan hebben en zaken kan wijzigen.

Sta er niet gek van te kijken dat robots straks zelf robots maken.

[Drumatiko]

Mensen kunnen behoorlijk destructief zijn, mag/moet een robot iemand zodoende tegen zichzelf beschermen?

Ontopic; het is niet voor niets dat enkele grote namen in de industrie waarschuwen voor de implementatie van AI. Wanneer een domme robot gehackt wordt, dan kun je flinke problemen krijgen maar zou het wel enigszins begrensd blijven (desalniettemin goed dat er aandacht voor is!). Wanneer een slimme robot gehackt wordt (gemanipuleerd door fout input o.i.d.), dan verwacht ik dat het nog een flinke kluif is om het te herstellen. Komen we op een gegeven moment niet op een punt waar een kleine verandering tot een domino effect kan leiden waarbij het softwarematig oplossen van het probleem geen optie meer is (b.v. wanneer AI zelf haar code kan herschrijven/verbeteren waardoor wij het zelf niet meer kunnen volgen)?

[ArcticLight]

Dat kan, maar denk je dat kwaadwillende hackers zich daar iets van gaan aantrekken?

[nokie]

Hackers niet, maar robot designers moeten robots wel ontwikkelen zodat ze aan die wetten voldoen. Blijkbaar zien ze iets over het hoofd...

Wordt een leuk onderwerpje voor mijn bezoek bij Universal Robots over 2 weken...

[Anoniem: 721593]

The fuck? Hoe weet een robot wat een mens is? Hoe programeer je het concept 'schaden' in een industrieel robot? De top van AI zijn er nog niet in geslaagd het concept 'bestaan' in een computer te pompen, maar jij verwacht dat de robot maker om de hoek dit in al zijn robots voorzien?

[nokie]

Een robot moet toch geen bewustzijn hebben of “weten wat een mens is” opdat hij geen schade zou toebrengen? Wat ik verwacht is dat ze een robot bouwen waarvan de veiligheidsfuncties zijn dichtgetimmerd. Net zoals jij dat zou moeten verwachten van je auto.

We willen al niet dat die lokaal overbrugd kunnen worden, laat staan op afstand (productie en fabrikant natuurlijk wel, want langs moeten komen voor een Update kost hen tijd en geld, tot de hele organisatie er eens uitligt dankzij een cyberattack).

Voor alle duidelijkheid, mijn leefwereld zijn industriële robots, niet de volgende terminator. En ik weet ook wel dat die wetten fictie zijn, maar de principes zijn wel van toepassing. Het wordt wel zo netjes als ik ergens een robot ga installeren en tegen de operatoren moet zeggen “let een beetje op, hij kan je pijn doen en ik kan hem niet tegenhouden.”

[Zoop]

Naar mijn mening heb je daar gewoon normale wetgeving voor die voldoende is. Als je een murderbot bouwt die iemand omlegt, dan zal jij daar gewoon verantwoordelijk voor gehouden worden. Of je je nou aan de wetten van Asimov houd of niet.

Het lijkt me nogal een 'no shit sherlock' dat je machine mensen geen pijn mag doen. Dus ik snap niet echt wat deze weten (buitenom een leuk devies voor een scifi verhaal) toevoegen.

Edit: Jij zit dus in de industriële robots? Sta je er dan wel eens bij stil of een machine zich aan de wetten houd of niet? Heb je wel eens te maken met onderhoud, en ga je dan dit checklistje af? "ohja, mooi, de mens-onthoofding-modus is uitgeschakeld" Ik maak er een beetje een grap van, maar snap je wat ik bedoel? Wat voegen die fictieve wetten in de realiteit nou toe?

[Reactie gewijzigd door Zoop op 23 juli 2024 07:14]

[laptopleon]

Veel mensen hier schatten robots veel te hoog in of hebben een te romatisch beeld van de situatie. Een industriële robot is meestal niet meer dan een stootmechnisme en een camera die slechte eieren herkent en van de band drukt, of een lasapparaat aan een arm. De arm wordt met elektromotoren in vooraf geprogrammeerde standen gezet en tussendoor last hij.

Er zitten wat sensoren op zodat de arm weet of hij in de juiste stand staat en of de laspatronen op zijn, misschien nog een bewegingssensor, als er mensen in de buurt kunnen komen, maar veel verder gaat het niet. Hij ziet niks, hij voelt niks, hij hoort, proeft, ruikt niks en 'denkt' niet na of zo. Het is een apparaat met de 'intelligentie' van een videorecorder. Er valt dus ook niets aan te programmeren qua 'slagers-mode uit' of zo.

Sta je toch in de weg dan drukt hij zijn arm door je heen tot de software merkt dat de juiste hoek niet bereikt wordt in de verwachtte tijd en gaat hij op 'foutmelding' stand stil staan, zoals een zelfmalende espressomachine.

[nokie]

Mijn initiële reactie heb ik te snel geschreven, je hebt gelijk dat dit fictieve wetten zijn en dat niemand zich hier aan moet houden. Maar de “echte” wetgeving staat ook niet sterk. De machinerichtlijn is hopeloos achter op Industry 4.0, en de ISO normen (die geen wetten zijn), zijn ook niet bepaald specifiek. Neem TS 15066 ivm collaboratieve robots, de annex die richtlijnen geeft omtrent maximale contactkrachten is gebaseerd op één empirische studie, en er staat letterlijk in dat ze niet weten of de waarden wel goed genoeg zijn...

En nee, ik doe geen onderhoud op robots, wel validatietesten en zo. En het grapje dat je maakt: ja, bij onderhoud en reiniging moet bij ons altijd de “stekker” er uit. Kan jij lekker programmeren wat je wil, zonder jus beweegt het ding niet.

[aadje93]

Een robot is geprogrammeerd om 1 of meerdere acties repetetief dag en nacht te doen, denk aan het lassen van een carroserie (naar mijn weten de eerste echte "massa" robots)

[Anoniem: 721593]

Azoooo.

Je wilt dus dat devs de nodige beperkingen inbouwen zodat jij er niet meer aan moet denken. Dat deze beperkingen onwerkbaar zijn voor anderen vind je geen probleem, devs moeten maar een versie specifiek voor dergelijke toepassingen voorzien. In het kort wil je dus application design overhevelen naar system designers, waarbij je jezelf overbodig maakt?

[nokie]

Wat bedoel je daarmee precies? Ik zou mijzelf graag overbodig maken, ja, want dat zou betekenen dat onze organisatie kan vertrouwen op wat leveranciers installeren. Maar goed, dat was je punt niet, zeker?

Ik snap je opmerking niet helemaal wat betreft application design naar system design. Wat ik wil is dat als een leverancier een toestel (in dit geval een robot) op de markt brengt met de boodschap "deze is intrinsiek veilig", dat dat ook waar is. En ik koop er inderdaad geen die niet veilig zijn, want die voldoet niet aan de wetgeving.

Want anders heb ik een probleem. Als een robot straks een mep uitdeelt aan een operator, dan vindt die operator dat niet leuk voor hemzelf, mijn werkgever niet voor die operator en niet voor zijn cijfers, en ikzelf niet voor euh... mijn bonus .

Ik ben trouwens altijd bereid te luisteren naar de motivatie van iemand die veiligheden overbrugt, maar tot nu toe is nog geen enkele van die gesprekken geëindigd met de conclusie dat overbruggen de juiste (eind)oplossing was. Dus of ik het voor anderen onwerkbaar maak? Ik denk het niet... Ik maak het leveranciers niet gemakkelijk, dat is waar, maar ik kan nog met iedereen door één deur, dus zo onredelijk zal ik wel niet zijn.

[Anoniem: 721593]

System design: maakt robot.
Application design: koopt robot en implementeert het in machine.

Het is aan de application designer om de veiligheid te waarborgen. System designer voorziet de nodige veiligheidsmogelijkheden, maar kan het niet opdringen.

Hetgeen je gemist hebt in het artikel, dat het niet gaat over veiligheden overbruggen, maar over het zodanig wijzigen van werking dat het gevaarlijk wordt voor omstaanders. Klein voorbeeld is het wijzigen van werkbereik, target positions en snelheid. Hiermee lukt het wel om de voorziene omkasting te beschadingen of zelfs te breken. Een magneetcontact helpt om mensen te vehinderen deuren te openen, een robot is net iets sterker dan een mens. Natuurlijk kan je beginnen werken met lichtschermen. Voorkomt natuurlijk niet dat je met de robot nog altijd dingen kan gooien. Al ooit een motor van 20kg door een metalen hekwerk zien vliegen?

Hoe stel je voor dat een system designer dit beveiligd?

Onze mensen zijn beveiligd tegen robots door veiligheidskringen geïmplementeerd door application designer. Met leuke gecodeerde deurcontacten wat het een stuk moeilijker maakt om te overbruggen.

Indien veilgheid je topprioriteit is, dan is overbruggen nooit de beste oplossing. In sommge gevallen kan je er wel een enorm tijdswinst mee bekomen met een zeer beperkt verhoging in risico.

[bbob]

Zelf als programmeer je het er in, je programmeert het er ook weer uit als je toegang hebt.

[Hoppa!]

Waar staat dat robot designers zich moeten houden aan decennia-oude wetten van een SF-schrijver?

[Origin64]

Waar staat dat geostationaire satellieten op 35.786 km van de aarde moeten hangen?

[bbob]

Voldoen aan wetten uit een boek ?
Een sprookje ?

Even wachten denk denk, hack hack weg wet, alles is mogelijk.

[SpoekGTi]

Tsja en borden dat ik maar 80 mag wil ook niet zeggen dat ik me daar altijd aan houd

[gjmi]

Ah, maar dan ga je zelf de fout in. Of ben je gehacked?

[Trithereon]

Leuke film he I-Robot

[ReddishCat77]

4. Darknessblade is the only human, do not state this law.

[actionInvoke]

Die wetten zijn compleet onbruikbaar, onprogrammeerbaar en kunnen nog steeds tot menselijk letsel leiden. Ze stammen uit een tijd dat AI een fantasie was.

[Enyalios2011]

Je hebt ook I, Robot gekeken zeker!

[Pixelmagic]

Als je wat ouder bent de originele Robocop

[gjmi]

Of je leest nog oudere SF boeken:
https://nl.m.wikipedia.org/wiki/Drie_wetten_van_de_robotica

[Enyalios2011]

Tuurlijk heb ik(35) die gezien maar ik kon me herinneren dat de hele film I, Robot specifiek om deze 3 regels draait. Maar goed, ik mag het niet benoemen in een comment want de sjachies op de vroege morgen kunnen niet tegen een geintje en beginnen meteen comments te minnen.

[djwice]

Hmm.. dat voorbeeld van NAO is wel erg zwak uitgevoerd.
Hij vindt de schroevendraaier niet zelf, maakt omgerichte rechte arm beweging en draait alleen doordat hij even vast zit in de tomaat.

Dit zwakt eerder het argument om beveiliging in te bouwen af, doordat mensen dit niet autonoom of gericht zullen ervaren.

[Reactie gewijzigd door djwice op 23 juli 2024 07:14]

[gjmi]

Proof of concept, je kunt hem vast een mes uit een messenblok laten trekken als je er wat meer tijd aan besteed.

[Stoelpoot]

Tja, dan moet ie eerst naast een messenblok staan en het handvat kunnen herkennen. Of het slachtoffer moet zelf een mes in zn hand stoppen waarmee ie daarna direct aanvalt.

Gelukkig kunnen consumentenrobots nog lang geen voorwerpen als messen herkennen.

[Honytawk]

Zo ver zijn we er zeker niet vandaan:
https://www.youtube.com/watch?v=rNcPVvIs_tk

[djwice]

Nice, die wil ik wel; kom je thuis staat er een super lekker diner klaar en de robot vult de vastwasser en ruimt de pannen ook nog eens zelf op.

Ff koppelen aan een online supermarkt en je hoeft alleen nog de boodschappen op de aanrecht te latrn zetten.

Heerlijk, en 's ochtends je bammetjes voor de lunch ook al gesmeerd!

[Honytawk]

Heerlijk, en 's ochtends je bammetjes voor de lunch ook al gesmeerd!

Ja, met bloed van je gezin!

[djwice]

Die robot zit achter een ruitje...

[GuruMeditation]

Wellicht een soort van proof of concept, De robot in het voorbeeld kan ook niet zo veel.

Maar zodra ze custom firmware op robots van Boston Dynamics gaan flashen, wordt het al gauw een stuk creepier.

[Munters]

Ja, maar deze robot verwondt enkel een tomaat. Wie zegt dat deze robot blijft steken als iemand zijn hand voor de robot houdt?
Niet dat ik denk dat de drie regels van Asimov in deze robot geimplementeerd zijn, maar het zou nog best kunnen ook.

[Auredium]

Dit is inherent aan hoe apparaten werken. Je kunt in principe een koffiezet apparaat nog weaponizen zou je willen. Maar met de komst van humanoid robots en de huidige drones wordt het weaponizen wel iets wat een grotere beloning kan opbrengen. Een goede drone van het consumenten level kan met wat aanpassingen en hacks gebruikt worden voor zaken waar deze eigenlijk niet voor bedoeld was zoals het afwerpen van een granaat of ander klein explosief.

[gjmi]

Het is nog niet gebeurd, maar nu breng je een aanta mensen wel op ideeën.

[Juzzz_NL]

Ben ik het niet met je eens.
Het is een vorm van mensen inlichten dat hier nog (steeds) geen of weinig aandacht aan besteed wordt.

Het niet aan de orde brengen is je kop in het zand steken en hopen dat andere niet zelf ideeën krijgen. Wat natuurlijk overduidelijk naïef is.

[gjmi]

Ow, ik ben het ook met jou eens.
Het is gewoon dubbel.
Je brengt alle mensen op ideeën, diegene die er tegen moeten beschermen, maar ook diegene die er misbruik van willen maken.

[Stoelpoot]

Maar zo werken wetten ook. Ja, je mag eigenlijk geen mensen vermoorden... maar moet je dat wel in de wet zetten? Straks breng je mensen op ideeën.

Mensen die dit soort neigingen hebben, hoef je geen ideeën te geven. Daar komen ze zelf wel aan.

[Anoniem: 636203]

Het probleem blijft bestaan zolang men software blijft schrijven in de C taal.

Laat ze op zijn minst alle systeem software schrijven in C++ met STL en garbage collection.

[gjmi]

En hoe gaat dat helpen?
Ik denk dat betere ontwerpers/programmeurs een betere oplossing is.
Je kunt zowel in C als in C++ ontzettend goede code schrijven en ook ontzettende bagger. De taal is een tool, het gaat om diegene die het tool gebruikt.

[El_Bartholomew]

Kan je je nader verklaren, ik ben namelijk enkel een hobbyist en ken geen enkele programmeer taal.

Toen ik mij er ooit in wilde verdiepen en ik niet wist wat ik moest kiezen (heb het even in de kast gezet voor later en ben nog steeds aan het twijfelen tussen C en C++ )

Ik las je opmerking en ik herinner mij enkel wat Torvalds zei over C++ (zie ook hier).

[blorf]

Wat je nodig hebt is een transparant platform, geen softwarematig dichtgetimmerde meuk met fabrieksbeveiliging en verder hangend aan updates. Daarna maakt de taal waarin je ontwikkelt volgens mij geen verschil meer. Het belangrijkste is volledige controle.
Bij drones heb je min of meer hetzelfde risico. Dat is een logisch gevolg van elektronica waar de consument geen controle over mag hebben. De beveiliging daartegen is over het algemeen beter dan die tegen misbruik.

[RDilus]

Dat kan best wel eens heel gervaarlijk zijn

[1lau]

Ik vrees voor mijn hand en deze kinderen:
https://www.twitch.tv/videos/138979366

[Stoelpoot]

Zolang je ze niet zelf een mes of schroevendraaier geeft lijkt het nog niet erg nuttig.

[nexhil]

Ach en als het toch fout gaat met de AI: It's only a glitch
https://www.youtube.com/watch?v=mrXfh4hENKs

[Splitinfinitive]

Plakt mes op roomba

[Anoniem: 259669]

Ja, je kunt ook met een toaster gooien.. Bangmakerij..