Een onderzoeker van Googles DeepMind-team heeft in samenwerking met een wetenschapper van de universiteit van Oxford een onderzoek gepresenteerd naar de mogelijkheid om een zelflerend systeem veilig uit te schakelen. Zij refereren daarbij aan een soort 'grote rode knop'.
In de paper spreken de onderzoekers Laurent Orseau en Stuart Armstrong over het feit dat een systeem dat aan de hand van reinforcement learning leert, niet altijd optimaal gedrag zal vertonen. Daarom moet er een mogelijkheid zijn om een dergelijk zelflerend systeem uit te schakelen in het geval dat het gedrag vertoont dat schadelijk kan zijn voor de omgeving of voor de persoon die met het systeem samenwerkt.
De uitdaging van het onderzoek is om een manier te vinden om het systeem uit te schakelen zonder dat het een manier vindt om 'de grote rode knop' zelf onschadelijk te maken om ervoor te zorgen dat het niet uitgeschakeld kan worden. Dit zou bijvoorbeeld kunnen gebeuren als het systeem bepaalde beloningen verwacht van schadelijke handelingen, zo schrijven de onderzoekers. Zij presenteren daarom een manier die systemen ervan weerhoudt om dit gedrag aan te leren of naar manieren op zoek te gaan om uitschakeling te voorkomen.
Deze valt in verschillende stukken uiteen, waarbij het eerste deel eruit bestaat ervoor te zorgen dat de menselijke onderbrekingen niet de indruk wekken onderdeel van de uit te voeren taak te zijn. Door het gedrag van het systeem gedwongen aan te passen, moet het de indruk krijgen om zelf voor een nieuw beleid te hebben gekozen. Ook komen de onderzoekers tot de conclusie dat bepaalde leeralgoritmes eenvoudig te onderbreken zijn, terwijl andere daarvoor enkele aanpassingen nodig hebben.
Het bij het onderzoek betrokken onderdeel van de universiteit van Oxford is het Future of Humanity-instituut, dat zich volgens Business Insider onder andere richt op het onderzoeken van bedreigingen voor de mensheid. De leider van het instituut, Nick Bostrom, is ervan overtuigd dat kunstmatige intelligentie binnen honderd jaar slimmer is dan mensen en dat de kans bestaat dat die zich tegen de mensheid keert.
Deze zorg is ook aanwezig bij een commissie van het Europese Parlement, zo schreef Politico donderdag. De site heeft een rapport in handen gekregen, waarin de mogelijkheid wordt aangehaald dat kunstmatige intelligentie de menselijke variant voorbijstreeft. Daarom zou er onderzoek gedaan moeten worden dat ingaat op de vraag hoe met deze ontwikkeling rekening moet worden gehouden, bijvoorbeeld als het gaat om werkgelegenheid.
Maar ook veiligheid is een van de onderwerpen, net als het voorstel om de meest geavanceerde robots een aparte juridische status te verlenen, schrijft Politico op basis van het rapport. Deze robots zouden de status van een 'elektronisch persoon' kunnen krijgen, samen met bepaalde rechten en plichten.