Microsoft zal verkoop gezichtsherkenningssoftware aan de politie beperken

Microsoft gaat zijn gezichtsherkenningstechnologie niet aan politiediensten verkopen als het gebruik ervan niet is gereguleerd door de overheid. Het bedrijf zegt daarnaast dat mensenrechten beschermd moeten worden als de software wordt ingezet.

Microsoft-president Brad Smith zegt tegen The Washington Post dat het bedrijf al twee jaar op deze kwestie is gefocust. Smith zegt uit principieel oogpunt dat de overheid het gebruik van de software moet reguleren. Microsoft verkoopt op dit moment dan ook geen gezichtsherkenningssoftware aan Amerikaanse politiediensten. Pas als de nationale wetten in werking zijn gesteld, gaat Microsoft de software aan de politiediensten verkopen.

Tegelijkertijd zegt Smith te kijken naar 'extra beoordelingsfactoren', zodat Microsoft ook meer met de software kan doen dan het nu doet. Aan wat voor 'extra scenario's' Smith denkt, wordt uit het interview niet duidelijk. Hij benadrukt wel dat het gebruik van gezichtsherkenningssoftware moet worden gebonden aan wetten die het beschermen van mensenrechten voorop hebben staan. Daarvoor roept hij de Amerikaanse politiek op om in actie te komen. Dat is volgens Smith noodzakelijk om mensenlevens te redden.

Het is niet voor het eerst dat Microsoft overheden vraagt om gezichtsherkenning te reguleren. In 2018 riep het bedrijf Europa op om de software te reguleren en vroeg het de Verenigde Staten om regels rondom gezichtsherkenning te introduceren. Het gebruik van gezichtsherkenningssoftware is deze week in het nieuws gekomen, nadat zowel Amazon en IBM aankondigden maatregelen rondom de software te nemen. IBM stopt helemaal met de software; Amazon gaat het een jaar lang niet aan politiediensten leveren. Beide bedrijven noemen ethische bezwaren als reden om met de maatregelen te komen.

Reacties (40)

[Compunologist]

studies have shown that facial-recognition systems misidentify people of color more often than white people

Als ik dit moet geloven, is de techniek gewoon niet goed genoeg.

[Andreas01]

Het ligt niet per se aan de techniek, maar het kan ook liggen aan bias in de trainingsdata. Dit kan bias zijn doordat de trainingsdata niet goed representeert wat voor een gegevens het algoritme zal krijgen wanneer het daadwerkelijk in de wereld moet functioneren. Dit kan ook komen door culterele vooroordelen. Een simpel voorbeeld zou kunnen zijn dat het model meer trainingsdata van witte mensen heeft ontvangen, waardoor het beter is met witte mensen.

[TechSupreme]

Het probleem is zeer complex en kent meerdere facetten. De data is inderdaad nummer 1. Volgens onderzoek gedaan aan Cornell U bestaan sommige databases tot 81% uit blanke mannen. De foto's van donkere mensen voldeden ook niet aan de minimum benodigheden.

https://arxiv.org/abs/1901.10436

Een ander onderzoek heet uitgewezen dat meeste algoritmen geoptimaliseerd zijn voor blanke mannen. Of dat alweer komt door de data of vanwege de mensen die aan het algoritme werken is niet duidelijk. Een onderzoek in Frankrijk liet zien dat je meeste algoritmen dezelfde performance kunnen hebben voor blanke als donkere mensen, alleen je moet dan wel andere parameters gebruiken wat weer een deurtje is voor racisme claims door mensen die de software niet zo goed begrijpen.

Als laatste is het misschien controversieel om te zeggen, maar.... Een andere studie door NIST heeft uitgewezen dat de gezichten van donkere mensen in de databases statistisch gezien meer op elkaar lijken. Of dit komt vanwege een afwezigheid van data of data het over de gehele bevolking zo is liet de beste man even in het midden.

Maar, het ligt niet alleen aan de data. Een goed belichte optimaal van voren genomen foto heeft geen enkel algoritme problemen mee. Het probleem is dat in de praktijk de omgevingsfactoren zelden optimaal zijn. Een slechte camera, op een slechte hoek i.c.m. slechte belichting zorgt ervoor dat er heel veel contrast en details wegvallen.

Feit blijft dat bij donkere mensen deze software een factor 10 tot 10.000 meer een missmatch geeft wat mij weer verteld dat de techniek niet geschikt is voor het grote publiek.

[Reactie gewijzigd door TechSupreme op 3 augustus 2024 09:36]

[Fero]

Hmwah, kan natuurlijk ook aan de foto's of video-stills liggen. Licht is daarin erg belangrijk, en doordat "lichte" kleuren/huidstinten meer licht reflecteren zijn deze daadwerkelijk makkelijker te fotograferen dan "donkere" (huids)kleuren, welke licht juist absorberen.

Als je beide zou fotograferen onder exact dezelfde omstandigheden met de zelfde camera, bestaat er een grote kans dat de foto van een blanke persoon gedetailleerder is dan die van een donkere.
Dan moet je je ook nog inbeelden dat de meeste beelden van daadwerkelijke "verdachten" bestaan uit lage-resolutie bewakingscamera opnames.

Dit probleem kwam je ook al tegen toen Face Unlock op camera-niveau een ding werd op smartphones, en dan heb je nog een redelijke sensor welke dicht bij je gezicht geplaatst is. De IR varianten hadden hier veel minder last van.

Ben het absoluut met je eens dat er nog altijd grote problemen bestaan mbt bias en culturele vooroordelen, en denk dat je met je laatste zin bijvoorbeeld redelijk in de buurt zit, maar het is wel ook uit te leggen op een technisch niveau.

[sympa]

Donkere tinten hebben naar verhouding ook meer glans omdat de gelijkmatige reflectie kleiner is. En glans is sterker afhankelijk van de belichting.
Ik kan me nog een screenshot van en camera get gezichtsherkenning herinneren. Groepsfoto met 10 personen, iedereen een hokje om zijn hoofd behalve de donkere persoon... maar goed, dat was jaren geleden.

[RovloSQL]

Ik moest gelijk hier aan denken:
https://www.theverge.com/...ixel-4-facial-recognition

[CR35]

Wat diversen hier in de reacties zeggen dat wit meer licht terugkaatst lijkt mij echt onzin. Meeste donkere personen zijn niet zwart. Al zou dat het geval zijn dan is de techniek simpelweg niet goed genoeg. Ik zie twee oorzaken voor deze racial bias, dat is dat de onderscheidende features mogelijk meer op een blank persoon zijn afgestemd en dat de onderliggende trainingsdata niet volledig is.

Donkere en aziatische personen hebben meer moeite met het onderscheiden van blanke personen, zij zijn ook 'getraind' om andere eigenschappen op te merken. Software zou hetzelfde kunnen doen. Maar moet het wel de juiste trainingsdata hebben.

Vroeger werden donkere mensen als lastig te fotograferen beschouwd, echter kwam dat door de (commerciële) film, waar de samenstelling van de lichtgevoeligheid was afgestemd op de tonen van blanke personen:
https://www.youtube.com/watch?v=d16LNHIEJzs
Hier was de techniek ook het onderliggend probleem.

edit: ik snap niet waarom dit offtopic is, ik snap dat de eerste zin iets te overtrokken is maar reageerde alleen op het afdoen van de bias als slechts natuurkunde. Ik denk dat namelijk dat dit 1 van de factoren is. Daarnaast een mooi voorbeeld gegeven hoe zo'n bias in een systeem kan komen door een technische oorzaak gestuurd door marktwerking.

[Reactie gewijzigd door CR35 op 3 augustus 2024 09:36]

[3raser]

Je overtrekt het nogal in een zwart-wit verhaal. Blanke mensen zijn niet wit en zwarte mensen zijn niet zwart. Verder denk ik dat het omgevingslicht een enorme factor speelt in de herkenning. Dat geldt voor alle huidskleuren maar zal bij donkere mensen extra gevoelig liggen omdat gelaatstrekken simpelweg slechter zichtbaar worden. Dat omgevingslicht heb je meestal niet in de hand en dus zou je kunnen concluderen dat mensen met een donkere huidskleur over het algemeen slechter te identificeren zijn door een geautomatiseerd systeem.

[mjz2cool]

Het is niet zo dat iets echt zwart moet zijn om minder licht te reflecteren. Lichte kleuren reflecteren meer licht dan donkere kleuren, dat is gewoon zo. En dat zal ongetwijfeld ook een effect hebben op gezichtsherkenning.

[Verwijderd]

Wat diversen hier in de reacties zeggen dat wit meer licht terugkaatst lijkt mij echt onzin.

Wel, dan ontken je natuurkunde want het feit dat een object 'licht' of 'donker' is word geheel bepaald door de hoeveel teruggekaatst licht. Dat is zelfs de definitie!

En elke portretfotograaf zal je vertellen dat donkere mensen nog altid moeilijker te fotograferen zijn en dat je altijd meer licht nodig hebt. Betere sensoren kunnen natuurkunde niet buigen nietwaar? Ik denk dus dat je niet veel snapt van de materie.

[CR35]

Het was misschien ook iets overtrokken maar dat ik niet veel snap van de materie . Echter reageerde ik voornamelijk op het sentiment dat het afgedaan werd als slechts natuurkunde. Ik snap genoeg van fotografie dat met minder (potentiele) lichtopbrengst er minder onderscheidende eigenschappen zichtbaar zullen zijn. Natuurlijk speelt dat een rol, echter dat dit de belangrijkste rol speelt in het slechter presteren van zo'n algoritme bij minderheden lijkt mij niet waar.

Ik heb vroeger met diverse image recognition software en algoritmes gewerkt en recentelijk met azure cognitive services. Het trainen van het model gebeurde mogelijk met skewed set aan trainingsdata. Dit model wordt ook afgerekend op het matchen met deze trainings data. Dit model wordt vervolgens gevoed met waarschijn mugshots en worden de afbeeldingen uit filmpjes en dergelijk gematched hieraan.

Een oplossing zou zijn om een minimale kwaliteit aan onderscheidende eigenschappen te hebben voordat je gaat matchen of een maximale distance tussen de match heb je al een gedeelte van het natuurkunde aspect gedekt lijkt mij.

[Cergorach]

Dat is even de vraag, normaal gesproken is het identificeren van mensen van een andere 'volksstammen' lastig en worden er veel mensen verkeerd geïdentificeerde. Dit is dus al een menselijk falen. Mensen programmeren computers, welke dezelfde fouten maken, maar wellicht door machinelearning dergelijke zaken ontleren. Een andere mogelijkheid is dat er programmeurs van elke 'volksstam' worden gebruikt voor identificatie van de eigen 'volksstam'.

De meest relevante vraag is, doet de computer het beter dan de mens in dit geval?

[Lapjespoes]

Volgens mij heeft het helemaal niets met potentiële inherente bias van de ontwikkelaar te maken en alles met het simpele feit dat kleurverschillen beter waargenomen worden op lichte basis dan op donkere basis.

[StefanJanssen]

Op zich is het niet heel gek, wit geeft meer licht terug waardoor er meer detail word teruggegeven dan bij zwarte mensen. Bij blanke mensen zal denk ik de kleur verschillen (moedervlekken, kaak structuur etc) beter opgepakt worden.

[djexplo]

Er zijn 2 zaken:
1. Zoals @StefanJanssen al aangeeft. Bij witte kleding zie je beter vormen dan met donkere kleding. Het zelfde bij huidskleur.
2. Veel Face Recognition databases komen van universiteiten af b.v. de "yale face database", van celebrities, of bij commerciële database vaak uit foto's van medewerkers van dat bedrijf. De personen op de foto zijn dus voornamelijk blank. Dit betekend dat de software daar ook beter op getraind is.

[Reactie gewijzigd door djexplo op 3 augustus 2024 09:36]

[Accretion]

Ik vraag mij af.

Wat als je zo'n algoritme traint op alleen maar blanke mensen en dan een gekleurd?

Matcht het dan met elk gekleurd persoon?
Of kijkt het dan nog steeds naar vorm van gezicht e.d.

En andersom?

[Xerxes249]

'dat ligt eraan', kan maar hoeft niet. Afhankelijk van het model, hoe het getrained is en hoe het gebruikt wordt.

Kleur is vrij variabel, denk aan zelfde persoon in verschillende lichtomstandigheden, gebruind, ongebruind. Dus als je een model goed traint zal deze niet 100% afgaan op huidskleur. Het model kan echter wel leren, door extreme trainingsdata zoals jij suggereert dat extreem donker = Berend uit Congo.

[alwuzomondo]

Dit is niets meer dan een PR stunt om lobby tijd te kopen. Doel is om surveillance vriendelijke wetgeving erdoor te krijgen en een verbod te voorkomen.
https://tumblr.fightforth...rosoft-facial-recognition

[Loller1]

Een PR stunt... die ze al 1,5 jaar in de maak hebben?

Dit bericht is gewoon Microsoft die het beu is dat mensen hun blijven vragen om Amazon te volgen terwijl Microsoft dit al lang gewoon niet deed en dat nu nog eens herhaald.

[kevlar01]

Lijkt me goed dat een bedrijf als Microsoft zijn ethische en morele plicht nakomt. Dit soort software kan gebruikt worden voor de verkeerde doeleinden, en uiteindelijk kan je dat misschien niet gemakkelijk inperken(?)

[Mars Warrior]

Als ze echt ethisch zouden zijn zouden ze het cloud contract met defensie van 10 miljard ook kunnen weigeren, maar dat doen ze natuurlijk niet.

Dit soort gezichtsherkenning beperken kost hun namelijk niet zoveel, maar is wel mooi in lijn met de huidige problemen in Amerika.

[Verwijderd]

Wat is daar niet ethisch aan? Zou ik dan ook geen server mogen verhuren of dienst mogen verlenen aan het Nederlandse leger? Ben ik dan onethisch bezig? Zijn alle medewerkers van het leger dan onethisch?

[hottestbrain]

Politieke kleur is hierin een belangrijke factor. De vraag "zijn alle medwerkers van het leger dan onethisch" kan dus alleen vanuit persoonlijke overtuiging beantwoord worden.

Dat gezegd hebbende denk ik wel dat te beargumenteren is dat alle medewerkers van defensie even veel "schuld" hebben als degenen die de trekker over halen, onafhankelijk van de functie. Je immers werkt allen samen aan hetzelfde doel.

[Verwijderd]

Dan kun je als serviceprovider niemand meer bedienen. Er zijn meer bedrijven/landen dan het Amerikaanse leger waarvan je ook kunt stellen dat ze niet ethisch zijn. Ethiek is sowieso iets wat enorm relatief is.

[Laurens-R]

Het probleem met die generalisatie is dat het heel moeilijk word om organisaties aan te spreken omdat iedereen schuld zou dragen. Daardoor kan je eigenlijk niemand specifiek aanpakken op wangedrag en gaat het gewoon door.

Daarnaast heeft de concierge in het pentagon wat mij betreft echt geen "schuld" aan de beslissing van een generaal oid. Misschien moest de concierge in kwestie de baan wel aannemen vanwege een moeilijke arbeidsmarkt of vanwege zijn sociaal econmische status. Dan is het werken voor defensie ineens al veel minder een keuze en meer een gevolg van een situatie. Als je dan nog steeds vind dat een concierge even veel "schuld" draagt, heb je oogkleppen op voor hoe de wereld echt werkt (hoe verwerpelijk dat vaak ook moge zijn)

Ik wil zelf claimen dat veel militairen oprecht vanuit sympathieke motivaties bij het leger gaan. Er zijn heel veel legitieme redenen waarom een leger wel gewenst is; dat je te maken hebt met wanbeleid aan de top, betekend nog niet dat mensen daar ook echt achter staan. Wellicht zijn er mensen die de boel van binnenuit willen veranderen. Het is te simpel gedacht (zeker binnen bijvoorbeeld het leger) dat mensen dan maar orders moeten negeren. Dan word je namelijk berispt of zelfs (in de ergste gevallen) aangeklaagd voor verraad, deserteren of iets dergelijks. Zou jij dan echt het heilige boontje zijn die niet zwicht onder deze druk en je 'straf' dan maar ondergaat inclusief alle gevolgen (gevangenisstraf, toenemende druk in de stabiliteit van de thuis situatie, oneervol ontslag, impact op je carierre). Er zijn maar weinig mensen die dat echt durven.

[Reactie gewijzigd door Laurens-R op 3 augustus 2024 09:36]

[Willem1980]

Een maat van me kon 2 keuzes maken. Een bende of het leger. Gelukkig heeft hij voor het leger gekozen en hier in Nederland een vriendin leren kennen. Zo is het in de V.S. ben je arm en kom je uit de verkeerde buurt dan word je klein gehouden. Dan heb je echt geen vrijheid als je een normale burger wil zijn. Dus dan is het kiezen tussen 2 kwaden.

[Verwijderd]

Als ze echt ethisch zouden zijn zouden ze het cloud contract met defensie van 10 miljard ook kunnen weigeren, maar dat doen ze natuurlijk niet.

Wat is er onethisch aan een defensie contract? Ethiek is een rekbaar begrip maar jij trekt er wel stevig aan.

[Parrotmaster]

Niet relevant. We hebben het hier over de gezichtsherkenning software.

[Cergorach]

Nee, kevlar heeft het over een "ethische en morele plicht' van een bedrijf. Persoonlijk ben ik van mening dat een bedrijf geen ethisch of moreel inzicht heeft en dat de kudde vorming in een (groot) bedrijf dat ook niet heeft. Dit zijn strategische zetten die buitenaf lijken op ethische en morele beslissingen.

[Laurens-R]

Tot op zekere hoogte mag een bedrijf wat mij betreft claimen wat ze willen als dat leid naar een eindresultaat waar mensen beter van worden, ook al is dat op basis van alternatieve motivaties.

Ik denk dat het wat dit topic betreft voor de Microsoft's en Amazon's vooral gaat om het duidelijk regelen van aansprakelijkheid. Ik snap heel goed dat ze willen dat dit bij overheden komt te liggen. Als het bij-effect is dat ze de levering van deze software daarom uitstellen totdat er (hopelijk fatsoenlijke) wetgeving is, vind ik dat prima. Hoewel de reden achter deze wens voor wetgeving waarschijnlijk anders zal zijn tussen consumenten en bedrijven.

[Aristo]

Helemaal waar. Wat ik wou aangeven is dat ik Microsoft hier wat hypocriet over vind komen. Klinkt meer als marketing praat om zo van de huidige problemen in de VS gebruik te maken om vertrouwen te winnen.

[bush]

Microsoft herhaalt nu wat ze 2 jaar geleden al hadden gezegd. Dus je kan moeilijk zeggen dat ze van de huidige problemen gebruik maken

[Daoka]

Het gaat om gezichtsherkenning maar ze zeggen ook

Het bedrijf zegt daarnaast dat mensenrechten beschermd moeten worden als de software wordt ingezet.

Dus waarom is het dan niet relevant dat ze technisch gezien zo ver mogelijk onze rechten van privacy proberen te schenden? Dat is toch wel een tegenstrijdig iets. Dat het goed is dat het gedaan wordt is 1 ding. Maar het is een beetje dat je tegen iemand zegt stelen mag niet maar je doet het zelf ook. Dus het is misschien wat off topic maar ik zoe de relevantie wel.

[Yalopa]

Ik vraag me af hoe ze gaan verbieden dat een privé partij software gaat maken gebaseerd op hun AI cloud diensten en deze doorverkopen aan politie diensten...

[Daoka]

Het gaat niet alleen om de cloud diensten. Ze hebben speciaal gezichtsherkenning software gemaakt waar de politie nu geen gebruik van kan maken. Die heb je als privé partij natuurlijk niet.

[Verwijderd]

Yea, .... wat zijn we altruistisch in the name of Floyd
<br>
http://techrights.org/wiki/index.php/Microsoft_and_the_NSA
<br>
ik krijg de indruk dat megacorp (als een geheel, niet enkel microsoft) de defund-the-police wel ziet zitten om dan te lobbyen voor een eigen private service (die ze dan misschien nadien als extra (cloud?lol) service aanbieden ) gelegaliseerd te krijgen.
Het valt me op dat een google over "microsoft and the nsa" enkel hits geeft over hoe de nsa in 2020 microsoft heeft geholpen om een gat in hun systeem te dichten, de rest zit een paar clicks dieper, wat genoeg is voor generation A .D .D. i suppose

yea ... only speak on what's convenient enzo ...

mr dit zijn links uit 2020

http://techrights.org/2020/01/15/back-door-access/

http://techrights.org/202...s-to-see-here-move-along/

[Reactie gewijzigd door Verwijderd op 3 augustus 2024 09:36]

[snoopdoge90]

Woah leeft deze site nog? Een en al clickbaits en kromme interpretaties vol met onjuistheden. Het zou nog een belediging zijn voor de Telegraaf, Daily Mail en Fox News om Techrights in hetzelfde rijtje te benoemen. Blogspam voor privacy bewuste mensen, open source liefhebbers, en MS-haters. Vreemd genoeg zijn de mensen die geïnteresseerd zijn in privacy en open source software een stuk intelligenter, dus voor wie de site nou echt bedoeld is? Joost mag het weten. Zelfs de Linux subreddit heeft een afkeer tegen Techrights.

[Verwijderd]

+1 for informative dan ... dus wat er op staat is niet waar ?

microsoft heeft geen connecties met de NSA en microsoft geeft data niet aan de NSA zonder expliciete vragen en microsoft heeft geen expliciete backdoors die "enkel voor de staat" zijn ?
Ik meen me te herinneren dat zelfs de duitse regering en stasi er tegen uitegesproken hebben een aantal jaar geleden (maar die site ziet er inderdaad niet to pro uit, granted, absoluut)