Amazon verlengt stop op levering gezichtsherkenningssoftware aan politie VS

Amazon levert voor onbepaalde tijd geen gezichtsherkenningssoftware aan de Amerikaanse politie. Vorig jaar stelde het bedrijf een leveringsstop van een jaar in, maar het verlengt die termijn zonder een einddatum te noemen.

Amazon noemt tegenover Reuters geen reden voor de verlenging van de leveringsstop van Rekognition, zijn gezichtsherkenningstechnologie, aan de politie van de Verenigde Staten. Vorig jaar juni zette het bedrijf die levering een jaar op pauze met de toelichting dat het bedrijf strengere regelgeving voor het gebruik van gezichtsherkenning wilde. Amazon sprak toen de hoop uit dat het Amerikaanse Congres op korte termijn met betere regulering voor het ethisch gebruik van gezichtsherkenningstechnologie zou komen. Die regelgeving is er nog niet.

De Amerikaanse burgerrechtenorganisatie ACLU is opgetogen dat Amazon Rekognition langer niet levert. De organisatie legt de link met de kritiek vorig jaar op het optreden van de Amerikaanse politie bij demonstraties na de dood van George Floyd. Gezichtsherkenningstechnologie benadeelt volgens de ACLU de zwarte gemeenschap van de VS en zou al tot onterechte arrestaties en beschuldigingen hebben geleid. De ACLU wil dat de regering van president Biden het gebruik van gezichtsherkenning door de politie geheel stopt, van welk bedrijf deze ook afkomstig is.

Reacties (48)

[fonsoy]

Bijzonder dat dit bedrijf blijkbaar principes heeft. In de magazijnen van Amazon geldt er zowat slavernij, die arbeiders worden zelfs bij hun toiletgang gecontroleerd op duur en frequentie. Die tijd wordt ook niet betaald.
https://www.theverge.com/...onditions-bathroom-breaks https://www.theguardian.c...rs-bathroom-breaks-unions
En dan gezichtsherkenning niet willen leveren. Echt een principe voor de bühne!

[Reactie gewijzigd door fonsoy op 22 juli 2024 13:52]

[Blizz]

Nou ja het was ook na aanhoudende kritiek en in navolging van andere partij(en) die ermee stopten. Amazon doet alleen iets goeds als het goed is voor Amazon.

[Martijn.C.V]

Ik denk dat t minder altruïstisch is dan lijkt. Als je deze techniek zomaar gaat geven aan de politie, krijg je snel de "heult met de vijand" kind of vibe. Het imago van het hele bedrijf wordt op die manier op het spel gezet.

Als blijkt dat je gepakt bent door Amazon (wat waarschijnlijk te kort door de bocht is, maar wel wat je snel als conclusie gata krijgen) koop je daar nooit meer, je vriendjes ook niet en mond-op-mond reclame wordt verschrikkelijk.

En met de regelgeving kunnen ze de bal kaatsen "ja maar kijk: Van ons moet t goed gecontroleerd, je moet boos doen op de controleurs!".

[Zoijar]

Mag dit uberhaupt? Volgens mij mag je toch helemaal als bedrijf je product niet aan enkel een bepaalde groep or persoon niet leveren? Verder gebruikt amazon ook lekker de infrastructuur en andere staatsvoorzieningen; ik zou ze keihard aanpakken als overheid dat als je zaken wilt doen in ons land je ook gewoon aan ons land levert

(hieronder, waarom niet? omdat er wel degelijk wetgeving voor bestaat, althans in europa en nederland; ik weet niet hoe het in amerika zit, vandaar dat ik het me afvroeg. Maar het zal grotendeels afhangen van de monopoliepositie van amazon, en ze zullen hierin wel niet de grootste/enige zijn. Dus als er voldoende alternatief is is het sowieso geen probleem)

[Reactie gewijzigd door Zoijar op 22 juli 2024 13:52]

[The Zep Man]

Mag dit uberhaupt? Volgens mij mag je toch helemaal als bedrijf je product niet aan enkel een bepaalde groep or persoon niet leveren?

Waarom niet? Als consument mag je bepalen van wie je koopt. Als bedrijf mag je bepalen aan wie je verkoopt. Iets met 'vrije markt', en zo...

Zie ook:

Masterpiece Cakeshop v. Colorado Civil Rights Commission

Pas bij specifieke dwingende wetgeving is het anders. Denk bijvoorbeeld aan dat in Nederland een zorg basisverzekering niet geweigerd mag worden. In dit geval heeft Amazon geen leveringsplicht.

[Reactie gewijzigd door The Zep Man op 22 juli 2024 13:52]

[Aiii]

Je voorbeeld is uiteraard niet het sterkste voorbeeld, aangezien dat veel meer met discriminatie op basis van seksuele oriëntatie versus religieuze vrijheid ("gij zult geen taarten bakken voor bruiloften van twee mensen met hetzelfde geslacht" -God, 6000BC) te maken had en verder niet echt gaat over vrije markt, natuurlijk. Daarom werd het een afweging van belangen van bepaalde grondrechten versus andere grondrechten.

Neemt niet weg dat je verder gelijk hebt, zeker in Amerika, mag je doorgaans mensen weigeren als klant. Maar zeker in business to business zoals hier het geval is, zijn de rechten nog eens wezenlijk anders.

[The Zep Man]

Je voorbeeld is uiteraard niet het sterkste voorbeeld, aangezien dat veel meer met discriminatie op basis van seksuele oriëntatie versus religieuze vrijheid

Als gebaseerd daarop al geweigerd mag worden om iets aan een ander persoon te verkopen (zie de uitspraak), dan is de implicatie dat de bescherming over aan wie je wel en niet mag verkopen sterk is. Zeker als het gebaseerd is op 'right of free exercise'.

Als binnen een organisatie de mening/'religie' is dat de huidige overheid ruk is en er daarom niet aan geleverd wordt (een niet geheel ondenkbare mening voor een verbazingwekkend groot deel van de populatie in de VS...), dan is dat een geldige reden om niet te leveren aan de huidige overheid.

[Reactie gewijzigd door The Zep Man op 22 juli 2024 13:52]

[Aiii]

Zoals ik al zei, het zijn grondrechten. Dat maakt ze heel erg belangrijk, veel belangrijker dan andere zaken. Dan gaat het dus al lang niet meer over consumentenrecht.

Zie ook het gedoe rond de coronaregels en kerken in Nederland.

[Reactie gewijzigd door Aiii op 22 juli 2024 13:52]

[The Zep Man]

Zie ook het goede rond de coronaregels en kerken in Nederland.

'Het goede'?

[edit]
Ah. That makes sense.

Verder zijn grondrechten in Nederland anders dan in de VS. Nederland had een prima aanvulling kunnen maken in reguliere wetgeving die religieuze instellingen verplicht om coronaregels op te volgen. Helaas is politiek en religie niet gescheiden van elkaar, waardoor laatstgenoemde gaat steigeren bij het wegnemen van 'muh rights'.

[Reactie gewijzigd door The Zep Man op 22 juli 2024 13:52]

[-AzErTy-]

Dit is toch net het hele concept van licenties met overeenkomsten in welke setting wat gedaan mag worden met jouw product?

Gelukkig dat er nog enige ethiek lijkt te heersen bij sommige multinationals!
Wat stel jij voor Amazon verbieden? Denk dat je binnen de kortste keren een echte bestorming van het Capitool zal zien

[j005t]

Ik denk dat Ethiek hier geen enkele rol speelt. Enkel het imago van Amazon en geld zal in acht worden worden genomen bij zulke beslissingen.

[2green]

^ dit inderdaad. Amazon staat niet bepaald bekend om hun ethiek.

De wijze waarop en mate waarin amazon concurrenten het leven moeilijk maakt, werknemers onder druk zet, etc, duiden juist op een afwezigheid van enige ethiek.

Amazon lobbyisten zijn met zekerheid al druk aan het lobbyen en onderhandelen over de licentie kosten. Mogelijk is dat al gedaan en wachten ze nu het afgesproken tijdstip of een geschikte gebeurtenis af voor de invoering.

[mbbs1024]

Inderdaad, het zal Amazon waarschijnlijk om hun publieke imago te doen zijn.
Het zou me trouwens niet verbazen dat er al plannen of kontrakten zijn om die dingen dan toch via een voor het publiek ondoorzichtige wijze, toch te leveren, via een of andere tussenpersoon of bedrijf.

[Atilim]

Uhu, de (lokale) overheid en een bedrijf is geen "groep of personen" en je kan bepaalde voorwaarden stellen bij licenseren van jouw product.

[Yalopa]

Je bedoeld die zelfde overheid die zegt dat bepaalde technologie niet mag geleverd worden aan landen die ze toevallig niet leuk vinden?

Of heb je het over die overheid die verbied dat grondstoffen voor geneesmiddelen uitgevoerd worden?

[Blorgg]

ik weet niet hoe het in amerika zit, vandaar dat ik het me afvroeg.

In Amerika hebben de Republikeinen er voor gezorgd dat bakkers konden weigeren om bruiloftstaarten te leveren aan homo paren. Sindsdien is het daar in de wet verankert dat elk bedrijf om elke reden kan weigeren om producten of diensten te leveren aan wie dan ook. Het grappige is dat tijdens de pandemie diezelfde republikeinen dan wel gingen steigeren dat ze een masker op moesten voordat ze winkels in mochten omdat de winkels ze anders dienst weigerden. Leuk om te zien hoe dat mes aan twee kanten snijdt.

[WORPspeed]

"We reserve the right to refuse customers"

[PizZa_CalZone]

Vroeger had je nog het issue dat gezichtsherkenning van onze medemens met gekleurde huid slechter herkend werd dan bij een blanke. Ik snap nu niet waarom dit product "de zwarte gemeenschap benadeeld".
Waarom wordt deze groep meer benadeeld dan andere huidskleuren door deze techniek?

Dit staat los van het feit dat de zwarte medemens zeker in de VS over het algemeen een stuk eerlijker behandeld moet worden.

Ik vind die gezichtsherkenning een issue wat elke huidskleur evenveel raakt.

[Reactie gewijzigd door PizZa_CalZone op 22 juli 2024 13:52]

[NotSoSteady]

Is blijkbaar nog steeds een probleem.

After a shoplifter allegedly stole several watches at a Shinola store in Detroit in 2018, DPD officers tried to identify the thief by using a blurry image from the store’s surveillance camera video and feeding it through facial recognition technology. The lawsuit cites studies that show that facial recognition technology is poor at accurately identifying Black people, especially in cases like this one when the photo is grainy, the lighting is poor, and the suspect is not looking at the camera. Mr. Williams is Black.

https://www.aclumich.org/...ngful-arrest-based-faulty

[Reactie gewijzigd door NotSoSteady op 22 juli 2024 13:52]

[lordawesome]

Als die software zwarte mensen slecht herkent worden zij juist minder benadeeld. Zij genieten dan immers nog een zekere mate van anonimiteit.

[NotSoSteady]

Nou nee, want nu pakt de software mensen eruit die niks met de zaak hebben te maken.

[Verwijderd]

Dat zou voldoende moeten zijn om de stekker er uit te trekken totdat de software 100% werkt.

[heuveltje]

Nee, ook software die maar voor 60% werkt helpt al enorm.
het enige is dat er dan wel duidelijk moet zijn voor de gene wat de restricties zijn, en wat het gegeven resultaat waard is. en een portie common sense (waar het bij sommige politie agenten ook ernstig aan lijkt te ontbreken)

Het is ondoenelijk om met de hand 10.000 en foto's te vergelijken om daar een schuldige uit te krijgen. Dus dan word er maar gewoon niets gedaan. Als jij echter de AI vraagt de meest waarschijnlijke 10 te selecteren. En dan zelf vervolgens daar naar kijkt "Is dit de persoon" (en niet, "Welke van deze 10 is de persoon") Dan kan dat prima werken.

Maar een vage foto invoeren, en dan klakkeloos iemand arresteren die daar uit komt rollen, is gewoon het systeem niet begrijpen.

[stoorzender292]

Software die 100% werkt

[Verwijderd]

Je begrijpt wel wat ik bedoel.

[mac1987]

Als de politie zijn werk doet, de output van het programma alleen als suggestie behandelt en daarna zelf fatsoenlijk gericht onderzoek doet, hoeft dit geeneens een probleem te zijn. Ze zullen alleen meerdere suggesties af moeten wijzen voordat ze bij een daadwerkelijke verdachte uitkomen.
Probleem is waarschijnlijk dat agenten de suggestie behandelen als ware het bijna bewijs en die gesuggereerde persoon zonder verder onderzoek meteen in de boeien slaan.
Als een getuige zich meldt met de beschrijving 'donkergekleurde man van ongeveer 1m80 en zwart haar' en iemand meldt een persoon gevonden te hebben die aan die beschrijving voldoet, dan snappen ze ook dat ze niet meteen die donkergekleurde zwarte man van ongeveer 1m80 en zwart haar moeten oppakken, omdat de beschrijving te vaag is. Zodra een computer echter met 30% betrouwbaarheid een suggestie doet wordt daar kennelijk verkeerd mee omgegaan. Dan kun je het systeem afschaffen of agenten fatsoenlijk opleiden en controleren. Dat laatste vergt echter inspanning, maar is mijns inziens wel kern van het probleem.

[Reactie gewijzigd door mac1987 op 22 juli 2024 13:52]

[Skit3000]

In dat geval lijkt de oorzaak mij vooral dat er een wazige foto is gebruikt. Dat het gebruikte systeem uiteindelijk "de beste match" probeert te vinden en die toont als "de dader" is verkeerd maar slechts een instelling. De ontwikkelaar had prima kunnen besluiten dat wanneer er weinig verschil tussen de top 10 matches zit, ze alle tien getoond worden (of geen enkele). Op die manier dwing je een mens naar alle foto's te kijken in plaats van enkel naar de nummer 1 en leg je de verantwoordelijkheid weer bij de mens achter het politieapparaat in plaats van in een computersysteem.

[bzzzt]

Je gaat er wel erg makkelijk vanuit dat mensen hier alleen gemotiveerd zijn om de correcte dader te veroordelen. Helaas zijn er genoeg gevallen bekend waarin de politie snel een veroordeling rond probeert te krijgen van wie dan ook om hun imago te beschermen en heb je altijd nog het probleem dat er racisten rondlopen die ieder donker persoon het liefst veroordeeld zien.
Ik kan niet bewijzen dat het zo is, maar kan bijna niet anders dat dit soort systemen misbruikt worden voor andere agenda's dan het vinden van de juiste dader.

[Skit3000]

Ik zie wel het verschil tussen een systeemfout en een individuele racist en/of overwerkte agent. Als je kijkt naar de nieuwsberichten, zijn er miljoenen meer situaties waar de politie gedegen te werk gaat (in ieder geval in het hier betreffende land, de VS) dan waar zij opzettelijk aansturen op een veroordeling terwijl ze weten dat de persoon in kwestie de dader niet kan zijn.

[mbbs1024]

Ik weet niet of het nu nog het geval is, maar de vader van een schoolvriend van mij was rijkswachter, en die moesten maandelijks een boetequota halen.
Op een bepaald moment moest hij zich gaan verantwoorden waarom hij het vooropgestelde aantal boetes niet haalde, sindsdien heeft hij, telkens als hij zijn maandquota niet haalde, een paar dagen ervoor, zich opgesteld voor de rijkswachtkazerne, om ieder voertuig dat voorbijreed te controleren.
En als je goed genoeg kijkt, vindt je altijd wel een wissewasje dat niet in orde is, dat was dus een makkelijke manier om niet op je donder te krijgen van je chef, maar helaas pech voor de mensen die daar op dat moment voorbijkwamen, en die voor een onnozele prul beboet werden.

Hetzelfde zal wel gelden op mensen die misdaden moeten oplossen, als op een gegeven moment het aantal opgeloste zaken wat minder is, zullen die mensen ook wel serieus wat druk krijgen om de resultaten op te voeren, met alle gevolgen van dien voor diegenen die op dat moment terecht of onterecht in de kijker lopen.

[heuveltje]

Als je het verslag leest, dan blijkt ook dat voornamelijk dit incompetentie/onwil bij de Detroit Police was :

62 : The still image used by Mr. Adams was plainly unfit for use in a facial recognition search, as would have been evident had Mr. Adams received even rudimentary training on the proper use of facial recognition technology


En vervolgens meerdere instructies en waarschuwingen in het protocol en het resultaat negeren :

56 : The following statement appeared prominently on the Investigative Lead Report, in the form shown: “THIS DOCUMENT IS NOT A POSITIVE IDENTIFICATION. IT IS AN INVESTIGATIVE LEAD ONLY AND IS NOT PROBABLE CAUSE TO ARREST. FURTHER INVESTIGATION IS NEEDED TO DEVELOP PROBABLE CAUSE TO ARREST.” The phrase “INVESTIGATIVE LEAD ONLY” was highlighted in red ink

[dasiro]

dan moeten ze aan een minimum aan kwaliteit van het bewijs stellen voordat de technologie er op los gelaten wordt en niet het middel tout court verbieden of enkel als circumstantial evidence gebruiken.

[dok33]

Misschien is het issue juist wel dat de "witte" mens beter herkend wordt, en daardoor men weet met wie ze te maken hebben, versus niet herkennen "en dus verdacht!".

En dat die software beter is in het herkennen van degenen die tijdens het trainen van de software "toevallig" voor handen zijn (de voornamelijk blanke onderzoekers) is logisch, maar ook een gevolg van de voordelen die die mensen hadden om überhaupt onderzoeker te kunnen worden. Het is een lange keten van gevolgen...

Lastige materie, en daar in de USA nog lastiger.

[pizzafried]

Nou, zelf denk ik eerder dat etnisch profileren daar debet aan is.

[grahampje]

Het probleem is dus eigenlijk nog steeds dat het niet accuraat is, alleen dat het wel als bewijs wordt gebruikt. Dus een match op gezichtsherkenning wordt voor een zwart iemand hetzelfde behandeld als een blank iemand, terwijl die match eigenlijk voor die eerste groep totaal niks waard is.

[Core2016]

Deze video op youtube is wel grappig, gaat erover dat bij een blanke de tracking wel werkt op een hp laptop. Dit is niet rassistisch alleen de titel doet lijken van wel.
https://www.youtube.com/watch?v=t4DT3tQqgRM

[supersnathan94]

Maar dat raakt het niet.

Het probleem met donkere huidskleuren is de absorptie van licht. Daardoor is er minder detail aanwezig op beeldmateriaal of is het beeld onderbelicht omdat het is ingesteld op blank.

Ik had dat vroeger al met schoolfoto’s. Een fotograaf die daar weinig mee had gewerkt pikte je er zo uit. “click” “ohw die doen we ff nog een keer”.

Zeker met veel donkere gezichten op een foto die niet goed is heeft software daar nog steeds
Moeite mee.

Zelfde met aziaten, waar de markers naar verkeerde details kijken. Waar europeanen veel verschillen hebben rond de ogen hebben aziaten dat minder. Zo kan mijn iphone nog steeds m’n zusjes niet uit elkaar houden hoewel dat wel steeds beter gaat.

[PizZa_CalZone]

Ik snap waarom gezichtsherkenning bij donkerdere huidskleuren lastiger is, dit was echter niet helemaal het punt wat ik wilde aanstippen. Ik snap niet waarom gezichtsherkenning de zwarte medemens meer benadeeld dan een andere huidskleur. Of de detectie nu beter of slechter is, gezichtsherkenning heeft wat mij betreft dezelfde gevolgen voor elke huidskleur. Je gezicht wordt herkend of niet.

Als je bij gekleurde mensen meer false positives hebt zou het geen verschil moeten mogen maken. Je kunt mogelijk zelfs beargumenteren dat de blanke medemens meer benadeeld wordt omdat ze beter herkend worden.

Als je in de VS de racism kaart speelt, krijg je tegenwoordig soms dingen opeens voor elkaar. Maar deze discussie heeft niets met rassen te maken wat mij betreft. De discussie over gezichtsherkenning zou wat mij betreft moeten gaan over het opgeven van je privacy en of de kosten en baten hiervan in verhouding zijn.

Wat dat betreft ben ik blij dat deze organisatie het tegenhoudt. De kosten en baten zijn imho totaal uit verhouding, ik voel me minder veilig op straat dan vroeger toen er nog geen camera's hingen. Als ik continue in de gaten word gehouden op straat moet ik daar iets heeeeeeeel goeds voor terugkrijgen. Juist door de camera's voel ik me eerlijk gezien minder veilig. Ik vertrouw de regering niet dat ze objectief omgaan met deze beelden.

Een ietsjes veiligere omgeving vind ik niet genoeg (als dit uberhaupt al een bewezen voordeel is.) De goeden moeten onder de kwaden lijden. Maar zijn er genoeg kwaden om dit de goeden aan te doen? Een survailance-staat, is wat mij betreft een doomscenario.

[Reactie gewijzigd door PizZa_CalZone op 22 juli 2024 13:52]

[supersnathan94]

Je gezicht wordt herkend of niet.

Ah ik zie hier de verwarring die denk ik bij meerdere tweakers speelt. Jij doelt op herkenning van een gezicht? Niet per se de matching van het gezicht aan een persoon?

Want dat eerste gaat vaak fout doordat je veel false negatives krijgt. Dat laatste gaat dus fout waardoor je veel false positives krijgt. Het eerste benadeelt dus de blanke persoon (sneller dat er een gezicht aanwezig is) dat tweede juist de gekleurde man doordat men een beeld koppelt aan de verkeerde persoon.

[PizZa_CalZone]

Ik snap nu ook de verwarring. Ik bedoel namelijk beide. Gezichtsherkenning is in mijn boekje altijd een alles omvattende term geweest die de algoritmes die de herkenning uitvoeren alsmede de matching aan een db omvat.

[supersnathan94]

Ja oke. Maar dan worden ze wel benadeeld doordat men als onschuldige toch gelinkt wordt aan misdrijven. Mensen worden daardoor terecht niet gelooft en woorden anders geïnterpreteerd, waardoor ze zichzelf eigenlijk tot een bekentenis lullen. Je staat daardoor 1-0 achter terwijl je het echt niet gedaan hebt.

[HakanX]

Ik gok gewoon het aloude probleem dat compressietechnologien slecht omgaan met zwart, waardoor er veel detail verloren gaat. Denk alleen al aan moedervlekken, gezichtsbeharing en verschillende imperfecties op het gezicht die niet tot nauwelijks zichtbaar zijn op een uitvergrootte deel van een frame van een beveiligingscamera video. Hierdoor kan gezichtsherkenningsoftware onterecht donkere gezichten aan elkaar koppelen, omdat je vooral een donkere gelaat overhoudt en daar heb je niet zoveel variaties in. Als dan toevallig je postuur ook overeenkomt ben je de Sjaak.

[YangWenli]

Het zou werkelijk hilarisch zijn als de Amerikaanse politie nu in China gaat shoppen.

Gezichtsherkenning komt er gewoon. De camera's hangen al overal.

[checkraise]

dit soort dingen zijn altijd maar tijdelijk
de discussie is tijdelijk
de ophef is tijdelijk
ga er maar vanuit dat in 2035 praktisch elke overheid gezichtsherkenning toepast op bodycams

[mbbs1024]

Op voorwaarde dat gezichtsherkenning goed werkt, lijkt me dat dan ook goed dat de politie dat gaat gebruiken, maar zover zijn we op dit moment blijkbaar nog niet.

Het zou fijn zijn als de politie de relschoppers, die tijdens een betoging, een halve stadswijk vernielen op die manier snel zou kunnen oppakken, en de rekening van hun vernielingen presenteren, zodat de belastingbetaler (wij allemaal dus) daar niet moet voor opdraaien.
Uiteindelijk heeft de overheid toch al een foto van iedereen (identiteitsbewijs).
Als ze dan bij een misdaad, met behulp van een foto, de dader snel kunnen identificeren, is dat alleen maar voordelig voor de maatschappij.

[mutley69]

Hoe nobel van Amazon - en wie gebruikt dat dan wel? En is dat niet privacyschendend? U snapt al wat ik wil doorprikken!