Europese privacytoezichthouder wil verbod op AI die sociale scores kan maken

De Europese privacytoezichthouder EDPS pleit voor een Europees verbod op AI-systemen die sociale scores van individuen kunnen maken en mensen kan indelen op basis van biometrische data. De EDPS wil ook maatregelen die burgers moet beschermen tegen zulke use cases.

De European Data Protection Supervisor vindt in het algemeen dat AI-systemen die een 'onacceptabel risico' vormen voor individuen, verboden moeten worden en vermeldt ook enkele voorbeelden. Allereerst haalt ze het potentieel gebruik van kunstmatige intelligentie aan om sociale scores van individuen bij te houden, maar ook het gebruik van kunstmatige intelligentie om aan biometrische identificatie te doen van individuen in openbare ruimtes komt ter sprake. Het indelen van individuen op basis van biometrische data in categorieën, zoals etniciteit, moet eveneens verboden worden volgens de toezichthouder, net als de indeling van mensen op basis van waargenomen emoties.

De EDPS pleit bovendien voor maatregelen die burgers moeten beschermen tegen bovenvermelde use cases. Deze maatregelen moeten garanderen dat het gebruik van AI-systemen transparant is en dat datzelfde gebruik in heldere taal kan worden uitgelegd aan autoriteiten en individuen. Er moeten volgens de toezichthouder bovendien ook controlemechanismen ontwikkeld worden en samenwerkingsverbanden worden opgezet tussen autoriteiten om toezicht te houden op de AI-systemen.

De Europese privacytoezichthouder deelt zijn standpunt naar aanleiding van gesprekken die in de Europese politiek gaande zijn over kunstmatige intelligentie en het gebruik van deze technologie in Europa. In 2021 introduceerde de Europese Commissie de Artificial Intelligence Act; dat is een wet die het gebruik van AI-systemen in Europa moet reguleren.

Reacties (171)

[Mitsuko]

Ik zou eerder pleiten voor een algeheel verbod op sociale scores via algoritmes. Je hebt geen AI nodig om dat te doen - enige verschil is dat AI sneller een "black box" wordt en je geen of weinig controle hebt over de keuzes. Maar we moeten sowieso niet willen dat die keuzes gemaakt gaan worden.

[VittunWasted]

Ik zou eerder pleiten voor een algeheel verbod op sociale scores via algoritmes.

Liever een totaalverbod op sociale scores. Kan mij niet schelen ofdat het via een algoritme is of niet, zoiets zou niet mogen bestaan.

[teek2]

Precies, hier kwam verder geen AI aan te pas: https://en.wikipedia.org/wiki/Nosedive_(Black_Mirror). Toch redelijk ongewenst.

[jeroenj93]

Ik ben het met je eens, maar een AI hoeft niet per se een blackbox te blijven. Ik kwam recent een paper tegen. Misschien dat je het interessant vind. https://arxiv.org/pdf/2210.05189.pdf

[RobertPeterson]

Misschien zit ik er helemaal naast hoor. Maar ze hebben het hier uitsluitend over AI. Niet over een algoritme, terwijl sociale scores heel goed met een algoritme te berekenen zijn.

En dit is bijvoorbeeld een techniek waarbij de overheid nu armoede individueel wil gaan berekenen. Met alle gevolgen van dien.

[MSalters]

We hebben net gezien met Box 3 waar slordige wetgeving toe kan leiden. Ik mag hopen dat we "armoede" wel met een algoritme mogen blijven berekenen, want dat algoritme is het fundament onder een progressieve inkomstenbelasting. Verbied dat, en elke miljonair kan naar de rechter stappen. Dat is de "flat tax" invoeren via de achterdeur.

[RobertPeterson]

In zijn geheel, met je eens. Op individueel niveau, waar de bewijslast bij de burger ligt, oneens.

[ro4sho]

Wat zijn de gevolgen dan?

[RobertPeterson]

Dat het voor de burger niet te begrijpen is waar keuzes vandaan komen. Er komt een Algoritme register waar de burger zelf kan raadplegen hoe een algoritme werkt en hoe deze eruit ziet.

Nu is de informatiestroom vaak al lastig in te zien voor burgers en medewerkers. Laat staan wanneer een algoritme hier direct conclusies en gevolgen aan verbind.

In Nederland ben je onschuldig totdat het tegendeel is bewezen. Behalve bij de belastingdienst, hier ligt de bewijslast eigenlijk bij je zelf ligt. Juist daar lijkt een algoritme mij geen goed idee!

[ro4sho]

Ik snap wat je zegt, maar voor nu is het al helemaal onoverzichtelijk waar keuzes vandaan komen. Worden volkomen arbitrair gemaakt en als het moeilijk wordt dan is er ineens niets meer te vinden over het besluitproces. Een algoritme is in ieder geval nog te auditen en de inputs en outputs zijn duidelijk. Ik denk dan ook dat de gevolgen wel te overzien zijn.

[RobertPeterson]

Ik snap ook wat jij zegt! Ik ben juist bang dat het proces om in bezwaar te gaan langzaam zal worden bemoeilijkt. Want immers een algoritme die is geaudit maakt geen fouten. Alleen de input kan fout zijn.

Maar we zien het bij de overheid in bijna alle lagen. Hun ICT is niet op orde. Als er dan verkeerde input in het algoritme komt, komt de burger in de mangel. Ga dan maar eens in bezwaar. Dan moeten medewerkers naar de input gaan kijken. Terwijl die volgens hun klopt.

We hebben gezien dat de rechter er van uit gaat dat de overheid geen fouten maakt. Als er dan wel fouten worden gemaakt kan iedereen zich verschuilen anders een algoritme. Maar iets inzichtelijk maken wordt heel lastig denk ik.

[jmzeeman]

De definite van AI in het voorstel is volgens mij heel erg breed en omvat zoals ik het lees eigenlijk gewoon alle software:

[...]
Article 3 Definitions
For the purpose of this Regulation, the following definitions apply:
(1)‘artificial intelligence system’ (AI system) means software that is developed with one or more of the techniques and approaches listed in Annex I and can, for a given set of human-defined objectives, generate outputs such as content, predictions, recommendations, or decisions influencing the environments they interact with;
[...]
ANNEX I ARTIFICIAL INTELLIGENCE TECHNIQUES AND APPROACHES referred to in Article 3, point 1
(a)Machine learning approaches, including supervised, unsupervised and reinforcement learning, using a wide variety of methods including deep learning;
(b)Logic- and knowledge-based approaches, including knowledge representation, inductive (logic) programming, knowledge bases, inference and deductive engines, (symbolic) reasoning and expert systems;
(c)Statistical approaches, Bayesian estimation, search and optimization methods.
[...]
bron

[Mol_1248163264]

Dit is een goede eerste stap. Er zijn altijd politici/bedrijven die heel graag zo'n social credit score app willen invoeren onder het mom van: het redden van het klimaat of het bevorderen van de gezondheid.

Maar voor je het weet zit je in een maatschappij zoals in China waar inmiddels al tientallen miljoenen mensen zijn uitgesloten voor: reizen, aanvraag verzekering, solliciteren voor overheidsfuncties, etc. Het is een glijdende schaal en voor je het weet glij je in een dictatoriale maatschappij waar je niet zomaar uitkomt.

[g_v_rijn]

Of voor eigen (politieke partij) leden

[Yzord]

Volledig mee eens en een duidelijk signaal dat we dit ook niet moeten willen. AI is een mooi iets voor bepaalde doelen, maar om te profileren is het veel te gevaarlijk en vooral als het in handen komt van een regering die wat minder lieve dingen er op na houden. Laat staan dat zoiets in handen komt van een niet gekozen 'regering' (laten we zeggen, een multinational).

[djwice]

Dit wordt nu al gedaan via Google Ads bijvoorbeeld. Facebook doet vergelijkbaar.
Dit gebeurt op persoonsniveau.

Als jij vandaag product X koopt bij leverancier L met looptijd van 1 jaar, wordt je over een maand of 11 automatisch duurder om product X aan te promoten en voorgesteld aan de concurrenten van L dat je 'in de markt voor product X' bent.

Segmentatie van personen is gewoon geworden voor marketeers.

Google deelt de informatie in je profiel met alle websites die je bezoekt via Google Analytics. Onder andere je geschatte leeftijd, je geschatte locatie, je geschatte intresses op dit moment, etc.

Je snapt dat Google deze op basis van je zoek acties, gebruik van Google Maps, backup in Photo's, Games etc. heel nauwkeurig kan inschatten.

Facebook doet vergelijkbaar.
Microsoft verzameld en profileert vergelijkbaar (ook zakelijk).

@JayStout
En Tweakers heeft al jaren een sociale score, dat heet Karma in je profiel en in zekere zin Tweakotine ook.
Afhankelijk van hoe lang en hoe intensief je je sociaal wenselijk gedraagd krijg je van het Tweakers algoritme meer privileges.
De score op Tweakers is ook openbaar en leden kunnen het algoritme tippen als mensen zich sociaal wenselijk om onwenselijk gedragen. Het algoritme van Tweakers "leert" daardoor meer over het sociaal wenselijk gedrag van de persoon.

Je zou dit systeem als een AI voor social scoring kunnen aanmerken. Hij wordt regelmatig bijgewerkt als er nieuwe uitwassen bekend worden.

Ook kunnen individuen niet meer beschikken over hun eigen werk dat ze op dit platform zetten. Ze kunnen het niet verwijderen en na een aantal dagen ook niet wijzigen, ook blijven de eerdere ongewijzigde versies altijd online staan. Dit onder het mom van 'anders zouden trollen ...',
Van de redactie stukken blijft niet elke wijziging of correctie publiek staan.

Er is dus geen mogelijkheid om jezelf te verbeteren, je blijft bestempeld met je eerdere fouten. Een strafblad verdwijnt maar je spelfouten of andere redenen voor wijziging blijven je levenslang na jagen.

[ari3]

AI is een mooi iets voor bepaalde doelen, maar om te profileren is het veel te gevaarlijk en vooral als het in handen komt van een regering die wat minder lieve dingen er op na houden. Laat staan dat zoiets in handen komt van een niet gekozen 'regering' (laten we zeggen, een multinational).

Ja, dan kan gevolgen hebben, maar het niet inzetten van AI voor bepaalde doelen kan ook gevolgen hebben.

De European Data Protection Supervisor vindt in het algemeen dat AI-systemen die een 'onacceptabel risico' vormen voor individuen, verboden moeten worden en vermeldt ook enkele voorbeelden.

Het is maar net wat je als 'onacceptabel' aanmerkt. Neem bijvoorbeeld de in het artikel aangehaalde voorbeelden:

Het indelen van individuen op basis van biometrische data in categorieën, zoals etniciteit, moet eveneens verboden moeten worden volgens de toezichthouder; net als de indeling van mensen op basis van waargenomen emoties.

Het volgen van bijvoorbeeld etnische moslims moet afgewogen worden tegen de dreiging van terrorisme en overlast van die etnische groep. Het lezen van emoties kan ik wel als nuttig zien rondom bijvoorbeeld voetbalwedstrijden waar opgefokte tokkies elkaar te lijf gaan en de openbare ruimte slopen. Als we die schade en kosten voor politie-inzet kunnen voorkomen kan het onopvallend volgen best acceptabel zijn.

Daarnaast, hoe is dit wezenlijk anders dan het cameratoezicht wat er nu al is? Ik rijd dagelijks op dezelfde weg waar snelheidscamera's hangen. Ik val daarmee in een categorie die meer gecontroleerd wordt als andere burgers simpelweg omdat ik nabij een weg woon waar veel snelheidsovertredingen (en bijgevolg verkeersongevallen) zijn. Ik heb daar geen last van als ik me gewoon aan de regels hou. Camera toezicht met AI op een etnische groep valt voor mij in dezelfde categorie. De geprofileerde groep groep heeft er geen last van zolang ze zich aan de regels houden.

[Reactie gewijzigd door ari3 op 22 juli 2024 14:06]

[PhilipsFan]

Het volgen van bijvoorbeeld etnische moslims moet afgewogen worden tegen de dreiging van terrorisme en overlast van die etnische groep.

Dit is dus precies waar het om gaat. Je kunt niet de hele groep 'etnische moslims' gaan volgen of anders gaan behandelen omdat sommigen van deze groep terroristische misdrijven plegen. Dat noemen we in dit land discriminatie. Er is natuurlijk niks mis mee om verdachten van terroristische misdrijven te volgen of anders te behandelen, maar niet omdat ze toevallig moslim zijn.

Het lezen van emoties kan ik wel als nuttig zien rondom bijvoorbeeld voetbalwedstrijden waar opgefokte tokkies elkaar te lijf gaan en de openbare ruimte slopen. Als we die schade en kosten voor politie-inzet kunnen voorkomen kan het onopvallend volgen best acceptabel zijn.

Als dat onafhankelijk van afkomst, geslacht, huidskleur of geloof kan werken, dan ben ik het met je eens.

Daarnaast, hoe is dit wezenlijk anders dan het cameratoezicht wat er nu al is? Ik rijd dagelijks op dezelfde weg waar snelheidscamera's hangen. Ik val daarmee in een categorie die meer gecontroleerd wordt als andere burgers simpelweg omdat ik nabij een weg woon waar veel snelheidsovertredingen (en bijgevolg verkeersongevallen) zijn. Ik heb daar geen last van als ik me gewoon aan de regels hou. Camera toezicht met AI op een etnische groep valt voor mij in dezelfde categorie. De geprofileerde groep groep heeft er geen last van zolang ze zich aan de regels houden.

Het verschil is dat die snelheidscamera's alleen auto's fotograferen die daadwerkelijk te snel rijden, wat een overtreding is. Ze filmen niet ALLE auto's en halen daar later mbv AI de auto's uit die te snel reden. Want die AI gaat fouten maken en als je een bon hebt gekregen is het heel moeilijk om daar tegenin te gaan. Bij een normale snelheidscontrole kun je nog kijken of de apparatuur voldeed, of de verbalisant goed opgeleid is en zich aan de voorschriften heeft gehouden etc etc etc. Bij AI kan dat allemaal niet.

[Reactie gewijzigd door PhilipsFan op 22 juli 2024 14:06]

[ari3]

[...]

Dit is dus precies waar het om gaat. Je kunt niet de hele groep 'etnische moslims' gaan volgen of anders gaan behandelen omdat sommigen van deze groep terroristische misdrijven plegen. Dat noemen we in dit land discriminatie.

Als je goed leest heb ik het niet over 'sommige', maar over een verhoogde incidentie t.ov. andere groepen. Als de incidentie zodanig hoger (lees: statistisch signficant) is het redelijk dit mee te nemen in de opsporing en handhaving.

Het verschil is dat die snelheidscamera's alleen auto's fotograferen die daadwerkelijk te snel rijden, wat een overtreding is. Ze filmen niet ALLE auto's en halen daar later mbv AI de auto's uit die te snel reden.

Dat is zoals het zou moeten werken, maar dat is voor mij net zo min controleerbaar als dat andere camerabeelden wel/niet tijdig worden gewist.

Want die AI gaat fouten maken en als je een bon hebt gekregen is het heel moeilijk om daar tegenin te gaan. Bij een normale snelheidscontrole kun je nog kijken of de apparatuur voldeed, of de verbalisant goed opgeleid is en zich aan de voorschriften heeft gehouden etc etc etc. Bij AI kan dat allemaal niet.

Waarom zou je een AI niet kunnen controleren? Volgens mij is dat juist iets wat we moeten regelen. Als een AI een beslissing neemt dan is dat op basis van een algoritme, een uitgebreide beslisboom waar op basis van invoer een beslissing uitkomt. Die invoer en beslisboom kun je gewoon afdrukken lijkt me. Dat wordt snel complex, maar lijkt me niet wezenlijk anders dan wat in een aanklacht voor strafvervolging aangeleverd moet worden. Voor een rechtelijke uitspraak zal toch opgetekend moeten worden hoe de AI tot die een conclusie gekomen is.

[Reactie gewijzigd door ari3 op 22 juli 2024 14:06]

[supersnathan94]

Als je goed leest heb ik het niet over 'sommige', maar over een verhoogde incidentie t.ov. andere groepen. Als de incidentie zodanig hoger (lees: statistisch signficant) is het redelijk dit mee te nemen in de opsporing en handhaving

Nee want dit zorgt er juist voor dat dit beeld alleen maar vaker naar voren komt. Simpelweg doordat er meer op wordt gelet.

De verdeling zal statistisch gezien steeds schever worden door dit soort profilering.

[mac1987]

Ik ben het volledig met je eens, maar puur uit interesse in de werking van dit soort algoritmen: zou je bij het disproportioneel volgen van een specifieke groep niet juist ook meer correctie krijgen op basis van negatieve uitkomsten? In dit voorbeeld: als je meer moslims in de gaten zou houden, dan zou je ook meer metingen verwachten van mensen die geen terroristische activiteiten tonen (de overgrote meerderheid). Zou dit het systeem niet moeten corrigeren voor het overmatig volgen van deze groep? Ik lees vaak dat er sprake zou zijn van een self fulfilling prophecy, maar toch alleen als je de negatieve uitkomsten negeert? En is een systeem dat alleen naar de positieve uitkomsten kijkt niet bij voorbaat al slecht ontworpen?

[Reactie gewijzigd door mac1987 op 22 juli 2024 14:06]

[Douweegbertje]

Het is maar net of je die resultaten per iteratie blijft meenemen. Anders is het echt gewoon een kwestie van het niet durven om het beestje bij zn naam te noemen.

We mogen soms de feitelijke waarheid niet meer zien onder het mom van discriminatie, terwijl dit onterecht is.

Het is net alsof we dijken in de woestijn moeten bouwen om maar niet te profileren dat water management alleen op bepaalde noodzakelijke plekken benodigd is.

[Verwijderd]

Als de incidentie zodanig hoger (lees: statistisch signficant) is het redelijk dit mee te nemen in de opsporing en handhaving.

Nee, absoluut niet. Want dan krijg je een feedback loop. Los van dat het toch echt onder discriminatie valt.

Die invoer en beslisboom kun je gewoon afdrukken lijkt me.

Nee, bij een neuraal netwerk is dit veel te complex om te begrijpen. Beetje een black box, wat dat betreft.

[Reactie gewijzigd door Verwijderd op 22 juli 2024 14:06]

[ari3]

Nee, bij een neuraal netwerk is dit veel te complex om te begrijpen. Beetje een black box, wat dat betreft.

Maar voor een aanklacht hoeft het neuraal netwerk toch niet begrepen te worden? Als iemand vandaag aangeklaagd wordt voor een misdraag hoef hij de onderzoeksmethode van de rechercheur ook niet te begrijpen. De aanklacht is gebaseerd op vastgestelde feiten en niet op de methodiek die verbanden tussen feiten in kaart bracht. Ik verwacht dat een aanklacht voor hetzelfde misdrijf opgesteld door een recherche-team of een AI geen verschillen bevat voor wat betreft de gevonden feiten.

Overigens is een neuraal netwerk niet zo blackbox als je denkt. Ieder algoritme dat op computers uitgevoerd wordt is uiteindelijk deterministisch. Het resultaat van een neuraal netwerk is dus ook deterministisch. Gegeven de dezelfde invoer zal de uitvoer hetzelfde zijn. Natuurlijk zal de invoer en uitvoer zoveel datapunten bevatten dat een (voor mensen begrijpelijke) presentatie daarvan lastig is. Ik denk dat de uitkomst van een neuraal netwerk uiteindelijk een feitenrelaas is met een waarschijnlijkheidsscore dat iemand iets gedaan heeft.

Wellicht is de uitkomst van een neuraalnetwerk vergelijkbaar met een DNA-onderzoek. De meeste mensen begrijpen ook niet inhoudelijk hoe een DNA-test werkt. Toch wordt de uitkomst wel gebruikt als bewijs in rechtszaken. Het is niet nodig dat iedereen het inhoudelijk begrijpt zolang onafhankelijke rechters er maar van overtuigd zijn dat het goed bewijs is. Rechters verlaten zich voor die inschatting op de autoriteit van onafhankelijke experts. Dat is sowieso al staande praktijk.

[Verwijderd]

Ik verwacht dat een aanklacht voor hetzelfde misdrijf opgesteld door een recherche-team of een AI geen verschillen bevat voor wat betreft de gevonden feiten.

Het lijkt me dat een AI meer gebruikt wordt voor dingen als: wijk X heeft historisch meer arrestaties dan wijk Y, dus stuur de politie maar iets vaker langs door wijk X dan door wijk Y. Waardoor er meer arrestaties verricht worden in wijk X => feedback loop.

(vaak zul je zien dat wijk X dan meer immigranten heeft dan wijk Y, en dan krijg je de hamvraag; zijn immigranten crimineler 'van nature', of zijn ze crimineler door deze discriminatie, waardoor ze in een negatiever socio-economisch klimaat moeten toeven..)

een waarschijnlijkheidsscore dat iemand iets gedaan heeft.

Alleen als je trainingsdata en je model perfect zijn, wat ze dus nooit zijn, want die zijn weer gebasseerd op het verleden waarin discriminatie etc. helaas een ding is => feedback loop

Wellicht is de uitkomst van een neuraalnetwerk vergelijkbaar met een DNA-onderzoek.

Nee nee, absoluut niet!

Ik nodig je uit je in te lezen over bias in neurale algoritmen. Want je hebt een stevige mening, maar niet de kennis de je nodig hebt voor een goede onderbouwing. (en als je die kennis wel had, had je een andere mening)

[Reactie gewijzigd door Verwijderd op 22 juli 2024 14:06]

[mac1987]

[...]
Het lijkt me dat een AI meer gebruikt wordt voor dingen als: wijk X heeft historisch meer arrestaties dan wijk Y, dus stuur de politie maar iets vaker langs door wijk X dan door wijk Y. Waardoor er meer arrestaties verricht worden in wijk X => feedback loop.

Maar toch alleen als je de negatieve metingen negeert? Als je dubbel zoveel patroullieert, maar slechts 20% meer arrestaties verricht dan in andere wijken, dan zou het systeem die auto's toch weer naar andere wijken moeten sturen? Het gaat toch om de verhouding manuren patrouille/geconstateerde misdrijven, en niet om het absolute aantal arrestaties per wijk ongeacht de geleverde inzet?

[Verwijderd]

Ik verwacht als je 2x zoveel patroullieert, dat je 'altijd' ook 2x zoveel arrestaties krijgt.

Je hebt wel gelijk dat ze die ratio moeten gebruiken ipv de absolute arrestatie-getallen, of dat ook gebeurt weet ik niet maar dat zou inderdaad best kunnen!

Dan nog heb je het issue dat sommige politie-agenten racistisch zijn en dus meer arrestaties verrichten in een wijk met immigranten, en de trainingsdata (die ratio) onzuiver blijft, maar je hebt wel gelijk dat de AI dat dan niet per se versterkt, maar meer gewoon herhaalt.

[FJB]

Ken je een goede link of andere bron om in te lezen op de bias in neurale algoritmen?

[Verwijderd]

Nee, ik heb gezocht op youtube tussen de video's van Robert Miles (niet te verwarren met de gelijknamige kazige dance producer), want ik weet dat die goed zit in deze materie. Echter, kan zo geen video's vinden over bias in zijn verzameling met de youtube search, dus misschien is dat meer iets wat terloops ter sprake is geweest maar niet in een titel of tag is terecht gekomen (hij focust meestal meer op AI safety dan ethics). Dus nee sorry!

[Reactie gewijzigd door Verwijderd op 22 juli 2024 14:06]

[ProQuizmaster]

(vaak zul je zien dat wijk X dan meer immigranten heeft dan wijk Y, en dan krijg je de hamvraag; zijn immigranten crimineler 'van nature', of zijn ze crimineler door deze discriminatie, waardoor ze in een negatiever socio-economisch klimaat moeten toeven..)

Wat doet dat er toe als je orde aan het handhaven bent?

De wijkagent moet er toch op toezien dat elk stukje Nederland op Nederland lijkt? Hadden we de Schilderswijk maar moeten laten zoals die was?

Bij recherche onderzoek vind ik dat racisme absoluut niet thuishoort, daarin tegen discriminatie op gebied van geslacht, geloofsovertuiging en economische omstandigheden wel. Het is allemaal gewoon niet zo zwart wit als de media je wil doen geloven.

Het belangrijkste wat veel mensen vergeten is dat criminelen niet “genezen”. Zet ai nou eens op het voorkomen en reduceren van residive, dat lijkt mij de zwakste schakel in de feedback loop.

[Verwijderd]

De wijkagent moet er toch op toezien dat elk stukje Nederland op Nederland lijkt?

Sorry wat?

(..) als de media je wil doen geloven.

[RGAT]

Als iemand vandaag aangeklaagd wordt voor een misdraag hoef hij de onderzoeksmethode van de rechercheur ook niet te begrijpen.

En precies daarom stelt de wet dat jij als verdachte recht hebt op een advocaat die de onderzoeksmethode van de rechercheur dus wel kan begrijpen. Als de rechercheur namelijk bewijs heeft verzameld door illegale methoden bijvoorbeeld, dan maakt dat heel erg veel uit, zo veel dat de hele aanklacht al gauw terug getrokken zal worden, dus precies zoals je hier omschrijft maar dan 180 graden omgedraaid is de realiteit

Ik denk dat de uitkomst van een neuraal netwerk uiteindelijk een feitenrelaas is met een waarschijnlijkheidsscore dat iemand iets gedaan heeft.

En tenzij jij die AI op een robot laadt en het huis van de verdachte in stuurt om zelf bewijs te laten verzamelen zullen de 'feiten' waarop de AI functioneert door mensen aangevoerd worden, waarbij de rechercheur dus niet weet welke feiten zwaarder wegen. Voor onze weegt 'voorbedachte rade' zwaarder dan 'zelfverdediging' bijvoorbeeld, misschien kijkt de AI echter zwaarder naar leeftijd, afkomst of hoe vroeg/laat op de dag het misdrijf gepleegd werd...
Dat een groep wiskundigen en programmeurs dan na wat lange nachten een redelijke uitleg kunnen maken over hoe het werkt betekent niet dat de rechercheur dat ook weet en dat is degene die de data invoert.

Wellicht is de uitkomst van een neuraalnetwerk vergelijkbaar met een DNA-onderzoek.

Waarschijnlijk de gevaarlijkste uitspraak op Tweakers op dit moment
Een goed voorbeeld waarom we wetgeving nodig hebben die dit soort praktijken verbiedt, omdat sommige mensen alles wat de computer zegt voor feit aannemen, computer says no...

[ProQuizmaster]

Met dna onderzoek zijn in Nederland ook onschuldige mensen opgesloten hoor.

[divvid]

Wellicht is de uitkomst van een neuraalnetwerk vergelijkbaar met een DNA-onderzoek. De meeste mensen begrijpen ook niet inhoudelijk hoe een DNA-test werkt. Toch wordt de uitkomst wel gebruikt als bewijs in rechtszaken. Het is niet nodig dat iedereen het inhoudelijk begrijpt zolang onafhankelijke rechters er maar van overtuigd zijn dat het goed bewijs is.

Oef, dit is wel eeg kort door de bocht
Een DNA test is door iedereen met mavo biologie te begrijpen en bovendien onafhankelijk controleerbaar en repeteerbaar.

De uitkomst van een neuraal netwerk is per definitie niet repeteerbaar en al helemaal niet controleerbaar, al dan nietmet enige moeite of inschakelen van onafhankelijke expertise, anders was het niet meer geweest dan een controleerbare beslisboom

[Mars Warrior]

Het verschil is dat die snelheidscamera's alleen auto's fotograferen die daadwerkelijk te snel rijden, wat een overtreding is. Ze filmen niet ALLE auto's en halen daar later mbv AI de auto's uit die te snel reden. Want die AI gaat fouten maken en als je een bon hebt gekregen is het heel moeilijk om daar tegenin te gaan. Bij een normale snelheidscontrole kun je nog kijken of de apparatuur voldeed, of de verbalisant goed opgeleid is en zich aan de voorschriften heeft gehouden etc etc etc. Bij AI kan dat allemaal niet.

Slimme camera’s, waaronder ook ANPR camera’s slaan nu net wel alle beelden op voor analyse achteraf. De bewaartermijn is dacht ik 4 weken!

Slimme camera’s gebruiken neurale netwerken / machine learning om te zien of je te hard rijdt, een telefoon in je handen hebt en doen dingen als herkenning van gevaarlijke stoffen logo’s igv een vrachtwagen, naast natuurlijk het herkennen van je kenteken, merk auto en soort (auto, vrachtwagen, etc). Op basis hiervan zijn controles mogelijk om te zien of kenteken wel bij die auto hoort…

Dankzij de opgeslagen beelden kan men zowel real-time als ook achteraf verdachte kentekens opsporen.

Gezichtsherkenning is vziw op dit moment verboden.

Er hangt dus flink wat AI boven en naast onze wegen in Nederland!

[PhilipsFan]

Hoe zit die AI het verschil tussen een telefoon in mijn hand of (bijvoorbeeld) de afstandbediening van een insulinepomp? Beide zijn een apparaat met een scherm en knopjes. Het een is verboden, het andere kan tijdens het autorijden heel belangrijk zijn...

[Framoes]

Waarschijnlijk ziet de AI geen verschil en zal je bezwaar moeten aantekenen met bewijs dat het een insulinepomp is. Je kan de foto's ook inzien op de site van het CJIB en daarop mogelijk het verschil aantonen.

Indien dit niet goed mogelijk is en er geen jurisprudentie is, zal je na een afgewezen bezwaar in beroep kunnen gaan en dan zal een rechter alsnog een uitspraak doen.

De reden dat onze wetgeving omtrent gebruik van mobiele telefoons in de auto (en op de fiets is veranderd) is omdat iemand het tot aan de rechter liet komen. Daarom mag je een telefoon in een houder tot op zekere hoogte wel bedienen (voor navigatie). Dit komt namelijk overeen met zo'n scherm dat veel moderne auto's in de middenconsole hebben.

Misschien dat de bediening van je insulinepomp ook in zo'n telefoonhouder doen de oplossing is.

[slowdive]

ANPR-camera's flitsen alle autos die lamgsrijden. De foto's worden na een tijd gewist.

[centr1no]

Dat noemen we in dit land discriminatie.......
Als dat onafhankelijk van afkomst, geslacht, huidskleur of geloof kan werken, dan ben ik het met je eens.

Discriminatie is niet per definitie iets slechts. Het betekend letterlijk onderscheid maken. Iedereen doet het met alles.
Het is in onze maatschappij echter een begrip geworden met een negatieve betekenis.. Ik pak voor het gemak even de omschrijving van Wikipedia. Het achterstellen van mensen (of groepen) op basis van kenmerken die niet relevant zijn in een gegeven situatie.
De crux zit 'm in dat 'relevant in een gegeven situatie'. Feitelijk overruled dat de notie dat alle onderscheid op afkomst, geslacht, geloof per definitie slecht zou zijn. En er lijkt vaak verwarring te zijn over wat relevant is en of dat die gegeven situatie realistisch of utopisch, lokaal, regionaal of mondiaal gespiegeld moet worden.

Het proactief volgen met surveillancecamera's van groepen voetbalsupporters (waarvan in het verleden is gebleken dat die zich vaak misdragen) die zich na een wedstrijd door het centrum van een stad bewegen is niet anders dan het volgen van luidruchtige of anders opvallende mensen die op een gemiddelde zaterdagavond door zo'n uitgaansgebied trekken.
Wordt het opeens discriminatie als je nagaat dat het allemaal mannen zijn die allemaal uit het land of de plaats komen waar de betreffende voetbalclub van is en misschien daarom ook wel allemaal een bepaalde huidskleur of specifieke religie hebben en waarschijnlijk bepaalde kleding of kenmerken dragen?

Je kunt niet de hele groep 'etnische moslims' gaan volgen of anders gaan behandelen omdat sommigen van deze groep terroristische misdrijven plegen.

Niemand volgt 'hele groepen etnische moslims'. Het hele punt is dat het een zelflerend systeem betreft dat specificeert. De text spreekt zelfs letterlijk van individuen.
Net zoals je als netjes opgevoed en weldenkend mens begrijpt dat niet alle moslims potentiele terroristen zijn maar dat dat je ook snapt dat data aan kan tonen dat mensen met een specifiek geslacht, afkomst, leeftijd en geloof die ook bepaalde specifieke gedragingen vertonen vaker in verband worden gebracht met wandaden.

Ze filmen niet ALLE auto's en halen daar later mbv AI de auto's uit die te snel reden. Want die AI gaat fouten maken en als je een bon hebt gekregen is het heel moeilijk om daar tegenin te gaan.

Dit is ook weer zo'n rare situatie.
Er zijn redenen waarom de foto's die nu gemaakt worden automatisch worden omgezet naar boetes en er zijn ook redenen waarom niet alle auto's gefilmd worden. Er is ook geen enkele reden waarom een AI zoiets zou moeten bepalen. Het zou een kwestie zijn van berekenen hoe lang een punt op een object onderweg is tussen 2 punten met een ja/nee uitkomst. Er hoeven geen afwegingen gemaakt te worden en er is geen interpretatie nodig.

Bij AI kan dat allemaal niet.

En daarom is het een hulpmiddel en niet 'judge, jury and executioner'.

[Mushroomician]

Het volgen van bijvoorbeeld etnische moslims moet afgewogen worden tegen de dreiging van terrorisme en overlast van die etnische groep.

Hier maak jij nu de fout door de stellen dat de groep etnische Moslims verantwoordelijk is voor terrorisme en overlast. Dit is natuurlijk net zo onjuist als de stelling dat Nederlanders criminelen zijn. De meeste criminelen in Nederland zijn namelijk (je raadt het nooit) Nederlanders. Je kunt dan net zo goed Homo sapiens sapiens invullen, want die lui zeg….

[batjes]

In absolute aantallen ook nog maar met kleine marge. Van de autochtone Nederlanders komt ~1,1% in aanraking met politie en justitie. Van de allochtone Nederlanders is dit ~4%. ~25% van de Nederlanders heeft een migratieachtergrond.

Allochtone Nederlanders van de 3de generatie en daarna, komen in de statistieken te staan als autochtone Nederlanders.

https://longreads.cbs.nl/integratie-2020/criminaliteit/

Er is wel degelijk een probleem met mensen met een migratie-achtergrond, die komen buitensporig vaak in aanraking met criminaliteit (Niet alleen als dader, ze zijn ook verhoudingsgewijs vaker slachtoffer).

We zouden die mensen eens moeten gaan helpen om uit de problemen te komen en ook te blijven. Door te doen alsof je neus bloed en weg te kijken, zijn die mensen er niet mee geholpen.

[Qwerty-273]

Leuk jaarrapport, maar heeft een migratieachtergrond echt pure directe invloed op hoe crimineel iemand is? Of is het eerder een economische sociale klasse waar men in beweegt? Het grootste probleem van profileren is dat je aspecten gaat kiezen van daders (of slachtoffers) en daar meer waarde aan gaat hangen dan aan andere aspecten. Vervolgens zoek je in de data naar bevestigende waardes bij anderen en voila je hebt een (bewezen) profiel. Dat betekent nog niet dat daar daadwerkelijk de problemen door komen. Misschien zou een andere keuze "woont naast een crimineel" veel meer voorkomen als men daar naar zou kijken als aspect. (en dan laat ik bewust aspecten van duidelijke verschillen tussen grote steden en kleinere gemeentes achterwege)

Of je hebt dat mensen met een migratieachtergrond in een lagere economische klasse zitten, daardoor in armere buurten van grote steden wonen, "slechter" les krijgen op de lokale "zwarte" basisschool, daardoor minder kansen hebben om hogere opleidingen te volgen, etc. etc. De migrant met een dikkere bankrekening komt in een betere buurt, heeft een betere opleiding, betere kansen. Is het dan nog steeds migratieachtergrond?

In diezelfde lagere klassen zitten ook mensen zonder een migratieachtergrond, die tegen dezelfde belemmeringen oplopen en daardoor wellicht ook kiezen voor het snelle geld uit criminele activiteiten.

[centr1no]

Of is het eerder een economische sociale klasse waar men in beweegt?
In diezelfde lagere klassen zitten ook mensen zonder een migratieachtergrond, die tegen dezelfde belemmeringen oplopen en daardoor wellicht ook kiezen voor het snelle geld uit criminele activiteiten.

Het is niet 'of'. Het is 'en'.
Economische sociale klasse heeft absoluut invloed, maar je gaat volledig voorbij aan het feit dat er bepaalde culturele verschillen zijn die bijdragen aan bepaalde vormen van ongepast of ongewenst gedrag. Er zijn (sowieso bij 1e generatie migranten) niet alleen de culturele en religieuze verschillen maar ook vaak een verschil in opleidingsniveau en algemene kennis en een enorme kloof door de taal.
Jongeren met een specifieke culturele en religieuze opvoeding die ook nog eens veelal bij elkaar in de buurt wonen krijgen het gevoel dat ze niet begrepen worden, gediscrimineerd worden en krijgen vaak door kleine ongeregeldheden een basis die vaker dan bij autochtone jongeren kan escaleren naar grotere problemen.

De migrant met een dikkere bankrekening komt in een betere buurt, heeft een betere opleiding, betere kansen. Is het dan nog steeds migratieachtergrond?

Het is logisch dat mensen in het algemeen minder neiging hebben te stelen als ze voldoende geld hebben. Maar je focust wel weer op het economische aspect.
Deze migrant woont dus niet in een omgeving waar de invloed van een specifieke culturele of religieuze gemeenschap heel groot kan zijn, heeft zich academisch ontwikkeld en heeft zich beter aangepast aan de maatschappij waarin hij leeft. Kinderen van deze migrant zullen ook minder snel in aanraking komen met en dus minder snel beïnvloed worden door leeftijdsgenoten die dat niet hebben.

Als je even wat statistieken op zoekt dan zie je dat er qua criminaliteit ook verschillen zijn tussen groepen migranten. De ene groep zit hier al wat generaties langer en daar ze je criminaliteit in het algemeen afnemen. Bij een andere groep zie je dat voornamelijk de jeugd een probleem heeft en bij weer een andere groep zie je juist dat de criminaliteit op latere leeftijd ook nog steeds onevenredig hoog is.
Daarbovenop zie je ook bij Nederlanders gewoon cultuurverschillen. Zo'n groep Nederlandse jongemannen die het op Mallorca in half dronken toestand gewoon leuk vinden om willekeurige mensen te provoceren en (veel) erger.

[batjes]

Nee dat heeft het niet en beweer ik ook niet. Het is het milieu waar ze in terecht komen/zitten en daar moeten we ze als maatschappij uit helpen. De afkomst zelf doet er inderdaad niet toe. Cultuur heeft wel tot zekere hoogte invloed, maar is geen beperkende factor.

Maar problemen kan je niet oplossen als je deze niet adresseert. We kijken als maatschappij veel te veel weg en laten die mensen in hun sop gaarkoken. Niet alleen mensen met migratieachtergrond, maar ook de autochtone mensen die in hetzelfde milieu vastzitten(zoals je ook aangeeft), maar het zijn wel verhoudingsgewijs vooral medelanders met een migratieachtergrond die in die kutsituatie vast zitten.

We doen maatschappelijk eerder het tegenovergestelde. We hemelen shit als Mocro Maffia de lucht in, hele zooi van die a-muzikale lutsers c.q. influencers worden op de schouders gedragen. We geven veel mensen de indruk dat je crimineel gedragen cool is.

[Reactie gewijzigd door batjes op 22 juli 2024 14:06]

[TheDutchChief]

Er zijn wel onderzoeken gedaan waarin allochtonen en autochtonen in dezelfde economische positie vergeleken werden. Voor de meeste groepen valt dan de verhoogde kans op criminaliteit weg. Alleen voor jongens met Marokkaanse roots lag het nog steeds iets hoger. Maar niet zo heel veel. En ook nogal lokaal bepaald.

[lordawesome]

Op zich vreemd dat derde generatie allochtonen bij de autochtonen wordt opgeteld. In de statistieken van cbs staat namelijk dat er weinig verschil is tussen de criminaliteit van eerste en tweede generatie allochtonen, maar wel tussen autochtonen en allochtonen.

[MSalters]

Je moet ergens een grens trekken als je categorisch onderzoek doet - dat is inherent aan de methodiek. Maar toegegeven, twee categorieën voor een paar miljoen individuen is niet veel nee.

[TheDutchChief]

Ik las ergens dat ook criminaliteit door allochtonen erg wijkbepaald is. Er is een wijk in Rotterdam waar voor de immigratie door gastarbeiders eind jaren zestig al een hoge criminaliteit was. Die wijk is ‘verkleurd’ maar het wonen in die wijk heeft op een landelijke schaal een betere voorspelling op de kans dat iemand crimineel wordt dan zijn of haar allochtone afkomst. Zo zouden er nog een paar wijken zijn.

[ari3]

[...]

Hier maak jij nu de fout door de stellen dat de groep etnische Moslims verantwoordelijk is voor terrorisme en overlast.

Nee, ik zeg dat incidentie van terrorisme en overlast door etnische moslims hoger is dan bij andere groepen. Dat kan het redelijk maken om een specifieke groep in de gaten te houden. Stel dat een kleine groep moslims verantwoordelijk is voor 95% van de fietsdiefstallen, dan is het voor de effectiviteit van de handhaving efficiënt om je eerst te richten op die groep. Ook helpt het tegen AI bias tegen moslims want als je de moslims die 95% van de fietsen stelen een strafveroordeling hebben dan kan het algoritme resetten en weer gewoon zonder profilering gaan handhaven. Bijkomende voordeel is dat zodra de je incidentie binnen een etnische groep weet te dempen, op termijn ook de vooroordelen wegvallen tegen die etnische groep.

[RogerD]

"Nee, ik zeg dat incidentie van terrorisme en overlast door etnische moslims hoger is dan bij andere groepen."

En ik zeg dat je bij het aanmaken van je groepen, in dit geval "etnische moslims" absoluut niet moet uitgaan van eigenschappen waarop je als individu geen invloed hebt (zoals nationaliteit, etniciteit, religie, sexuele voorkeur). Heb je dan echt helemaal niets geleerd van de Kindertoeslag affaire?

Bij de toeslagenaffaire werden mensen ook ingedeeld in groepen op basis van dit soort kenmerken. In jouw terrorisme en fietsendiefstallen voorbeeld doe je precies hetzelfde. Of dit nu gebeurt door mensen of AI maakt volgens mij niets uit.

Het resultaat zal hoe dan ook zijn, dat individuele burgers door een overheid anders worden behandeld. Omdat personen die op ze lijken, ongewenst gedrag vertonen.Deze institutionalisering van discriminatie in dit geval op grond van uiterlijk en geloof botst echt enorm met de mensenrechten. Het zijn de eerste stappen naar het Chinese politiestaat model, waar we juist ver weg van moeten blijven.

[detrukurke]

eigenschappen waarop je als individu geen invloed hebt (zoals nationaliteit, etniciteit, religie, sexuele voorkeur)

Religie is gewoon een keuze.

[TheDutchChief]

Zegt iemand die niet begrijpt dat God (voor mij) net zo reëel is als de boom in mijn achtertuin. En Hem ontkennen dus de werkelijkheid ontkennen is.

[Stoney3K]

Dat blijft nog altijd een keuze. Totdat er wetenschappelijk bewijs is voor het bestaan van God.

En het bestaan van God is één ding, maar het aanhangen van specifieke regels uit een (door mensen geschreven) heilig geschrift, en die regels aan anderen opdringen, zijn zeker bewuste keuzes.

[TheDutchChief]

Ik denk dat er heel veel is wat we voor waar aannemen wat niet wetenschappelijk bewezen is. Er is ook nooit met een wetenschappelijke methode vastgesteld dat er een appelboom in mijn achtertuin staat. Toch beweer ik dat wel. Maar punt is dat het bestaan van God een realiteit is. Je kunt niet kiezen voor een realiteit. Een realiteit valt namelijk niet te ontkennen.

[detrukurke]

Ja logisch.
Geen speld tussen te krijgen.
😂

[ari3]

"Nee, ik zeg dat incidentie van terrorisme en overlast door etnische moslims hoger is dan bij andere groepen."

En ik zeg dat je bij het aanmaken van je groepen, in dit geval "etnische moslims" absoluut niet moet uitgaan van eigenschappen waarop je als individu geen invloed hebt (zoals nationaliteit, etniciteit, religie, sexuele voorkeur).

Sommige eigenschappen heb je inderdaad geen invloed op, maar het aanhangen van een religie is wel degelijk een keuze. Iemand kan immers vandaag nog besluiten geen religie of een andere religie te gaan aanhangen. De (politieke) denkbeelden en culturele uitingen van religie kunnen wel degelijk reden zijn voor profilering, denk aan voorrang geven aan religieuze wetten t.o.v. seculiere rechtstaat, cultureel/religieus verminken van genitaliën van kinderen, fysieke en psychologische kindermishandeling op basis van religieuze teksten, financiële banden van religieuze organisaties met dictatoriale regimes, enz.

Nationaliteit is ook een keuze, met de praktische kanttekening dat die keuze niet altijd erkend wordt door de geldende wet van een land.

Heb je dan echt helemaal niets geleerd van de Kindertoeslag affaire?

Appels en peren, de toeslagenaffaire ging niet om gedragingen mensen die toe te schrijven zijn aan de gedragingen van een etnische groep dus daar valt niets uit te leren. Als iemand de clitoris van zijn dochter afsnijdt dan is dat een misdaad die wel direct toe te schrijven aan etniciteit. Dan kunnen we wel vrijheid van religie hebben, maar dat maakt het niet minder redelijk om hier tegen op te treden.

[Reactie gewijzigd door ari3 op 22 juli 2024 14:06]

[TTMJ!]

Dit is zo idioot en ik vind het vrij shocking dat er dus tweakers zijn die nog steeds niet door hebben waarom de wetenschap zoveel kritiek heeft op dit soort oppervlakkige risicoprofielen (al helemaal na de toeslagenaffaire).

Even heel simpel: stel dat ik jou op pad stuur met de opdracht om zoveel mogelijk geheelde fietsen terug te halen en de helers te arresteren en ik voeg daaraan toe 'PS: 20% van de roodharigen zijn fietsenhelers'. Uiteindelijk heb je dan aan het einde van de dag een disproportioneel aantal roodharigen aangepakt waardoor je weer je risicoprofiel in stand houdt. Je weet echter niet hoeveel helers van andere groepen je bent misgelopen omdat je met de aanname werkt dat je een goede gast bent en iedereen gelijk behandelt. Maar dat is niet zo, want je werkt met het '20 % roodharigen'-premisse in het achterhoofd.

Dit doet me denken aan een discussie op m'n werk bij het koffieautomaat. De grootste 2 winkeldieven bleken 2 collega-kakkers te zijn terwijl mijn 3 Surinaamse collega's doodbang waren om juist onterecht te worden beschuldigd.

(En dan ga ik nog niet eens in op de vraag hoe je dan een groep zou moeten definiëren - maar dat is eigenlijk sowieso een fundamenteel probleem bij data)

[ari3]

Even heel simpel: stel dat ik jou op pad stuur met de opdracht om zoveel mogelijk geheelde fietsen terug te halen en de helers te arresteren en ik voeg daaraan toe 'PS: 20% van de roodharigen zijn fietsenhelers'. Uiteindelijk heb je dan aan het einde van de dag een disproportioneel aantal roodharigen aangepakt waardoor je weer je risicoprofiel in stand houdt.

Dit is een onjuiste voorstellen van zaken. Je hebt alleen initieel (zeg jaar 1) meer roodharigen fietsenhelers gepakt. In jaar 2 kun je hetzelfde profiel gebruiken maar zul je geen of veel minder roodharigen pakken vanwege succes in jaar 1. In Jaar 3 is het profiel niet meer bruikbaar want de incidentie onder roodharigen is dan niet meer hoger als die van andere groepen.

Zie je dat profilering zichzelf corrigeert? Juist als een groep oververtegenwoordigd is kun je dat corrigeren door handhaving op die groep te richten.

[Verwijderd]

Dit werkt natuurlijk niet zo. In jaar 2 zal op basis van het percentage criminele roodharigen deze zoekterm alleen maar groter worden, in jaar 3 nog erger, etc., omdat er meer en meer gepakt worden, dus het systeem denkt dat ze steeds crimineler worden. Feedback loop.

Je denkfout zit hem in het woord 'succes' - want je ontdoet de groep roodharigen niet van criminelen, je definieert juist steeds meer roodharigen als crimineel, en dan ben je wel een tijdje zoet voor je ze allemaal in de cel hebt geflikkerd.

[ari3]

Dit werkt natuurlijk niet zo. In jaar 2 zal op basis van het percentage criminele roodharigen deze zoekterm alleen maar groter worden, in jaar 3 nog erger, etc., omdat er meer en meer gepakt worden, dus het systeem denkt dat ze steeds crimineler worden. Feedback loop.

Sorry, maar dit is gewoon onzin. Er komt altijd een punt dat je alle roodharigen hebt gepakt of ontmoedigd hebt. De groep die kunt oppakken is gewoon een keer uitgeput. Ik vind het daarom niet geloofwaardig dat de feedback loop oneindig kan doorgaan.

Hoewel, als roodharigen hardleers zijn en keer op keer dezelfde roodharigen tegen de lamp lopen.... Ja, dan kan de feedback loop oneindig doorgaan. De vraag is dan meer of het erg is dat we hardleerse recidivisten blijven profileren.

[Reactie gewijzigd door ari3 op 22 juli 2024 14:06]

[Verwijderd]

Er komt altijd een punt dat je alle roodharigen hebt gepakt of ontmoedigd hebt

Dat is nou precies het probleem. Dan heb je je gevangenis vol met 1 demografie. Dat heet dus discriminatie ondertussen lopen alle zwartharige criminelen nog vrolijk rond.

[core_dump]

Is het nog steeds "discriminatie" als blijkt uit de samenstelling van de gevangenispopulatie er gewogen naar de samenstelling van de bevolking 1 of meerdere groepen oververtegenwoordigd zijn?

Dat zou betekenen dat je 's-avonds iedereen preventief gaat fouilleren en niet meer oplet op mensen met donkere kleding en een sporttas...

Of geloof je in gelijke kansen voor criminelen?

[Verwijderd]

Is het nog steeds "discriminatie" als blijkt uit de samenstelling van de gevangenispopulatie er gewogen naar de samenstelling van de bevolking 1 of meerdere groepen oververtegenwoordigd zijn?

Kip-ei he, want die gevangenis zit dus weer zo vol met die ene groep omdat je daar de hele tijd meer op focust. Feedback loop.

(en ja, het is ook volgens de definitie nog steeds discriminatie als je focust op bepaalde uiterlijke kenmerken/kledingstijl. Het is natuurlijk menselijk dat een politie-agent eerder een jongen met hoodie zal foullieren, dan een oud omaatje met een looprek. Toch is dat discriminatie. En grappig detail, er zijn genoeg 'senior' winkeldieven, meer dan je zou verwachten! Ze missen wat spanning in hun leven, en ze worden toch nooit gefouilleerd, dus.. LOOKS CAN BE DECEIVING)

[Reactie gewijzigd door Verwijderd op 22 juli 2024 14:06]

[TheDutchChief]

Ja, dat is nog steeds discriminatie. De zogenaamde oververtegenwoordiging is de uitkomst, niet de oorzaak. Bovendien geldt die oververtegenwoordiging alleen criminelen, daar ligt het percentage hoger. De groep niet-criminelen is percentueel veel minder afwijkend. Gericht beleid op bevolkingsgroepen is juist stigmatiserend voor niet-criminelen. Om de Nederlandse situatie te kenschetsen: Een bepaalde groep is ongeveer twee en een half keer zo crimineel (dat wordt dus oververtegenwoordigd genoemd). De gemiddelde criminaliteit is 1,3%, die groep dus 3,25%. Ga je die groep extra aandacht geven betekent dus dat 96,75% van die groep onterecht te maken krijgt met intensieve controles (is vaak al dagelijkse praktijk). Terwijl het verschil met de gemiddelde bevolking van de niet-criminele populatie (96,75% tov 98,7%) maar fractioneel is.

[centr1no]

Jouw denkfout zit 'm in het feit dat je de stelling niet aan past en doodleuk door laat lopen in die Feedback loop.
Ik zie hier ook steevast de meest idiote voorbeelden voorbij komen die totaal niet realistisch zijn. Niet wat de AI zelf betreft en ook niet wat de gevolgen betreft.
Als de maatschappij dusdanig is dat politie van een systeem klakkeloos aanneemt dat er alleen nog maar (of exact 20%) roodharige fietsendieven gearresteerd moeten worden dan zijn we ver heen met z'n allen.

[Verwijderd]

dat je de stelling niet aan past

Bedoel je het model opnieuw trainen? Maar met welke trainingsdata? Begrijp je wel wat een neuraal netwerk is?

[centr1no]

In jaar 2 zal op basis van het percentage criminele roodharigen deze zoekterm alleen maar groter worden, in jaar 3 nog erger, etc., omdat er meer en meer gepakt worden, dus het systeem denkt dat ze steeds crimineler worden.

Het enige dat dit dus doet is het aantal gearresteerde roodharige fietsendieven afzetten tegen het totale aantal. Dat is een berekening die helemaal niets voor stelt. Daar hoeft geen model voor getraind te worden en dat is ook niet waar een AI voor nodig is of zich mee bezig zou moeten houden.
Een AI is zelflerend en zou met de juiste parameters ook rekening kunnen houden met de mogelijkheid van zo'n feedback loop of het gegeven dat er helemaal niet naar uiterlijke kenmerken gekeken mag worden.

Maar met welke trainingsdata?

Je verwacht toch niet serieus dat ik nu ga zitten verzinnen wat voor trainingsdata er voor dit stupide voorbeeld gebruikt zou kunnen worden?
Het feit dat in jouw voorbeeld de cijfers van alle jaren bij elkaar opgeteld worden, wat automatisch een vertekend beeld geeft en dus bij voorbaat een onwenselijk uitgangspunt is, geeft al aan dat je totaal geen kaas hebt gegeten van waar je het over hebt.

Begrijp je wel wat een neuraal netwerk is?

Het punt van een neuraal netwerk is dat je het voorziet van zoveel mogelijk relevante data en dat het netwerk in staat is daar (eventueel aan de hand van specifieke parameters) connecties tussen te maken die vervolgens getoetst worden op correctheid en de incorrecte connecties wijzigen.
Op alle punten gaat het bij jou mis.

[Verwijderd]

Het enige dat dit dus doet is het aantal gearresteerde roodharige fietsendieven afzetten tegen het totale aantal. Dat is een berekening die helemaal niets voor stelt. Daar hoeft geen model voor getraind te worden en dat is ook niet waar een AI voor nodig is of zich mee bezig zou moeten houden.

De volgende keer zal ik een oneindig complex voorbeeld verzinnen dat niemand begrijpt, dat werkt vast beter op een 'casual discussie' platform!

Een AI is zelflerend en zou met de juiste parameters ook rekening kunnen houden met de mogelijkheid van zo'n feedback loop

Je kunt handmatig parameters tweaken om de bias er uit te halen, dat is wenselijk maar tegelijk ook enigzins onmogelijk omdat je nooit kunt weten in hoeverre je trainingsdata zuiver is.

Een neuraal netwerk is uiteindelijk gewoon een statistiekmachine die patronen vindt in de trainingsdata die je er in stopt.

Het feit dat in jouw voorbeeld de cijfers van alle jaren bij elkaar opgeteld worden, wat automatisch een vertekend beeld geeft en dus bij voorbaat een onwenselijk uitgangspunt is,

Dat is helemaal niet relevant voor een feedback loop, al gebruik je elke keer alleen de output van de afgelopen run, heb je alsnog je loop.

..geeft al aan dat je totaal geen kaas hebt gegeten van waar je het over hebt. (..) Op alle punten gaat het bij jou mis.

Overtuigende argumenten, ik zou haast aan mezelf gaan twijfelen

[centr1no]

De volgende keer zal ik een oneindig complex voorbeeld verzinnen dat niemand begrijpt

Of gewoon een eenvoudige die wel logisch is.

Een neuraal netwerk is uiteindelijk gewoon een statistiekmachine die patronen vindt in de trainingsdata die je er in stopt

Je hersenen zijn een neuraal netwer en dat is net even iets anders dan een statistiekmachine.

Dat is helemaal niet relevant voor een feedback loop, al gebruik je elke keer alleen de output van de afgelopen run, heb je alsnog je loop.

Weer over die feedback loop.
Als de resultaten niet correct zijn moet er correctie plaatsvinden.

[Verwijderd]

Je hersenen zijn een neuraal netwer en dat is net even iets anders dan een statistiekmachine.

(1) misschien zijn wij wel degelijk statistiekmachines? maar dat wordt een filosofische discussie
(2) onze hersenen zijn wel een paar magnitudes complexer dan een hedendaags softwarematig netwerk, bovendien werken we anders qua trainingsmethodiek etc. dus niet echt een goeie vergelijking totdat we daadwerkelijk AGI's kunnen maken

Als de resultaten niet correct zijn moet er correctie plaatsvinden.

No shit, maar mijn punt is dus dat dat lastig wordt als je trainingsdata incorrect is, of als je uberhaupt niet weet of/wat er precies incorrect is omdat neurale netwerken nogal een black box zijn.

Dus terugkomend op het onderwerp => AI die sociale scores maakt is wmb. onwenselijk.

[sympa]

Het maakt niet eens uit of de incidentie van fietsendiefstal nu wel of niet hoger is onder roodharigen. Want ze kunnen hun natuurlijke haarkleur niet veranderen, en de eerlijke roodharigen worden nu benadeeld door continue controles.
Gelukkig zijn er betere criteria om opsporing mee te doen. Alleen zijn die meer werk dan bijvoorbeeld het kijken naar pasfoto's uit een databank.

[unglaublich]

Waarom richt je je pijlen niet op "jonge mannen tussen 20-30"?
Die zijn immers ook extreem oververtegenwoordigd in de criminaliteit...

Of heb je dan ineens wel door hoe oneerlijk en averechts dit werkt?
Misschien omdat je dan zelf onderdeel bent van de groep die gediscrimineerd wordt?

Je bent onschuldig tot je bewezen schuldig bent. Al ben je de zoon van een drugsbaron: statistieken en aannames zijn geen vervanging voor individuele bewijzen.

[Sorcerer8472]

Als je dit doet dan hou je discriminatie van individuen in stand en dat is precies waar deze EU-regel tegen is.

Als je manieren kunt vinden om mensen te classificeren dan mogen die in feite niet negatief zijn voor onschuldige mensen. Zodra je op etniciteit gaat classificeren gaat het direct fout dus.

Mooi ook want nu kunnen we wellicht kijken naar subtielere signalen die een veel groter voorspellend effect hebben maar nu onzichtbaar blijven omdat AI niet verder kijkt dan z'n neus lang is.

[LurkZ]

Er is helemaal niets mis met etnisch profileren als het niet eenzijdig is.
Om alles veilig te houden moet iedereen doorgelicht worden. Dat gaat nooit lukken en geeft een eng nazi-Duitsland gevoel. Maar daar even aan voorbijgaand. Als moslims vaak met terrorisme bezig zijn. Fransen vaak met drugssmokkel, Nederlanders vaak met belastingfraude, dan is het wel slim om die groepen extra door te lichten op die punten. Maar zoals ik al schreef niet eenzijdig. Dus niet alle Russen in Nederland doorlichten omdat Putin stout is en Oekrainers vrijstellen van doorlichten omdat ze door Putin gepest worden.

[Frame164]

Het aantal moslims dat zich bezig houdt met terrorisme is bijna oneindig veel kleiner dan het aantal Nederlanders dat slimmer denkt te zijn dan de belastingdienst of verzekeraars.

[TTMJ!]

Het probleem is dat je dan extra veel Nederlandse belastingfrauders pakt terwijl misschien de Fransen inmiddels meer fraude plegen - maar dat zie je niet omdat je aandacht elders

[blissard]

Nou ja, als je op zoek bent naar spionage, dan is herkomst best een goed criterium.
De onlangs uitgewezen Russen zullen niet zijn opgespoord zonder wat discriminatie in het onderzoek.

[Sandor_Clegane]

Die camera's moet je ook niet willen.

Je hele post is: "Maar ik heb niets te verbergen".

[doltishDuke]

Camera toezicht met AI op een etnische groep valt voor mij in dezelfde categorie. De geprofileerde groep groep heeft er geen last van zolang ze zich aan de regels houden.

Dit is wel echt spekglad ijs, vind je niet. Om bijzonder veel redenen.

Er zijn legio gevallen, in de geschiedenis maar ook hedendaags in andere landen, waar 'regels voor geprofileerde groepen' wat problematisch hebben uitgepakt.

Je riskeert altijd dat er een kwalijke regering aan de macht komt. Ik neem bijvoorbeeld aan dat men in Hongarije maar wat blij zou zijn met een dergelijk verbod.

Je riskeert ook, god verhoede, dat Rutte nog een termijn blijft zitten. De kans op een tweede toeslagenaffaire is groot, als die al niet in de maak is, en AI die even een lijstje 'geprofileerde personen' naloopt helpt dan niet.

Er zijn legio regels waar niemand zich aan houdt, dat maakt dat 'de geprofileerde groep' vaker wordt aangepakt. De snelheidscontrole die je noemt is een mooie. Is nauwelijks handhaving voor in Nederland. Zou toch flauw zijn als Opel Corsa's uit '95 vaker worden gecontroleerd.

AI kan fouten maken. Zeker bij de overheid is dat wel erg jammer, ook omdat vaak niet te achterhalen is waarom. U wilt en nieuw paspoort? Helaas, computer says no.

En zo kun je echt een enorme lijst maken van praktische en ethische bezwaren.

[jpfx]

Jij bent dus een van de redenen dat deze regels opgesteld moeten worden om de mens in zijn algemeenheid te beschermen. Jij bent bereid uitzonderingen te maken op basis van oneigenlijke redenen (sommigen met kenmerk x doen y, dus is er een valide reden om allen met je merk x te volgen om y te voorkomen).

[lulkoekje]

Ja ga dat vertellen aan al die personen welke puur op naam als fraudeurs zijn gemarkeerd bij de belastingdienst.. Die hadden ook niets te verbergen, maar toch..
En het is wel degelijk anders dan huidig bemand cameratoezicht, ook daar zal gekeken worden met een bepaalde bias. En een snelheidscontrole camera vergelijken met een "etnische" flitser en stellen dat het gelijkwaardig is, gaat er bij mij niet in..

[Pim_t]

Ik kan me voorstellen dat in sommige omstandigheden het wel handig kan zijn met betrekking tot gezondheid.
Als bepaalde groepen hogere kans hebben op bepaalde ziekten kunnen daar bijvoorbeeld preventie maatregelen kunnen worden genomen. Het kan de keuze tussen medicijnen ook bepalen.
Geslacht is tenslotte een biomedisch gegeven en iedereen weet dat er nu eenmaal verschillen zijn tussen mannen en vrouwen. Behandeling kan dus ook afhankelijk zijn hiervan en AI in gezondheidszorg gaat er echt nog wel komen.

[chocomellover]

Volledig mee eens en een duidelijk signaal dat we dit ook niet moeten willen. AI is een mooi iets voor bepaalde doelen, maar om te profileren is het veel te gevaarlijk en vooral als het in handen komt van een regering die wat minder lieve dingen er op na houden. Laat staan dat zoiets in handen komt van een niet gekozen 'regering' (laten we zeggen, een multinational).

Leuk gezegd, maar ik ben dan benieuwd naar de definitie van AI. Want ik vermoed dat er daar heel veel dingen in de marge gaan gebeuren.

Als ik een AI een beslisboom laat maken om jouw bepaalde doelen te herkennen. Mag ik dan wel die beslisboom in camera's inbouwen?

Daadwerkelijke AI wordt namelijk (verhoudingsgewijs) weinig ingezet, omdat dat veels te veel kost. Bijna alles wat AI genoemd (qua apparaten) is slechts een product van AI en niet AI zelf.
En het product van een goede AI is zo goed als niet te onderscheiden van het product van een menselijk brein

[avlt]

Dit profileren gebeurt al op grote schaal. B.v. verzekeringsmaatschappijen bepalen risico's op grond van vele factoren, reken maar dat daar ook A.I.-technieken voor worden ingezet.

Dit Europese verbod op AI-scoring lijkt me volslagen onuitvoerbaar. Om te beginnen, wannneer is het A.I.? Wat als een mens een eerste selectie/score toekent op "gevoel"? en daarna wordt het nog wat verfijnd door A.I. Verzekeringsmaatschappijen berekenen risico's op grond van leeftijd, adres, voorgeschiedenis, etc. Is die redelijk complexe berekening A.I. of niet?

En dan, hoe wil je dat in 's hemelsnaam controleren? In de interne klantregistratie van bedrijf X staat bij iedere klant een getalletje; moeten ze dan aantonen dat dat *niet* door A.I. uitgerekend is? Hoe toon je dat aan?

[Reactie gewijzigd door avlt op 22 juli 2024 14:06]

[Ra5a]

Ik kan mij een probleem voorstellen: de EU verbiedt AI voor sommige doeleinden maar dat betekent niet dat andere landen dat ook doen. Dat kan in de toekomst wellicht tot problemen leiden. (Al denk ik van niet omdat AI sowieso niet tegen het menselijk intellect kan tippen, maar stel dat).

Stel dat een land (bedrijf, organisatie) een AI directe leiding van een land geeft. Inclusief directe toegang tot wapens. …

Wellicht moeten wij het zien als een atoombom (of wapens in het algemeen): als een land het ontwikkelt en toepast zou een ander dat ook moeten doen (helaas) om een soort balans te creëren.

Een andere optie is om het te ontwikkelen in een volledig afgeschermde omgeving en data te voeden wat overeenkomt met de werkelijkheid om te identificeren wat het beslissingsmechanisme is. Log om te identificeren wat de -exacte- redenatie is van de keuze(s). Google heeft een algoritme getraind die katten in foto's identificeerde. Dat konden ze vervolgens toepassen op andere objecten.

Edit: ik ben geen fan van AI. Dat is wel duidelijk. Ik denk dat we het eigenlijk ook niet nodig hebben; het manipuleert natuurlijke ontwikkeling.

Edit: voor mensen die vinden dat AI rechten moeten hebben: Zo simpel is het uit te zetten: https://i.imgur.com/e1QcaOc.jpg . En als je het weer aan wilt zetten ram je die stekker er weer in. Welke rechten? Gaat het huilen of een nostalgisch liedje zingen?

Edit: verdere motivatie: volgens huidige berekeningen heeft de zon nog zo'n kleine 5.000.000.000 jaar. Dus we hebben een dikke 4.000.000.000 jaar (tenzij er iets anders catastrofaals gebeurt) om een andere planeet of ster te vinden. Die haast is niet nodig. IMH(orny)O.

[Reactie gewijzigd door Ra5a op 22 juli 2024 14:06]

[Patrickske]

Beetje off topic, maar het eerste waar ik aan dacht bij het lezen van de titel was de aflevering Nosedive van Back Mirror.

Hoewel het niet exact hetzelfde is wat in dit bericht besproken wordt, blijkt toch dat een aantal futuristische items uit die tv serie schrikbarend dicht bij de werkelijkheid komen... Of althans het potentieel hebben op korte termijn.

Ik ben geen voorstander van enige sociale scores, en zeker niet van een AI algoritme.

[PhilipsFan]

Toen ik het artikel las dacht ik meteen: waarom niet alle vormen van social credit verbieden? Of het nu door AI wordt gedaan of door mensen, dat moeten we niet willen. Er zullen altijd mensen zijn die afwijken van de geldende norm, dat is de manier hoe de samenleving groeit.

Ik bedoel, homosexualiteit was ooit ook verboden. En vrouwen hadden ooit geen stemrecht. Doordat een paar individuen hier tegenin zijn gegaan, is dat uiteindelijk veranderd. Als die individuen bij voorbaat waren uitgesloten van de samenleving omdat hun social credit te laag was, dan hadden vrouwen nog steeds geen stemrecht en was homosexualiteit nog steeds verboden.

[TTMJ!]

Volgens mij is er zelfs al een vorm van social credit, bijvoorbeeld wat leningen betreft.

[dasiro]

waaruit blijkt dat? Voor zover ik weet moet je voldoende legale inkomsten kunnen bewijzen om de lening af te kunnen betalen, vaak gepaard met een deel eigen kapitaal als het gaat over een hypotheeklening

[TTMJ!]

Zie bijvoorbeeld EDR Credit Services. Zij specialiseren zich hierin en adviseren een bedrijf of ze wel of geen contract met jou aan zouden moeten gaan

[Bongoarnhem]

EDR staat hier inderdaad bekend om. Is ook een bedrijf die als incassobureau een bedenkelijke reputatie heeft.

[TTMJ!]

Nee, sommige bedrijven gebruiken algoritmes om te voorspellen of jij wel of niet kredietwaardig bent. Kom je bijvoorbeeld uit een buurt met veel wanbetalers, dan weigeren ze je op basis van je postcode of betaalgedrag in het verleden. Het is vrij lelijk maar het gebeurt.

[FGras]

Bij veel webwinkels kun je ook niet achteraf betalen als je in bepaalde wijken woont.

[Bongoarnhem]

En is dat zo slecht?

[rickiii]

Nee. Mensen zouden basis rechten moeten hebben, maar als ze meer willen, vind ik het normaal dat ze zich eerst bewijzen bij de persoon die het risico neemt.

[Yordi-]

Ja. Ik vind een hypotheek een basisrecht. Dat gaat niet om "meer", dat gaat om een dak boven je hoofd die ook in dat systeem verboden wordt.

[Frame164]

Een basisrecht mits je voldoende financiële middelen hebt en geen dubieus betaalgedrag. Maar je kunt een private instelling nooit dwingen om iemand zomaar geld te lenen.

[Reactie gewijzigd door Frame164 op 22 juli 2024 14:06]

[Accretion]

Een basisrecht mits je voldoende financiële middelen hebt en geen dubieus betaalgedrag. Maar je kunt een private instelling nooit dwingen om iemand zomaar geld te lenen.

Je kunt ze wel dwingen om minder inbreuk te maken op de privacy?

Effectief loopt de bank dan meer risico en zal de rente omhoog gaan.

Uiteindelijk betaal je d'r zelf voor.

[jhnddy]

Ik gun iedereen een dak boven het hoofd. Maar die huizen/flats moeten wel gebouwd worden. En de bouwlui die dat doen willen ook graag betaald worden. Net zoals de eigenaar van de grond en de leverancier van de bouwmaterialen. Een hypotheek om dat mee te betalen is mooi, maar ons financiële systeem is erop ingericht dat elke lening ook weer terugbetaald wordt.

Een bank doet daarom een check of jouw hypotheekhoogte niet te hoog is voor jouw inkomen, zodat je niet over 5-10 jaar je uit gedwongen uit moet en in de schulden terecht komt.

Het probleem is niet dat je geen hypotheek kunt krijgen, maar dat er teveel mensen een hypotheek willen die te duur voor hen is. Logisch met deze huizenmarkt, maar het probleem hier zijn niet de geldverstrekkers. Een "hypotheekrecht" is daarom een verschrikkelijk slecht idee, want stel dat iedereen een hypotheek van 4 ton krijgt, dan zijn de huizen morgen 4,5 ton.

Het basisrecht wat iedereen in Nederland zou moeten hebben, is een dak boven hun hoofd. Niet een hypotheek.

[TTMJ!]

In beginsel niet. Het probleem is alleen dat derde partijen deze gegevens onderling uitwisselen.

[steveman]

Als je nu een lening aanvraagt wordt er toch alleen naar je financiele situatie gekeken?

Het wordt anders als ze zeggen: "Helaas, geen hypotheek voor jou want je liep laatst door rood."

[Accretion]

Top, maar met AI kunnen ze natuurlijk een veel betere risico inschatting maken.

Dan vul je het volledige profiel van een persoon in; en krijg je een betrouwbaarheidsscore.

Dus onder andere afhankelijk van de woonplaats/achternaam/leeftijd/schoenmaat e.d.

[steveman]

Da's een open deur, de stelling was echter dat het al gebeurde bij aan vraag van leningent, maar dat lijkt me nog niet aan de orde. Tuurlijk gebruiken ze hun eigen data over inkomens en betalingen e.d. om te kijken of iemand in aanmerking komt. Dat noem ik dan weer geen social credit.

Overigens heb je daar geen AI voor nodig, maar gewoon oldSkool statistiek. En bovenal: de data.

Dus het voorstel zou mijns inziens moeten gaan over data-vergaring en niet over de methode.
Gelukkig worden we ook al wel wat beschermd met wetgeving.

Maar zoals de grinder-gebruikende italiaanse priester ontdekte valt er ook uit geanonimiseerde data van alles te halen, terwijl de AVG daar vrijheid biedt.


(Trouwens is AI ook niet gewoon geautomatiseerde statistiek...? Zal het GPT-3 eens vragen )

Zo verwacht ik b.v. dat de schoenmaat niet sterk zal correleren met het aantal wel/niet betaalde maandelijkse hypotheekkosten, maar je leeftijd wellicht weer wel.

Was het ook niet zo dat slechts 40% van de "AI-startups" ook daadwerklijk AI gebruikten? Er staat me vaag een linkedin-post bij.

[PhilipsFan]

Ja. Ik heb de neiging om nu te zeggen dat dat in dat geval ook wel terecht is, een bank moet natuurlijk wel weten of er een kans is dat ze hun geld nooit meer terugzien. Maar als je beter nadenkt, begrijp je dat dit niet klopt. Ja, de bank moet het risico kunnen bepalen. Maar daar zit geen sociale component in. Je buren, vrienden, familie etc kunnen verschrikkelijke wanbetalers zijn, maar dat zegt niks over jou.

Banken mogen uiteraard nagaan of je voldoende inkomsten hebt om de hypotheek te kunnen betalen, of je geen andere schulden hebt die dat in de weg staan en of je geen historie aan wanbetalingen hebt, maar dat heeft allemaal niks te maken met wat andere mensen van je vinden of wat het betalingsgedrag is van de mensen waar je mee omgaat.

[satya]

Wat dacht je van je denken wat in een oogslag bepaald of je iemand mag of niet?

[avlt]

Wat denk je van verzekeringsmaatschappijen? De premie die je betaalt is afhankelijk van een heleboel factoren; adres, leeftijd, voorgeschiedenis, etc.

[langestefan]

In China is dat al werkelijkheid:

https://en.wikipedia.org/wiki/Social_Credit_System

[batjes]

Alsof het BKR, VOG, FSV en dergelijke zo ontzettend verschillend zijn. Het FSV is dan soort van aangepakt, maar er zijn nog tig van die systemen waarbij het leven van burgers heel wat lastiger gemaakt wordt dan nodig.

We zouden eens wat minder met vingers moeten wijzen en goed naar onszelf moeten kijken.

Je komt Nederland niet door zonder in 1 of ander systeem gelogged te worden met zowel de benenwagen, fiets, auto en OV. We hebben overheden die diep graaien in onze data met sleepnetten. We hebben bedrijven die van praktisch iedereen elke poep en scheet bijhoud.

Onze bevolking doet er aan mee met al die "slimme" deurbellen, smartphones, 'slimme' assistenten in huis, nieuwe auto's vol camera's.

We hebben hier alleen het voordeel, al die systemen zijn, soort van, van elkaar gescheiden. In China is het 1 partij die alles onder controle heeft.

[Oon]

De meeste slimme deurbellen die in Nederland hangen zijn gewoon keihard tegen de wet. Geen zin om weer de hele discussie aan te gaan, maar volgens de wet is een slimme deurbel gewoon een vast geplaatste camera, en valt die daarmee onder de camerawet, die zegt dat een vast geplaatste camera alleen je eigen terrein mag filmen.

Als ik soms hier op Tweakers mensen screenshots zie posten van hun camera die de hele wijk filmt of videodeurbel die niet alleen bij de buren maar ook de tegenover buren naar binnen kijkt en de hele straat in beeld heeft dan denk ik dat dat toch echt gewoon een kwestie is van informatie die niet toegankelijk genoeg is en de politie die hier niet uit zichzelf op handhaaft, die hebben immers graag de beelden.

En datzelfde geldt met alles, aan de ene kant zit je met privacy waar je zo min mogelijk wil, aan de andere kant is het aan de politie om te handhaven op wat volgens de wet niet mag, maar als het hun werk makkelijker maakt om het door de vingers te zien dan wordt er niet gehandhaafd.

[Flavius]

Het is echter niet aan de politie om te handhaven op verkeerd geplaatste camera's, dus stellen dat zij niet handhaven omdat het hun werk makkelijker maakt klopt niet. Er bestaat ook geen 'camerawet', maar gezien de context bedoel je waarschijnlijk de privacywet (zijnde AVG). Het is aan de Autoriteit Persoonsgegevens om die te handhaven...

[Oon]

De AP moet in eerste instantie handhaven, maar die zitten zo vol dat ze particuliere zaken de komende jaren niet oppakken. Maar buiten een brief in de bus doen kunnen die ook weinig, daarna schakelen ze gewoon de politie in.
De AP zelf zegt al dat hen inschakelen de laatste stap is, je gaat eerst naar de gemeente en de wijkagent en dan pas de AP. Het is vroeg of laat wel degelijk aan de politie om gewoon even aan te bellen en te zeggen dat die camera er niet mag hangen.

[Flavius]

De wijkagent kan komen bemiddelen, maar kan zeker niet handhaven. Ik ben benieuwd waaruit blijkt dat de politie bevoegdheden heeft voor het handhaven van de AVG...

[chocomellover]

Het is echter niet aan de politie om te handhaven op verkeerd geplaatste camera's, dus stellen dat zij niet handhaven omdat het hun werk makkelijker maakt klopt niet.

Dat is een interpretatie, echter is het dan wel weer ironisch dat de politie juist van die "illegale" camera's actief de locaties opvraagt zodat ze weten bij wie ze "illegale" beelden kunnen ophalen als er iets op locatie x/y/z gebeurt.

[Fermion]

De dieven komen niet alleen bij aan de voordeur, maar ook bij je buren aan de overkant. Zolang deze beelden niet op sociale media terecht komt, is wat mij betreft wanneer mijn buurman mijn voordeur filmt. Sociale controle is al een ding dat aan het balaberen is.

[Oon]

Ik heb met mijn buren afgestemd dat ze het ook wel prettig vinden dat onze camera en videodeurbel de hele gedeelde oprit filmt. Tot nu toe niemand hier die ook maar onze oprit is opgewandeld zonder bij een van ons te moeten zijn, maar ik vind het zelf ook wel prettig dat ik de hele oprit in beeld heb.
Hoe dan ook vind ik het zelf al ongemakkelijk dat ik net een beetje bij de voordeur van de buren naar binnen kan kijken vanaf onze deurbel omdat die kijkhoek meer dan 90 graden is en hij in ons hoekje hangt, maar ik heb het de buren laten zien en die vonden het prima.

Ik denk dat dat ook het uitgangspunt moet zijn; als iedereen op de hoogte is van wanneer ze wel of niet in beeld zijn, het gebied dat je onnodig filmt beperkt is, en je niet moeilijk doet over het delen van die beelden als ze erom vragen dan kun je spreken van een nuttig doel, maar zoals sommigen die gewoon camera's op de 2e verdieping hangen die bij alle buren de tuin in kijken is weer heel wat anders.

[chocomellover]

Ik heb met mijn buren afgestemd dat ze het ook wel prettig vinden dat onze camera en videodeurbel de hele gedeelde oprit filmt.
...
Ik denk dat dat ook het uitgangspunt moet zijn; als iedereen op de hoogte is van wanneer ze wel of niet in beeld zijn

Is je postbode op de hoogte dat je hem filmt? En de pizzabezorger en ... en ...
En hebben die de keuze om de pizza dan maar buiten het cameragebied neer te zetten en het dan als afgeleverd te beschouwen?

Of stel je toch niet iedereen op de hoogte...

[Oon]

Ik heb netjes een bordje hangen dat te lezen is voordat iemand de oprit op komt. Als iemand niet op camera wil dan kunnen ze gewoon niet de post of pizza bezorgen.
De cameradeurbel heeft ze dan wel al in beeld, maar die heeft maar focus tot zo'n 3 meter afstand, daarna kun je echt niet meer zien wie het zou moeten voorstellen. De camera die boven de oprit hangt kan in theorie mensen tot een meter of 5 herkenbaar in beeld hebben, maar die staat afgesteld met de bovenkant net iets over de rand van de oprit, dus dan zouden alleen de schoenen (of banden) in beeld zijn.

Is tot nu toe nog nooit voorgevallen dat iemand weigerde onze oprit op te komen, maar als dat wel zo zou zijn dan zou ik daar absoluut begrip voor hebben.

[satya]

Ze komen al op sociale media terecht, recent nog een filmje van waarschijnlijk bulgaren die zeer herkenbaar met een inbraak bezig waren. En dat gaat alleen maar meer worden.

[kr4t0s]

Ik heb ook camera's en slimme deurbel daarin kun je activiteitszones maken zodat camera alleen start met opname als iemand in de tuin komt. Het is ook helemaal niet fijn om de straat te filmen dan krijg je tientallen notificaties per dag. Je kunt zelfs met privacy zones werken dan kun je een zwart vlak over de straat maken.

[Oon]

Een zwart vlak is een grijs gebied, maar zones die je opname triggeren zijn geen uitzondering van de wet. Je camera kijkt immers 24/7 en je kan op afstand meekijken, maar neemt alleen op bij activiteit.

Ik heb hierover uitgebreide discussies gehad met mensen die bij een installatiebedrijf voor beveiligingscamera's werken en de wet nog iets beter kennen dan ik, maar echt een eenduidig antwoord over zwarte vlakken is er niet. De ene zegt van dit is ook gewoon filmen omdat het in software gebeurt en uit te schakelen is (oftewel niet duidelijk wanneer er wel of niet iets in beeld is omdat de camera meer filmt dan er uiteindelijk zichtbaar is), de ander zegt van een zwart vlak is prima.

Maar de regels over beveiligingscamera's gaan niet alleen over opnemen, ook over actief monitoren, dus activiteitszones zijn expliciet geen oplossing voor het filmen buiten je eigen terrein.

[telenut]

In België is een 'parlofoon' toegestaan zonder bijkomende regels. Je kan in principe de hele dag zelf kijken naar dat schermpje dan... maar het mag zonder aangifte.
Mijn Google Nest kan de straat filmen, maar neemt enkel personen die aan de deur komen op. Moet die dus niet aanmelden.

[Sissors]

Puur juridisch gezien heb je geheel gelijk. Maar logisch gezien snap ik het echt niet: Deurbel met camera mag niet, want die filmt ook de weg (vaak). Tesla op je oprijlaan (of auto met dashcam) die is ingesteld om bij alle bewegingen te filmen? Helemaal prima! Of gewoon door de stad rijden en alles filmen mag ook. En als ik dan kijk hoe dashcambeelden delen hier ook geaccepteerd wordt, vind ik dat juist weer twijfelachtig.

Ben wel benieuwd of bij een woonwagen een deurbelcamera wel legaal is, immers is hij dan niet op een vast object?

[Oon]

Dashcam mag want dashcam is geen vast geplaatste camera, aangezien de auto beweegt. Daarnaast heb je op de openbare weg geen verwachting van privacy.
Een dashcam die audio opneemt mag dan eigenlijk weer niet, want dan zit je met wetten over mogen aftappen e.d., dus als je dashcam een andere weggebruiker hoorbaar heeft dan mag je die clip eigenlijk niet delen.

Een camper, caravan of andere rijdende 'RV' mag wel, dan is het gewoon een dashcam. Een stacaravan niet.

En dan kunnen we het nog leuker maken; je mag met je telefoon vanaf je balkon een stoet filmen, maar in theorie zou dat dus niet mogen als je telefoon op een statief geklemd staat, tenzij het maar heel even kort is. Een systeemcamera of telefoon op een statief (of bij wijze van spreken ergens tegenaan leunend) telt als beveiligingscamera als die voor een langere periode op die vaste plek gebruikt wordt, maar dat is ook weer zo'n grijs gebied waar de wet niet duidelijk over is.

Dus al met al heel veel onduidelijkheden, het is dan aan de wijkagent of een mediator van de gemeente om te bemiddelen binnen dat grijze gebied en een oplossing te zoeken. Maar wat wel duidelijk is, is dat een beveiligingscamera (en dus ook een videodeurbel) gewoon juridisch gezien niet de openbare weg mag filmen.

[Sissors]

Dashcam mag want dashcam is geen vast geplaatste camera, aangezien de auto beweegt.

Dat snap ik, maar dat vind ik dus geheel onlogisch.

Daarnaast heb je op de openbare weg geen verwachting van privacy.

Behalve dus als het de openbare weg is voor een huis, want daar mag een camera aan het huis niet op gericht zijn

[chocomellover]

[...]

Dat snap ik, maar dat vind ik dus geheel onlogisch.

Waarom vind je dat onlogisch?

Vast geplaatste camera neemt 24/7 op en valt niet aan te ontkomen, draagbare / bewegende camera neemt slechts incidenten op.

Let op dat een dashcam ook best geclassificeerd kan worden als vaste camera, als je je auto een week lang op dezelfde plek laat staan dan heb je grote kans dat een rechter het gaat beschouwen als vaste camera.

[Sissors]

Omdat mijn punt dus is dat jouw auto die 90% van de tijd op je oprijlaan staat wel prima de hele straat mag filmen de hele dag lang, maar stel je eens voor dat mijn slimme deurbel een stuk van de straat meepakt. Dan is het illegaal en mag het niet. Dus laat ik de vraag stellen, waarom vind jij dat wel logisch? De impact is zo goed als identiek, maar de ene mag, en de ander is illegaal. En ik geloof er heel weinig van dat als je niet genoeg met je Tesla rijdt, een rechter hem als illegaal ziet (als je die modus aan hebt staan natuurlijk).

Daarnaast hoe kan je aan dashcams ontkomen? Elke keer dat een auto met dashcam, of iets als een Tesla met ingebouwde cameras langsrijdt, direct in de bosjes springen? Een vaste camera is vaak juist maelijker aan te ontkomen, of iig rekening mee te houden.

[chocomellover]

Als we even Tesla Sentry en zwarte balken op vaste camera (want dat is hetzelfde principe, er kijkt niemand naar) buiten beschouwing laten, dan mag jouw auto die 90% van de tijd op de oprijlaan staat helemaal niet prima de hele dag de straat filmen.

Alleen het valt bijna niet aan te tonen dat iemand zijn dashcam daarvoor gebruikt en het is ook niet het primaire doel van een dashcam (opnames maken terwijl motor uitstaat), oftewel je zal het echt moeten aantonen dat het gebeurt.

En dan zul je waarschijnlijk vragen waar ligt dan exact de grens en ik gok dat die niet 100% hard te trekken is en afhankelijk is van een rechterlijke interpretatie.
Alleen ik vermoed wel dat er qua dashcams etc er ondertussen genoeg jurisprudentie is om die grens wel redelijk hard te trekken (puur vanuit stalking etc)

[Kevinp]

Het credit card systeem van Amerika lijkt er ook erg veel op. Meer lenen op de juiste manier is meer hypotheek is luxer leven.

Er zijn veel soortgelijke systemen die er al zijn. Misschien niet op basis van AI, maar ze zijn er al wel.

Maar misschien een vreemde discussie, maar wat is AI?

want "artificial" ->kunstmatig->gemaakt/door demens gemaakt/verzonnen (allemaal ongeveer hetzelfde) en je kan van de menselijke intelegentie ook zeggen dat die geleerd/gemaakt is en daarmee ook artificeel is.

[LOTG]

Dat komt omdat sommige bedrijven het eerder als roadmap zien als een waarschuwing. Helaas word er vanuit regelgeving te langzaam op gereageerd.

Dus is Meta maar vast begonnen met one million merits te implementeren inde nieuwe Quest bril.

[Ryangr0]

De geest is al lang uit de fles. Er is maar 1 manier om dit aan banden te leggen, en dat is het onmiddelijk wereldwijd staken van alle initiatieven die ook maar iets van doen hebben met AI. De rest is gerommel in de marge. Als land A dit wel doet, en land B vanwege idealistische overwegingen niet, is het een kwestie van tijd voordat land A land B voorbijstreeft op vlakken waarvan we nu nog niet eens in kaart hebben dat ze bestaan. En dan?

[hiostu]

Er is maar 1 manier om dit aan banden te leggen, en dat is het onmiddelijk wereldwijd staken van alle initiatieven die ook maar iets van doen hebben met AI.

Dat vind ik echt een veel te rigoureuze maatregel. Er zijn genoeg dingen waarbij AI ons heel erg kan helpen. Bijvoorbeeld herkennen van kanker in CT Scans. Een AI kan veel nauwkeuriger en sneller door deze data heen gaan dan wanneer een mens dat moet doen. Een AI is zelfs al beter in het herkennen van melanomen op een foto, dan een getrainde arts.

AI kan ingezet worden voor slechte dingen. Dus het is belangrijk dat hier etische regels voor komen en dat er ook zeer regelmatig en zorgvuldig getoetst wordt. Maar helemaal verbieden is in mijn ogen een slecht idee.

[SirBlade]

Veel succes China en de VS daarvan te overtuigen.

En veel succes met voorkomen dat HR hier in Nederland straks stiekem de kandidaten even via tor bij een Chinese of Amerikaanse site doorlicht.

[Fluttershy]

Als land A dit wel doet, en land B vanwege idealistische overwegingen niet, is het een kwestie van tijd voordat land A land B voorbijstreeft op vlakken waarvan we nu nog niet eens in kaart hebben dat ze bestaan.

... wat impliceert dat AI toepassen voordelen biedt tegenover geen AI toepassen.

[IIIIIIIIIIII]

Ik geloof echt niet dat dit nergens in de EU gebruikt gaat worden. Dit heeft zoveel voordelen voor inlichtingendiensten. Dan krijg je de "We hebben een terrorist gepakt die door gezichtsherkenning in een bar in Meppel is herkend" argumenten.

[satya]

GCHQ doet deze vorm van profiteren van EU burgers al een tijdje, en ze zullen vast niet de enigen zijn, Camebridge Alalytica ging het ook goed af

[LurkZ]

Dan moeten ze Facebook verbieden want (shadow) bannen is een soort sociale/politieke score.

[hiostu]

Facebook is geen vereiste voor je leven. Je kunt prima zonder Facebook leven. Sterker nog, ik denk dat je leven beter is als je geen Facebook hebt.

[Sissors]

Maar wat zijn "sociale scores"? En nee, ik hoef geen linkje naar China te hebben, ik ben benieuwd wat gewoon algemeen ermee bedoelt wordt.

En etniciteit niet mee mogen nemen is natuurlijk makkelijk als het gewoon over een simpel algoritmetje gaat, dat je geen vakje "etniciteit" aan de inputs toevoegt. Maar hoe doe je dat met bijvoorbeeld alles wat met camerabeelden werkt? Immers daar is etniciteit ook gewoon een input onder de streep.

[satya]

Prima vraag als je bedenkt dat algoritmes voor bijvoorbeeld camera's zijn geoptimaliseerd voor verschillende mens/ras types.

[Volv]

Gaat iets dergelijks dan ook gelden voor bedrijven als Tinder, Facebook, of enig ander social media platform dat gigantische hoeveelheden data over gebruikers binnenharkt en verwerkt tot een set aan scores om deze te gebruiken voor het exploiteren van hun gebruikers voor financieel gewin?

[satya]

Nog erger, het GCHQ verzameld al jaren data oa via sociale media om profielen van Europese burgers op te stellen, niemand uitgesloten. Iedereen kan dat tegenwoordig, Camebridge Alalytica is er een prima voorbeeld van.