Twitter gaat beloning uitkeren voor het vinden van vooroordelen in algoritme

Twitter gaat tijdens Defcon een 'algorithmic bias bounty' uitkeren. Het vraagt bezoekers van het hackersevent om vooroordelen te ontdekken in een algoritme van Twitter, waardoor bepaalde mensen benadeeld kunnen worden in hun diensten, en zet daar een beloning tegenover.

Het is de eerste keer dat Twitter een geldbedrag zet tegenover het vinden van fouten in het algoritme waardoor bepaalde mensen benadeeld of voorgetrokken worden in hun diensten. Tijdens het hackersevent Defcon gaat Twitters Machine Learning Ethics, Transparancy and Accountability-team een algoritme loslaten waar bezoekers mee aan de slag kunnen. Ontdekken zij een bias, dan kunnen zij daarvoor een geldprijs winnen.

Twitter gebruikt meerdere verschillende algoritmes in hun dienst. Naast een algoritme dat de tijdlijn indeelt, is er bijvoorbeeld ook een algoritme dat automatisch afbeeldingen bijsnijdt zodat deze allemaal even groot zijn in de preview in de tijdlijn. Twitter is in het verleden vaker beschuldigd van oneerlijke algoritmes die vooroordelen bevestigen.

Zo ontdekten gebruikers afgelopen jaar dat Twitters preview bij het delen van een foto van een witte en een zwarte man, consequent de foto van de witte man laat zien. Andere gebruikers merkten dat de preview in een lange afbeelding witte gezichten vaker toont bij het bijsnijden, ten koste van zwarte gezichten. Twitter onderzocht de zaak en bevestigde de fout in het algoritme in mei.

Twitter-onderzoeker Rumman Chowdhury zegt dat gebruikers het algoritme kunnen hacken tijdens Defcon. De vondsten worden getoetst door een panel van machine-learningexperts, onder andere van de OpenAI-stichting. Komende vrijdag zal Twitter meer details bekend maken over de wedstrijd, onder meer welke beloningen er te winnen zijn.

Twitter is niet de eerste die bedenkt dat bug bounty-programma's misschien wel een geschikte manier kunnen zijn om vooroordelen te ontdekken. Een onderzoeker van de Mozilla Foundation, Deborah Raji onderzoekt hoe bug bounty-programma's kunnen bijdragen aan het vinden van vooroordelen in algoritmes.

Reacties (222)

[albatross]

'Bias' of onwelgevallig? Heb een nicht die (zijdelings) aan A.i. werkt. Zo hadden ze een 'agoritme' getoetst dat moest bepalen wie er het best aangenomen moest worden voor bepaalde posities. Bleek dat een 40+ man duidelijk de voorkeur kreeg boven een vrouw. Dus... had ze de data set maar vernietigd, want 'Dat was uiteraard fout.' Maar waarom eigenlijk? Wat ze feitelijk bedoelde, is niet dat het algoritme niet deugde, maar dat de uitkomst haar onwelgevallig was. Het algoritme had berekend dat een 40+ man doorgaans stabieler is voor een bedrijf dan een vrouw: moet voor zijn gezin zorgen, commit zich dus doorgaans langer, gaat geen kinderen baren, etc. Dat kun je natuurlijk niet leuk vinden, of oneerlijk, maar zo'n algoritme is nou juist niet biased, maar goudeerlijk: het geeft gewoon de statistische feiten weer. Daar kun je dan als maatschappij iets aan gaan doen als je dat wenst, maar het 'aanpassen' van statistische feiten, alleen omdat de uitkomst je niet bevalt, is een bedenkelijke zaak.

Zo had het algoritme van de Belastingdienst waarschijnlijk ook gewoon gelijk: mensen met een dubbele nationaliteit vormen een groter risico op fraude. Waar het misgaat, is daar waar (luie) bedrijven/overheidsinstelling dan ook maar meteen het algoritme de beslissing laten nemen. Maar dat de uitkomst van zo'n algoritme is dat mensen in een bepaalde categorie een verhoogd risico vormen, dat is an sich niet onredelijk; sterker nog, heeft niets met redelijk/onredelijk te maken: is gewoon statistiek. Wanneer zo'n algoritme voortdurend tegenkomt dat er 35 Polen op hetzelfde adres wonen, dan gaan er gewoon belletjes rinkelen, en wordt dat -- wanneer het genoegzaam geschiedt -- een weegfactor in de statistische uitkomst.

Dat zo'n Twitter algoritme vaker blanke mensen laat zien dan kleurlingen, dat is dus niet een fout in het algoritme, maar duidt op een maatschappelijk probleem. Het algoritme doet niets anders dan alleen maar de vinger op de zere plek leggen. Het algoritme constateert gewoon 'Jullie vinden kennelijk blanke mensen belangrijker.' Niet het algoritme aanpassen dus, maar de maatschappij.

[snellie123]

Dit is niet helemaal waar. Ik ben het met je eens dat een algoritme fair kan zijn ondanks het benadelen van groepen zoals dat een man van 40+ meer waarde kan brengen aan een bedrijf. Een belangrijk punt wat je wel mist is dat het overgrote deels van algoritmes wordt getraind op eerder genomen beslissingen. Wat betekend dat deze algoritmes vaak vooroordelen in de samenleving overnemen.

Amazon heeft een paar jaar terug ook met een hiring algorithm geëxperimenteerd welke snel is uitgefaseerd omdat die een voorkeur had naar blanke mannen. Niet omdat blanke mannen meer waarde hebben voor Amazon maar omdat die getraind was op het eerdere aanname beleid van Amazon. In dit beleid werden mannen al jaren verkozen boven vrouwen (en niet omdat ze geschikter waren). Probleem hierin is dat je hier zelf niet tegenop kan door geslacht uit het beslissingprocess te halen omdat een algoritme dan simpelweg gaat leren dat mannen en vrouwen hun CV anders indelen of andere termen gebruiken en o.b.v. hiervan onderscheidt gaat maken. https://www.reuters.com/a...ion-insight-idUSKCN1MK08G

[CAPSLOCK2000]

Dit is niet helemaal waar. Ik ben het met je eens dat een algoritme fair kan zijn ondanks het benadelen van groepen zoals dat een man van 40+ meer waarde kan brengen aan een bedrijf. Een belangrijk punt wat je wel mist is dat het overgrote deels van algoritmes wordt getraind op eerder genomen beslissingen. Wat betekend dat deze algoritmes vaak vooroordelen in de samenleving overnemen.

Een flink deel van het probleem zit ook in de vraagstelling. Wat wil je nu precies van een werknemer of sollicitant? Statisch gezien klopt het dat historisch vrouwen meer zwangerschapsverlof hebben dan mannen. Maar is dat echt wat je wil weten? Op een hele carriere is dat toch maar een korte periode. De verschillen in prestaties tussen (kennis)werknemen zijn enorm. Ik denk dat een factor 10 veschil tussen de meer en minder productieve werknemers heel gewoon is.
Als je dan gaat kijken naar verschillen tussen mannen en vrouwen in werktijd/carriere dan kijk je imho naar de verkeerde details. Dat suggereert mij dat het algoritme eigenlijk helemaal niet zo slim is en alleen maar op zoek naar simpel meetbare verschillen (man vs vrouw) zonder inzicht te hebben in wat nu echt belangrijk is.

En man-vrouw is natuurlijk maar 1 aspect. We doen hetzelfde met een aantal andere kenmerken zoals huidskleur of 'moeilijke' achternamen.

[Reactie gewijzigd door CAPSLOCK2000 op 25 juli 2024 20:05]

[Katanatje]

Dit vind ik inderdaad de relevante opmerking, ik wou net dezelfde maken.

Het is nogal kort door de bocht om het aantal mensuren dat je werkt als grootste metric te nemen (los van het feit dat in sommige landen het ouderschapsverlof van man en vrouw gelijkgetrokken wordt).

Naar welke metric wil je optimaliseren in je bedrijf? Diversiteit (en dan heb ik het niet over man/vrouw maar over manieren van denken), social skills etc, zijn ook allemaal zaken die zwaar onderschat worden bij veel hiring procedures.

[Reactie gewijzigd door Katanatje op 25 juli 2024 20:05]

[bh808303]

Ik durf de recente hang naar diversiteit toch wel in twijfel te trekken. Mijn optiek werkt een team beter samen met gelijkgestemden. In het groter plaatje als groot bedrijf wil ik het nog meegaan in dat verschillende teams met verschillende achtergronden goed zijn, maar binnen een team werk je toch beter samen als je op één lijn zit.

[Katanatje]

Akkoord, het hangt sterk af van hoe je diversiteit ook definieert. Ik bedoelde niet per se dat je moet de meest uiteenlopende denkwijzes geforceerd samen te brengen. Maar je wilt toch wel een goeie mix van juniors/mediors/seniors, blauw/rood/geel/groene karakters (for what it's worth om die terminologie te gebruiken), verschillen in expertise, enzovoorts, om binnen je team op die manier "diversiteit" aan te brengen. Ik wou vooral de opmerking van CAPSLOCK2000 bevestigen, met name dat de vraagstelling erg belangrijk is.

[Reactie gewijzigd door Katanatje op 25 juli 2024 20:05]

[Ludewig]

Dat is natuurlijk ook een kwestie van hoe generiek het algoritme is. Als je een systeem bouwt dat voor alle beroepen werkt, dan zal hij niet de beroep-specifieke elementen kunnen meenemen. Dan gaat die software die factor 10 tussen werknemers sowieso niet kunnen herkennen (voor zover dat überhaupt kan), maar werkt het beoordelen op groepsverschillen juist wel goed.

Een flink deel van het probleem zit ook in de vraagstelling.

Een nog groter probleem bij het beoordelen van CV's is dat de informatie wordt aangeleverd door de persoon die een groot belang heeft bij jouw beoordeling. Het logische gevolg is dat CV's vooral worden geschreven om zo aantrekkelijk mogelijk te zijn. Er is dus sprake van een soort wapenwedloop tussen werkgevers en sollicitanten, waarbij de eerste manieren probeert te verzinnen om te ontdekken wat de voor- en nadelen zijn van de sollicitant, terwijl die sollicitant probeert om die voordelen op te poetsen en de nadelen te verhullen.

Elke eigenschap die goed voorspeld wat een werknemer kan, maar eenvoudig gefaked kan worden, is binnen de kortste keren geen goede indicatie meer. Als bijvoorbeeld je algoritme ontdekt dat lidmaatschap van de NSV (Neuspeuter Sport Vereniging) een goede indicatie is voor iemand die goed kan programmeren en je massaal gaat werven onder NSV-leden, dan worden minder goede programmeurs massaal lid van de NSV als ze ontdekken dat dit hun kansen sterk vergroot.

In zo'n manipulatieve situatie zie je dat men logischerwijs minder waarde gaat hechten aan wat de andere partij beweert en meer waarde hecht aan informatie die niet of moeilijk te faken is en aan (gefundeerde) vooroordelen.

Als je dan gaat kijken naar verschillen tussen mannen en vrouwen in werktijd/carriere dan kijk je imho naar de verkeerde details.

Dat hangt er helemaal vanaf wat er belangrijk is voor het specifieke beroep. Bij sommige beroepen is een part-time werknemer veel minder waardevol gezien de kosten voor het opbouwen van expertise, overdrachtskosten (bij artsen zijn fouten bij de overdracht zelfs een belangrijke oorzaak van medische fouten), de noodzaak om beschikbaar te zijn voor anderen gedurende de hele week, etc.

Een werknemer kan ook minder waardevol zijn voor een bedrijf als de kans vrij hoog is dat deze stopt met zijn/haar carrière, terwijl een deel van de 'waarde' van die werknemer zit in het potentieel om door te groeien naar een betere positie. Bij sommige bedrijven is dit zelfs de kern van hun HR-model (het up-or-out model).

Feit is dat vrouwen veel vaker part-time werken en veel vaker stoppen met hun carrière, dus als een bedrijf veel waar hecht aan deze aspecten, dan zullen vrouwen gemiddeld genomen minder potentieel hebben als werknemer.

[Reactie gewijzigd door Ludewig op 25 juli 2024 20:05]

[Guru Evi]

Maar wie zegt dat de beslissingen die vroeger genomen werden oneerlijk waren? Als je een echte AI wilt, kun je die niet trainen tegen een dataset die intelligente personen niet kunnen maken.

We leven in een democratie, dus bepaalde uitkomsten zijn het resultaat van vrije keuze en biologie. Meer mannen zitten in leiderschap omdat meer mannen gedreven zijn naar macht tov vrouwen die meer gedreven zijn naar familie. Er komen meer witte mensen voor op het algoritme van Twitter omdat mensen die Twitter bezoeken grotendeels wit zijn en witte mensen gaan sterker reageren op witte mensen (biologisch, niet racistisch). Ga je op een Aziatische site, zie je voorkeuren voor Aziaten en als witte of zwarte mens ga je minder van de communicatie begrijpen.

Als “oplossingen” kun je ofwel het onderzoek stilzetten omdat je de uitkomst naar vindt (zo’n beetje als de Katholieke Kerk en Galileo) of je schrijft je eigen politieke bias erin en probeert artificieel de maatschappij aan te passen via een centraal systeem om de van jouw gewenste uitkomst te krijgen (een dictatuur in de voetstappen van Hitler en Stalin).

[:murb:]

Maar zijn macht gedreven managers goed voor een bedrijf? (Er is genoeg geschreven over dat diversere bedrijven beter functioneren, minder group think o.a.). Is een dictatuur beter dan een democratie? Genoeg omhooggevallen witte mannelijke managers gezien.

Het Twitter algoritme was eerlijk in de zin dat het lette op contrast. Maar dat witte mensen met schaduw een hoger contrast opleveren een schadelijk bij-effect. Het had niets te maken over de kleur van de gebruikers.

[Guru Evi]

Voor een bedrijf, maakt het mij niet uit, maar blijkbaar wel, want er zijn meer succesvolle bedrijven die een psychopaat aan het hoofd staan hebben dan bedrijven waar werknemers kunnen stemmen op elke beslissing. Ik heb aan de andere kant ook omhooggevallen zwarte vrouwelijke managers gezien, ooit eens handjes geschud met de huidige CEO van Xerox (Ursula Burns) en een uurtje in de omgeving geweest voor een receptie, persoonlijk vind ik dat een vreselijk mens, hoe ze praat tegen en over anderen, haar assistent zag er niet al te gelukkig uit, en van haar onderlingen hoorde ik dat ze moeilijk was om te werken.

Wat bedoel je met "beter functioneren", als het bedrijf klein blijft, misschien wel leuker om er te werken, maar eenmaal je moet concurreren met anderen die geen 'slechte gevoelens' krijgen bij bepaalde technieken, dan kom je er ook niet op vooruit.

Er is een verschil tussen private bedrijven en de overheid. Daar wil ik het andersom, zo veel mogelijk committees om zo weinig mogelijk te doen en veel beslissingen aan de burger overlaten. Ik kan kiezen om niet te kopen bij oa. Facebook als ik niet akkoord ga met hun beslissingen, ik kan niet beslissen om geen belasting te betalen of in een ander land belasting betalen omdat ik niet akkoord ga met de regering. Een efficiente regering is ook efficient om je rechten af te nemen.

[Reactie gewijzigd door Guru Evi op 25 juli 2024 20:05]

[Basszje]

Het is geheel natuurlijk afhankelijk van de dataset waarop je werkt. In Nederland is er al een ongezonde hyperfocus op uitsluitend mogelijke fraude met bijstand / kinderopvang. Het kan best zijn dat gemiddeld genomen meer bv arme mensen daarin opvallen, maar dat is dus op basis van gevonden zaken, zaken uit het verleden etc. De conclusie is dan dat arme mensen meer frauderen, criminelen.

Iets als fraude met bedrijven, failliesementen en belastingen wordt nauwelijks onderzocht, nauwelijks bestraft en zeker niet als het complex is.

Als je dus bij de belastingdienst lekker gaat algoritmen op waar de focus moet liggen, dan komt het eerste er sneller uit dan het tweede. Zo'n algoritme bepaalt niet waar er nog winst te behalen is uit het onbekende en om dat eens te onderzoeken.

Dus het effect versterkt zich dan alleen maar. Wat er dus toe leidt dat je tientallen controles krijgt als je een kinderopvang hebt in bepaalde buurten, maar de rest kan zich vrij bewegen. Dat is in mathematische context wellicht logisch, maar een overheid heeft ook een maatschappelijke functie die dan totaal genegeerd wordt.

En dat is nog los van het blinde geloof dat veel mensen hebben in dat soort uitkomsten. De computer zegt het, die is slim, het zal wel zo zijn.

Overigens kan een algoritme wel degelijk 'foute' informatie uitblurben. Als in het verleden voornamelijk 40+ mannen werden aangenomen, dan (zoals je zegt) kan dat ook het resultaat zijn van decennia aan menselijke bevooroordelingen. Dan deugt je dataset dus inderdaad niet, maar dat ligt er maar net aan wat de data is en wat de vraag.

[tfro71]

Die dataset kan zeker een probleem zijn. Recent onderzoek bij jonge kinderen liet een probleem zien bij kinderen van arme ouders (recent bericht nu.nl). Maar als de dataset geen andere gegevens bevat over bijvoorbeeld opleiding, herkomst, taal, iq van de ouders, whatever maar wel salaris dan zal de conclusie zijn dat het aan het salaris ligt. Maar dat kan ook weer een gevolg zijn van iets anders dat niet in de dataset is.

[ari3]

Als in het verleden voornamelijk 40+ mannen werden aangenomen, dan (zoals je zegt) kan dat ook het resultaat zijn van decennia aan menselijke bevooroordelingen. Dan deugt je dataset dus inderdaad niet, maar dat ligt er maar net aan wat de data is en wat de vraag.

Gesteld dat er een geschiedenis is van bevooroordeling van 40+ mannen en deze mannen duurzaam goed werk leveren, dan is het zinvol hier op te blijven selecteren. Dat ze in het verleden om 'foute' redenen aangenomen zijn doet hier niets aan af. Kennelijk werkt een cultuur van 40+ mannen goed (genoeg) om daar op te blijven selecteren.

[finsdefis]

Dat lijkt me dus niet, aangezien je niet weet of het alternatief, d.w.z. een diversere werkvloer, beter werkt.

Ik ben de laatste die voor quota op basis van geslacht/etniciteit e.d. is, maar jouw stelling kun je niet op deze manier onderbouwen.

[ari3]

Mijn stelling is juist wel onderbouwd want hij is gebaseerd op de historische data. Het zou natuurlijk best kunnen dat, zoals jij zegt, een meer diverse werkvloer beter resultaten geeft, maar juist dát kun je niet uit de historische data halen.

Dit is precies wat anderen hierboven al aanhalen: mensen duiden het verschil tussen bias in het algoritme en de welgevalligheid van de uitkomst niet goed.

[finsdefis]

Wat ik bedoel te zeggen is dat je zonder andere 'werkvloeren' geen ijkpunt hebt. Je kunt dus niet zeggen of iets 'goed' of 'beter' is qua selectie, want je weet niet hoe het alternatief was geweest.

[Enai]

Het algoritme had berekend dat een 40+ man doorgaans stabieler is voor een bedrijf dan een vrouw: moet voor zijn gezin zorgen, commit zich dus doorgaans langer, gaat geen kinderen baren, etc. Dat kun je natuurlijk niet leuk vinden, of oneerlijk, maar zo'n algoritme is nou juist niet biased, maar goudeerlijk: het geeft gewoon de statistische feiten weer.

Zonder algoritme zijn er nu al bedrijven die geen vrouwen of kleurlingen aanwerven omdat het risico groter is. Dan kun je nog zo hard roepen dat het risico voor jou nul is, je geraakt niet eens doorheen de schiftingsronde.

En in een wereld waar het aanbod van arbeid vele malen groter is dan de vraag, heeft een amoraal bedrijf geen enkele reden om enige tijd en moeite te investeren om je een kans te geven. Je bent een vrouw? Wel, misschien word je zwanger, dus laten we een man aanwerven met dezelfde kwalificaties. Je hebt geen kinderwens? Pech gehad, het is eenvoudiger om een man aan te werven dan om naar je argumenten te luisteren.

Dat elk bedrijf op termijn eenzelfde redenering volgt (dankzij turnkey softwarepakketten) en je hierdoor alle kansen ontnomen wordt, zal zowel de bedrijven als de developers van deze pakketten uiteraard worst wezen.

Dat zo'n Twitter algoritme vaker blanke mensen laat zien dan kleurlingen, dat is dus niet een fout in het algoritme, maar duidt op een maatschappelijk probleem. Het algoritme doet niets anders dan alleen maar de vinger op de zere plek leggen.

Het probleem is dat het individu hier helemaal niets aan kan veranderen. Indien je bevolkingsgroep als riskant wordt beschouwd door het algoritme, maakt het niet uit of jezelf een risico betekent of niet; je komt zelfs niet meer in aanmerking.

Waar het misgaat, is daar waar (luie) bedrijven/overheidsinstelling dan ook maar meteen het algoritme de beslissing laten nemen.

De wet van de grote aantallen betekent dat onrechtvaardig behandelde mensen irrelevant zijn voor het bedrijf zolang ze maar een voldoende kleine fractie van het totaal bedragen. Dit is een probleem dat je ook terugziet in de handelswijze van Uber, of de Google Play Store.

Je wordt op non-actief gezet bij Uber omdat je toevallig vier keer op rij een neo-nazi hebt vervoerd die je 1 ster gaf omdat je een donkere huidskleur hebt? Pech gehad, morgen krijgt iemand anders je ritten (die blank is en hier dus geen last van heeft) en Uber draait vrolijk verder. Je app wordt van de Play Store gekeild om een of andere vage reden? So what, er zijn duizenden andere app developers die je plaats wel innemen. Enz.

Google's aanwervingspolitiek speelt hier zelfs bewust op in. De prioriteit is om geen ongeschikte mensen aan te werven, en dat hierbij enkele (of heel wat) geschikte mensen afgekeurd worden, is dan jammer.

[Caelestis]

Het algoritme had berekend dat een 40+ man doorgaans stabieler is voor een bedrijf dan een vrouw: moet voor zijn gezin zorgen, commit zich dus doorgaans langer, gaat geen kinderen baren, etc. Dat kun je natuurlijk niet leuk vinden, of oneerlijk, maar zo'n algoritme is nou juist niet biased, maar goudeerlijk: het geeft gewoon de statistische feiten weer.

Aan de ene kant kan ik de logica er zeker van inzien dat dit goed zou kunnen kloppen maar ik ben er niet helemaal van overtuigd.
Als je een A.I gaat trainen met data aan de hand van een regel set is dat data niet op voorhand al "Biased" gezien het door een mens gemaakt is?
Als je hele dataset gebaseerd is op het huidige leven wat dan de basis vormt van de A.I dan zal de karakteristieken van dat data altijd doorsijpelen naar de A.I.
Hoe weten we dan zeker dat de A.I het optimale resultaat kan bedenken en niet gewoon hetzelfde eruit spuugt als wat je erin gooit?

[dixet]

Dat is precies wat er gebeurt. AI's worden getraind met datasets die door menselijk handelen tot stand komen. Dus zal die AI het "gedrag" van die mensen overnemen.

Een vergelijkbaar voorbeeld had Amazon bij het automatisch selecteren van kandidaten (bias voor blanke mannen). De trainings-dataset bestond uit CV's van kandidaten van de laatste 10 jaar, met daarbij welke kandidaat het uiteindelijk geworden was

[Vizzie]

Tja en de dataset kan helemaal geen gegevens bevatten over wie het meeste waarde toegevoegd zou hebben voor het bedrijf: de mensen die niet zijn aangenomen zijn niet aangenomen dus je weet nooit hoe ze het gedaan zouden hebben.

Het ligt altijd heel wat ingewikkelder dan “gewoon de statistische waarheid”.

Wiskundig klopt het altijd, je kan er echter heel vaak niet uit opmaken wat je eigenlijk wilt weten.

[Guru Evi]

AI zijn gewoon statistieke sorteer machines, niet meer, niet minder.

Geef ze een grote dataset en zoek voor correlaties, de grootste correlatie zit in de binaire data: de kolom voor geslacht, ras en ouderdom hebben minder variatie dan het dorp waar je naar school gegaan bent of de rest van de “random” tekst in je CV.

Laat het nu zijn dat oudere mensen meer ervaring hebben en dus betere uitkomsten bieden, laat het nu zijn dat oudere vrouwen minder buiten het huis werken (thuis met kinderen, of man met groter inkomen) dan jongere vrouwen en laat het nu zijn dat over de laatste 20-30 jaar we mensen aannamen om quota’s te vullen, en daarbij vooral jongere vrouwen aannamen omdat ze meer beschikbaar waren en je kunt snel zien dat het algoritme (en de maatschappij in het algemeen) die trends gaan oppikken - vrouwen zijn een groter risico omdat ze vooral jong zijn.

[Reactie gewijzigd door Guru Evi op 25 juli 2024 20:05]

[Mitsuko]

Daarnaast kan je je natuurlijk afvragen of er daadwerkelijk iets mis is met vooral blanke mensen weergeven in een omgeving waar vooral blanke mensen wonen.

Natuurlijk is het niet de bedoeling dat een algoritme in een soort spiraal komt waardoor de meerderheid op een steeds hoger podium wordt gezet, maar als je exact dezelfde verhoudingen wilt dan ben je gewoon racistisch bezig in het voordeel van de minderheid.

Dat hoeft ook niet onmiddelijk een probleem te zijn, maar als de hele samenleving gaat draaien om het veredelen van minderheden dan vertrap je de minder gunstige leden van de meerderheid (die zelf ook een minderheid vormen, maar dat wordt genegeerd).

[tfro71]

@Mitsuko Die spiraal is al eens beschreven trouwens en dat is dus precies wat sommige algoritmes doen (mensen organisaties trouwens ook).
Moraal van het verhaal: omdat iets vaker voorkomt ga je het vaker controleren waardoor het nog vaker voorkomt en je het nog vaker gaat controleren, etc.. Op zich niets mee maar de keerzijde is dat je andere zaken dan minder gaat controleren en het daar minder vaak voorkomt waardoor je het minder vaak gaat controleren, etc.

[ari3]

De spiraal is meestal geen juiste representatie omdat het ongefundeerd veronderstelt dat de spiraal oneindig doorgaat.

Om jouw voorbeeld te gebruiken: "omdat iets vaker voorkomt ga je het vaker controleren waardoor het nog vaker voorkomt en je het nog vaker gaat controleren."
Dit is aantoonbaar onjuist. Als je herhaaldelijk dezelfde populatie controleert dan neemt het aantal incidenties af. We zien dit bijvoorbeeld bij flitspalen: in het begin heel veel snelheidsovertreders, daarna veel minder omdat beboette chauffeurs hun snelheid aanpassen. De spiraal gaat niet oneindig door.

[tfro71]

Nee, oneindig zal het niet zijn. Maar als de populatie waar je je op gaat focussen groot genoeg is kan dat wel even doorgaan. Verder gaat het vooral om een bepaalde hyperfocus waardoor je steeds de slechts scorende groep verder gaat onderzoeken. Uiteindelijk blijf je dus dingen vinden, ook andere zaken.

[Aapje58]

Dat hoeft ook niet onmiddellijk een probleem te zijn, maar als de hele samenleving gaat draaien om het veredelen van minderheden dan vertrap je de minder gunstige leden van de meerderheid (die zelf ook een minderheid vormen, maar dat wordt genegeerd).

Het maakt ook heel veel uit hoe je de maatschappij opdeelt in groepen. Zo kun je blanke Amerikanen ook weer opdelen in groepen op basis van hun afkomst/etniciteit en dan zie je gigantische verschillen. Zo is er extreem veel armoede onder 'borderers.' Dit zijn Amerikanen die afstammen van migranten uit het grensgebied tussen Schotland en Engeland, waar ze continu last hadden van de oorlogen tussen die landen en sterk gediscrimineerd werden door de overheid, waar ze een gigantische afkeer van kregen. In de VS heeft deze groep nog steeds een grote afkeer van de overheid en een grote voorkeur voor het platteland en lager-opgeleid werk, wat tegenwoordig een recept is voor armoede (met name ook door het sluiten van de mijnen). Als groep doen ze het ongeveer net zo slecht als zwarte Amerikanen, maar ze tellen niet als achtergestelde minderheid en krijgen niet de voordeeltjes die zwarte Amerikanen wel krijgen.

Het lijkt vrij arbitrair welke groepen in aanmerking komen voor hulp dan wel tegenwerking. Zo werden Joodse Amerikanen vroeger gezien als te succesvol en werden ze gediscrimineerd op universiteiten, waar ze niet teveel Joden wilden hebben. Tegenwoordig discrimineren ze die universiteiten op precies dezelfde manier tegen Aziatische Amerikanen, die hogere cijfers halen op school dan de meeste andere etnische groepen. Joodse Amerikanen zijn echter ook nog steeds erg succesvol wat dit betreft, maar die worden niet meer als een aparte groep gezien en behandeld.

[Kevinp]

Mits je de dataset regelmatig update zonder algoritme, anders versterkt het zichzelf.

Ook met bv verkeersovertredingen is scannen en de juiste mensen eruit pakken gewoon goed. Maar als je deze dataset weer voor nieuwe input gebruikt gaat het mis.

Je moet een dataset hebben die zo objectief mogelijk is. En die moet je af en toe maken.

Maar goed, als jij een klein bedrijf hebt, je kan wat mensen gebruiken je hebt keueze uit een 25 jarige vrouw of man. Of 40+ jarige vrouw of man.

Dan zou mijn voorkeur al snel uit gaan naar de 40+ man. Waarom omdat over het algemeen ze geen super jonge kinderen meer hebben, nog redelijk gezond zijn. Dus de komende 10 jaar heb je waarschijnlijk een werknemer die weinig ziek is en weinig verlof nodig heeft voor bv een kind.

Die 25+ vrouw is zal relatief vaak kinderen willen hebben. En daar is de man van 25+ ook bij betrokken qua vrije dagen. Dat is gewoon meer werk als je maar een paar man personeel hebt.

[Caviatjuh]

Alleen dat al is een reden om mannen net zo veel zwangerschapsverlof te geven als vrouwen. Overigens zijn er verdomd weinig vrouwen van 40+ die nog een kind gaan baren, dus waarom dan voorkeur voor de man? Vrouwen leven gezonder en langer dan mannen in Nederland. Ze drinken en roken minder, ze gebruiken minder vaak andere drugs, en ze bewegen meer. Ook gaan ze vaker naar de dokter bij beginnende klachten, zodat als er gezondheidsproblemen zijn deze in een vroeg stadium herkent worden.

[Kevinp]

Iets te inhoudelijk wat mij betreft. Maar oke je hebt een goed punt. Maar ze werken mogelijk wel minder, omdat ze nog voor kinderen zorgen.

Dat kan overigens ook een rede zijn om wel dames aan te nemen als je eigenlijk geen voltijd baan hebt.

Ik zou graag willen zien dat partners samen verlof krijgen welke uitwisselbaar is. Bij 2 kinderen krijg je iets meer. En bij 3 bv iets minder, krijg je meer kinderen kost het je eigen vrije dagen.

En ja details is altijd lastig ;-).

[Sinnergy]

Je zou deels de bias kunnen opvangen door soort van 'clean room' interview. Persoon neemt initieel interview af, stelt neutraal verslag op, en dit gaat dan naar een 2de persoon die puur moet gaan op deze verslagen om de knoop door te hakken.

Nu ja, in theorie klinkt dit goed, maar probeer maar eens 'bewust' neutraal te zijn, niet zo simpel

[CAPSLOCK2000]

Laat ik even beginnen met te stellen dat het in deze discussie wel heel belangrijk wordt dat we goed onderscheid maken tussen verschillende soorten algoritmes. Zo'n beetje alle AI gaat over een algoritme dat zelf een nieuw algoritme bouwt op grond van data. Ik noem ze voor het gemak even het "bouw-algoritme" en het "output-algoritme". We moeten heel goed onderscheid maken over wel van die twee algoritmes we het hebben. Problemen ontstaan als de data niet "goed" is, bijvoorbeeld omdat er menselijk vooroordelen in zitten. In dat geval zal je die vooroordelen terug zijn in het output-algoritme.
Het lastige is dat die twee algoritmes niet goed uit elkaar worden gehouden. Het output-algoritme is gebaseerd op die data. Als de data niet goed is dan is het output-algoritme dus ook niet goed.

Owja, we moeten het ook even hebben over wat 'goed' en 'fout' is. Dat gaat niet over opvatting over hoe onze maatschappij er uit zo moeten zijn, maar of de modellen een goede weergave van de werkelijkheid zijn. Als een output-algoritme de vooroordelen van de maatschappij heeft overgenomen dan is het geen goed model van de maatschappij.
Het is een ander verhaal als je nieuwschierig bent naar vooroordelen. Als je doel is om die vooroordelen te bestuderen dan is het prima dat je AI die vooroordelen overneemt.
Het ligt dus erg aan het doel van je onderzoek en de geleverde data of een bepaald output-algoritme 'goed' of 'slecht' is. Dat staat dus los van de kwaliteit van het bouw-algoritme.

En dat is waar Twitter het om gaat. Twitter is niet op zoek naar rekenfouten maar naar bevooroordeelde input data.


Dit is geen theoretisch probleem. Iedereen die ooit iets met AI heeft gedaan is tegen het probleem aangelopen dat de input data niet geschikt is. Een groot deel van het vakgebied bestaat uit het kiezen van "goede" data, waarbij het enorm belangrijk is dat je geen voorkeur geeft aan data die toevallig past bij je eigen vooroordelen.

Dat zo'n Twitter algoritme vaker blanke mensen laat zien dan kleurlingen, dat is dus niet een fout in het algoritme, maar duidt op een maatschappelijk probleem. Het algoritme doet niets anders dan alleen maar de vinger op de zere plek leggen. Het algoritme constateert gewoon 'Jullie vinden kennelijk blanke mensen belangrijker.' Niet het algoritme aanpassen dus, maar de maatschappij.

Daar heb je min of meer gelijk in, maar als je weet dat dit probleem bestaat dan moet je er rekening mee houden. Als we dat niet doen dan verankeren we de problemen.
Maar ik ben het met je eens dat we bouw-algoritme niet moeten veranderen. Dat is (hopelijk) gebaseerd op harde wiskundige principes. Maar het output-algoritme is gebaseerd op data en als die data niet goed is dan moeten we dat kunnen corrigeren.

Helaas helaas helaas is ons taalgebruik rond dit onderwerp zo slordig geworden dat alles door elkaar heen loopt en alles 'algoritme' of 'ai' wordt genoemd.

Om even een analogie te trekken.
Op school heb je leraren, boeken en leerlingen. De leraren gebruiken een lesmethode om de stof uit de boeken over te dragen aan de leerlingen. Maar dat gaat niet altijd goed. Je kan een goede leraar hebben die een slecht boek gebruikt, of een goed boek met een slechte leraar. In beide gevallen krijg je leerlingen die niet goed zijn opgeleid.
De leraar is het 'bouw-algoritme', de boeken zijn de 'data', en de leerlingen zijn het 'output-algoritme'.
In het taalgebruik noemen we zowel de leraar als de leerling een 'algoritme'.

Als je ontdekt dat de leerlingen onjuiste kennis hebben dan moet je dat corrigeren, je kan ze niet zo de wereld in sturen. Maar je kan het de leerlingen niet kwalijk nemen, die doen wat ze geleerd is. Vervolgens moet je je afvragen of je leraar moet vervangen of de boeken.

Twitter zegt: "Je krijgt een beloning voor fouten in het algoritme" dan zijn ze dus op zoek naar leerlingen met onjuiste kennis. Of de fout zit in de lesboeken of in de lesmethode kun je pas achteraf uitzoeken.

[slane147129]

Maar welke beschikbare data was er vanaf het begin? Je geeft terecht aan dat men soms de beschikking heeft tot foute (lees onvolledige?) data en dat het dan al een kansloze exercitie is. Alles wat daarna gebeurt en zelfs de modellen die daarop worden gebouwd wellicht helemaal nietszeggend zijn als men hier niet bewust van is? Is het niet zo dat er modellen wordt gebouwd op basis van waarnemingen uit beschikbare data en dat dat dan getoetst wordt?

Is er beschikking tot alle ongecensureerde data? Is er capaciteit om alle ongecensureerde data te verwerken? Ik kan me voorstellen dat de data die beschikbaar is altijd een deelverzameling is van de totaliteit. Hoe graag je het ook anders wilt zien of hebben.

Misschien is het maar beter om aan te nemen dat alle data (en de daaruit voortgekomen modellen) altijd bevooroordeeld is afhankelijk van diegene die het ter beschikking stelt? Waardoor je dan jezelf kunt afvragen wie of wat je dan weglaat wanneer nieuw data bijkomt.

[CAPSLOCK2000]

Maar welke beschikbare data was er vanaf het begin? Je geeft terecht aan dat men soms de beschikking heeft tot foute (lees onvolledige?) data en dat het dan al een kansloze exercitie is. Alles wat daarna gebeurt en zelfs de modellen die daarop worden gebouwd wellicht helemaal nietszeggend zijn als men hier niet bewust van is?

Je beschrijft het centrale probleem van de wetenschap in een notendop. Hoe vergaar je kennis en hoe controleer je of je kennis klopt? Een flink deel daarvan bestaat uit het onderling vergelijken van modellen en meetresultaten.

Is het niet zo dat er modellen wordt gebouwd op basis van waarnemingen uit beschikbare data en dat dat dan getoetst wordt?

Als het goed is wel, maar als je waarnemingen gekleurd zijn dan zal zowel je traingingsdata als de controledata dezelfde kleur hebben. Dan zie je nog niet dat er iets niet klopt.

Denk aan iemand die een rode bril op zet dan zegt dat de wolken rood zijn. Vervolgens kijkt iemand anders die ook een rode bril naar de wolk en zegt "ja, ik zie ook een rode wolk". En als je allebei een groene bril opzet dan is de wolk opeens groen. Een mogelijke oplossing is om naar een tomaat te kijken. Dan zie je dat met een rode bril de tomaat rood is en het steeltje zwart, terwijl met een groene bril het steeltje groen is en de tomaat zwart. Dan heb je opeens een interessant resultaat dat niet in overeenstemming is met je model. Dan weet je dat je daar verder moet gaan zoeken.

Is er beschikking tot alle ongecensureerde data? Is er capaciteit om alle ongecensureerde data te verwerken? Ik kan me voorstellen dat de data die beschikbaar is altijd een deelverzameling is van de totaliteit. Hoe graag je het ook anders wilt zien of hebben.

Er is niet echt iets als "alle data". Je kan altijd meer weten. Ik weet niet hoe de oppervlakte temperatuur op de de planeet Venus relevant is voor het aanname beleid van een Nederlands bedrijf, maar ik kan niet op voorhand uitsluiten dat er een ingewikkeld verband is dat ik niet zie. Er is geen einde aan "data".

Misschien is het maar beter om aan te nemen dat alle data (en de daaruit voortgekomen modellen) altijd bevooroordeeld is afhankelijk van diegene die het ter beschikking stelt? Waardoor je dan jezelf kunt afvragen wie of wat je dan weglaat wanneer nieuw data bijkomt.

Ja. Ook daar kunnen we naar de wetenschap kijken. Wetenschappers zullen niet snel zeggen dat iets helemaal zeker waar is. Ze houden altijd een slag om de arm en drukken zich daarom uit in kansen. Een goed wetenschappelijk artikel zal daar altijd iets over zeggen, zo van 'er is minder dan 5% kans dat dit resultaat een toevallige meetfout is'. Zo zullen we bij algoritmes en AI's ook veiligheidsmarges moeten gaan opgeven. "We hebben gemeten dat dit model er maximaal 3% naast zit op grond van man-vrouw verschillen" of zo iets. Dat geeft direct ook een pad naar verbetering, want dan kun je de verschillende AI's gaan vergelijken, eisen stellen en de beste kiezen.

Vooroordelen (of gewoon fouten) kun je nooit helemaal voorkomen, maar je kan wel grenzen stellen aan het effect.

[Reactie gewijzigd door CAPSLOCK2000 op 25 juli 2024 20:05]

[slane147129]

Denk aan iemand die een rode bril op zet dan zegt dat de wolken rood zijn. Vervolgens kijkt iemand anders die ook een rode bril naar de wolk en zegt "ja, ik zie ook een rode wolk". En als je allebei een groene bril opzet dan is de wolk opeens groen. Een mogelijke oplossing is om naar een tomaat te kijken. Dan zie je dat met een rode bril de tomaat rood is en het steeltje zwart, terwijl met een groene bril het steeltje groen is en de tomaat zwart. Dan heb je opeens een interessant resultaat dat niet in overeenstemming is met je model. Dan weet je dat je daar verder moet gaan zoeken.

Eens en het nodigt iemand uit om verder te zoeken. Maar in praktijk is daar wel tijd, energie en geld hiervoor? Soms zijn onderzoeken al bij voorbaat biased gezien de sponsors of gebrek aan.

Er is niet echt iets als "alle data". Je kan altijd meer weten. Ik weet niet hoe de oppervlakte temperatuur op de de planeet Venus relevant is voor het aanname beleid van een Nederlands bedrijf, maar ik kan niet op voorhand uitsluiten dat er een ingewikkeld verband is dat ik niet zie. Er is geen einde aan "data".

Er is altijd meer "weten" en vandaar wetenschap.

Maar dat "weten" is toch gebaseerd op basis van mogelijke verbanden die wij mensen denken te zien en ontdekken? Wat op haar beurt weer (bevooroordeeld) gedestilleerd wordt vanuit data. Ja ik ben van mening dat er zoiets is als "alle" data maar of wij mensen in staat zijn om de totaliteit ervan te kunnen bevatten? Te beseffen dat we maar ietsjes weten van de realiteit maar niet alles geeft toch wel blijk dat er meer is dan wat we nu kennen.

@CAPSLOCK2000 Bedankt overigens voor je reactie. Zet mij aan het "denken" van wat ik denk te weten lol.

[Reactie gewijzigd door slane147129 op 25 juli 2024 20:05]

[CAPSLOCK2000]

Eens en het nodigt iemand uit om verder te zoeken. Maar in praktijk is daar wel tijd, energie en geld hiervoor?

Natuurlijk zijn er altijd grenzen, maar zolang we ons daar van bewust zijn kunnen we er mee om gaan.

Soms zijn onderzoeken al bij voorbaat biased gezien de sponsors of gebrek aan.

Dat is haast onvermijdelijk. Wetenschap is duur en wie er belang bij heeft zal er eerder voor willen betalen. Transparantie helpt een hoop. Alle data publiceren, niet alleen de data die je gebruikt hebt in je onderzoek en zeker niet alleen de data die past bij je hypthose. Altijd duidelijk maken waar het geld vandaan komt en of er voorwaarden waren. Het helpt ook een hoop om vooraf al te laten vastleggen wat er onderzocht wordt en welke data daar voor geproduceerd gaat worden zodat je niet achteraf kan besluiten om "vervelende" data of resultaten niet te publiceren omdat het niet past bij je eigen voorordelen of de belangen van je sponsor.

Maar dat "weten" is toch gebaseerd op basis van mogelijke verbanden die wij mensen denken te zien en ontdekken? Wat op haar beurt weer (bevooroordeeld) gedestilleerd wordt vanuit data.

Ja, het is deel van de 'kunst' om daar mee om te gaan. Proberen boven je eigen beperkingen uit te stijgen met harde wiskunde en controleerbare experimenten. Maar uiteindelijk zijn we geremd door onze eigen beperkingen. De Romeinen hadden dezelfde mentale vermogen als wij. In theorie waren ze slim genoeg om moderne computers te bouwen of het werk van Einstein na te doen. Maar ze hadden niet de achtergrond om daar aan te beginnen.

Ja ik ben van mening dat er zoiets is als "alle" data maar of wij mensen in staat zijn om de totaliteit ervan te kunnen bevatten? Te beseffen dat we maar ietsjes weten van de realiteit maar niet alles geeft toch wel blijk dat er meer is dan wat we nu kennen.

Als we er verder op in gaan dan kom ik terug op mijn vorige statement. Er is inderdaad wel zo iets als alle data. Ik geloof namelijk in een theorie die zegt dat "informatie" het basis bouwblok van ons universum is. Als je verder "inzoomt" dan moleculen, atomen en fermionen dan is het eindpunt 'informatie'. Ik geloof dus dat onze hele universum uiteindelijk uit informatie bestaat. Dit is uiteraard een enorme simpele weergave van een ingewikkelde theorie. Maar de conclusie is dat enige manier om alle data over universum voor te stellen is het universum zelf.
Dus ja, er is wel zo iets als 'alle data' maar daar kunnen we helemaal niks mee.

@CAPSLOCK2000 Bedankt overigens voor je reactie. Zet mij aan het "denken" van wat ik denk te weten lol.

Tnx
Nadenken over je eigen beperkingen is wel een beetje het centrale thema hier ja

[sampoo]

Het algoritme had berekend dat een 40+ man doorgaans stabieler is voor een bedrijf dan een vrouw: moet voor zijn gezin zorgen, commit zich dus doorgaans langer, gaat geen kinderen baren, etc

Je zou heel goed gelijk kunnen hebben maar dit lijkt mij jouw eigen vermoedens en niet gebaseerd op een uitvoerige analyse van het algoritme en de data.

[Reactie gewijzigd door sampoo op 25 juli 2024 20:05]

[_Pussycat_]

Het algoritme constateert gewoon 'Jullie vinden kennelijk blanke mensen belangrijker.' Niet het algoritme aanpassen dus, maar de maatschappij.

Niet helemaal... Als een foto zo'n raar formaat had dat er maar één van 2 personen in de preview paste, koos hij vaker de blanke persoon. Ik neem zeer sterk aan dat het algoritme daar met meer zekerheid een gezicht in kon herkennen, en dan "99.4% zeker weten eens mens" koos in plaats van "98.9% zeker weten een mens". Foto's van mensen met donkere huid bevatten vaak minder detail.

[Hoofd.]

triest om te zien dat dit standaardriedeltje
een +3 krijgt hier op tweakers, had beter verwacht. Hopelijk ligt het aan de vakantietijd

[Reactie gewijzigd door Hoofd. op 25 juli 2024 20:05]

[Aapje58]

De vraag is dan wel wat telt als een vooroordeel. Sommige mensen gaan er vanuit dat elke uitkomst tussen verschillende rassen/etniciteiten of tussen man en vrouw het gevolg is van een vooroordeel, waarbij geen enkele andere uitleg wordt geloofd.

Zo heeft gezichtsherkenning meer moeite met donkere mensen. Dit wordt vaak geweten aan een discriminerend algoritme of dataset, terwijl het goed mogelijk is dat donkere mensen moeilijker te herkennen zijn doordat hun gezicht minder contrast heeft.

En sowieso zie ik dat mensen met een bepaalde politieke overtuiging, de algoritmes de schuld geven wanneer groepen verschillen in gedrag en dit verschil vervolgens tot uiting komt in de beoordeling van de algoritmes, terwijl het algoritme helemaal niet beoordeelt op de groep waartoe de mensen behoren, maar puur op basis van het gedrag.

[herofruit]

Vooroordelen zijn onlosmakelijk verbonden met de tijdsgeest. In beginsel, algoritmes zijn unbiased. De mensen die het algoritme trainen zijn biased.

[The_Woesh]

Een algoritme discrimineert altijd minderheden, dat heeft niks met biased training te maken.

Stel ik maak een algoritme dat CEO's moet herkennen en ik geeft dat algoritme een foto van alle CEO's van beursgenoteerde bedrijven als training set.
Wedden dat het algoritme daarna witte oude mannen als CEO gaat herkennen? Dat heeft niks met biased training te maken maar gewoon met de samenstelling van de populatie.
Wat wel kwalijk is, is als dat algoritme vervolgens door een head hunter wordt gebruikt om CEO kandidaten te vinden. Dan wordt namelijk gediscrimineerd op basis van uiterlijke kenmerken en dat mag niet.

[Frituurman]

Heel sec gezien is dat dan niet biased, maar een weerspiegeling van de daadwerkelijke, feitelijke situatie. Het neemt input tot zich en heeft daar een bepaalde output bij. Het is net als met ieder ander systeem, je krijgt eruit wat je er in stopt. Het algoritme is daarmee niet biased, maar wellicht de input wel.

[DealExtreme2]

Precies. En vaak is de input ook niet biased, maar een random selectie van items uit de verzameling, waar je een paar knowns van hebt, en uit diezelfde set een unknown wilt voorspellen.

En zolang je input set het domein van je voorspelling covert is het inderdaad gewoon een goed getraind model. Om je CEO als voorbeeld te nemen, dan is het toch juist correct als het gewicht voor huidskleur, leeftijd en geslacht een weging kent die overeenkomt met de werkelijkheid?

En als je het model wil gebruiken voor voorspellingen of niet iemand een CEO _is_, maar of hij het kan WORDEN, dan pak je het verkeerde model. Daar is het niet voor bedoeld en weet het ook niks over te zeggen.

Als je sommige properties niet wil mee nemen in het algoritme, dan ga je je model dus finetunen om slechter te performen. Lijkt me een beetje gek. Maar dan kan je daarna wel roepen dat 'het algoritme niet discrimineert'. Terwijl het hele idee van een algoritme is JUIST discriminatie.

Althans, een andere manier van een algoritme beschrijven is denk ik: iets dat discrimineert op basis van properties om een voorspelling van een output te doen.

Dus als je dat discriminerende eruit wilt halen, dan hou je semi at-random over

[Reactie gewijzigd door DealExtreme2 op 25 juli 2024 20:05]

[TehStuzz]

Dat is natuurlijk mierenneukerij. Het draait hier om de output van het algoritme.

Het is ook niet 'een weerspiegeling van de daadwerkelijke, feitelijke situatie'. In praktijk zie je gewoon dat er niet rekening wordt gehouden met mensen van bijvoorbeeld een andere huidskleur omdat de engineers vaak zelf allemaal wit zijn. Het resultaat is een algoritme dat niet goed werd voor mensen met een donkere huidskleur.

[jeroen_loeffen]

Maar wie gaat dan wel de "echte" feitelijk situatie bepalen? Jij? Of TNS NIPO? De keuze voor de bepalende partij is namelijk ook al biased. Jij zal wellicht niet voor racist uitgemaakt willen worden en extra rekening houden met donkere mensen (wat dan dus alsnog racistisch is) of TNS zal de gemiddelde Nederlander nemen, die wellicht toch blanker is dan de gemiddelde Amsterdammer. En een algoritme dat een "wenselijke" situatie weer gaat geven is nog verder van het pad af...

[TehStuzz]

Je hoeft niet een feitelijke situatie te bepalen, dat is een red herring. De oplossing is om (met betrekking van het publiek) te bepalen wat de gelijkheden zijn die het model moet hebben. Vervolgens train je het algoritme om gelijk te handelen naar die waardes. Hiervoor is brede betrokkenheid nodig onder verschillende groepen want zoals je zegt: je kan niet in je eentje op de voorhand bepalen wat bias is. Algoritmes hoeven niet historische biases te reproduceren: we kunnen ze programmeren zodat ze onze huidige waardes reflecteren.

[jeroen_loeffen]

Dus toch de gewenste uitkomst van tevoren bepalen: ik wens de projectmanager veel succes met het samenstellen van de klankgroep die breed gedragen wordt en toch tot een breed geaccepteerde bias komt.

[TehStuzz]

Tja. Dat iets moeilijk is lijkt me geen reden om het niet te proberen. Het mooie van software is bovendien dat het aanpasbaar is. Dat de eerste versie niet goed is betekent niet dat V2 niet beter kan zijn

[Anoniem: 1322]

Heel sec gezien is dat dan niet biased, maar een weerspiegeling van de daadwerkelijke, feitelijke situatie.
Leg dat maar eens uit aan Sylvana Simons, dan pak ik de popcorn wel

[Reactie gewijzigd door Anoniem: 1322 op 25 juli 2024 20:05]

[Enai]

Dat klopt, maar daar heeft de getalenteerde CEO-kandidaat met donkere huidskleur geen fluit aan. Deze wordt letterlijk gediscrimineerd omdat hij gediscrimineerd wordt.

En uiteraard werkt het algoritme ook in de omgekeerde richting. Denk aan een algoritme dat zou besluiten om geen immigranten aan te werven omdat immigranten oververtegenwoordigd zijn in de gevangenis. Volledig legaal (want "AI") en als immigrant die geen vlieg kwaad doet, ben je mooi de pisang.

[saren]

maar wellicht de input wel.

Fixed that for you. Laat het toch duidelijk zijn dat het algoritme toepassen zoals @The_Woesh beschrijft om CEO kandidaten te vinden, gewoon een voorbeeld is van hoe zo een algoritme dus discriminatie veroorzaakt. Het "ons kent ons" wordt enkel versterkt, en dat zo een vertegenwoordiging de feitelijke situatie is, betekent niet dat die feitelijke situatie het gewenste/optimale resultaat is, terwijl het doel van zo een algoritme is om nieuwe gewenste kandidaten te vinden. Het vergt niet veel logica om te zien waarom dit op deze manier inzetten problematisch is.

[Frituurman]

ehrr.. Nee. De input is ook niet 'biased' als die feitelijk is. De input kán wel biased zijn als er een hele selectieve groep wordt genomen. Wat @The_Woesh zegt is bijvoorbeeld biased, omdat hij de steekproef doet onder westerse ondernemingen. Kijk je naar grotere Latijns-Amerikaanse, Aziatische en Afrikaanse concerns, dan zul je zien dat, wat bijvoorbeeld @batjes aangeeft, daar veel topmannen niet 'oude witte mannen' zijn.

Bias
1) vertekening in een steekproef. vertekening in het resultaat van een steekproef. 2) vooringenomenheid. geneigdheid, ingenomenheid voor of tegen iets of iemand

Als je dus alle feitelijke informatie neemt, is de input niet biased. Als je je 'feiten' manipuleert, dan is het wel biased. Maar het algoritme is daarmee nog steeds niét biased. En als ik nog een keer reageer, ga ik gewoon het woord 'vooringenomenheid' gebruiken i.v.m. dubbele woordwaarde.

[saren]

Als je dus alle feitelijke informatie neemt, is de input niet biased.

Je post komt neer op mierenneukerij. Misschien heb ik je overschat, maar je begrijpt denk/dacht ik heel goed het punt dat gemaakt wordt, maar wilt er een semantische woordworsteling van maken. Bovendien heb je niet gelijk. Ik heb het in mijn comment erg duidelijk over de context van The_Woesh zijn voorbeeld, en heb het niet over alle algoritmes in het algemeen, die niet per definitie biased zijn. Andere hypotheses of voorbeelden zijn dan niet relevant.

Het valt me in het algemeen sowieso op hoe snel veel tweakers geagiteerd raken als ze nieuws lezen over hoe bepaalde vooroordelen uit software wordt gewerkt. Ik vraag me af waarom je iets zou hebben tegen het wegwerken van een bias. Als software duidelijk discrimineert tegenover mensen uit groep X, en er een nieuwsbericht komt waaruit blijkt dat die software, of de voeding ervan, dus aangepast wordt, waarom vallen zoveel tweakers erover? Is het angst om een voordeel kwijt te raken? Het hebben van een voordeel als normaal zien, zodat het rechtzetten van een ongelijkheid aanvoelt als onderdrukking, omdat het 'voordeel' kwijtraakt? Ik lees dan posts over dat er een 'heksenjacht' gaande is, of dat we allemaal 'woke' worden, ik zou bijna denken dat het einde der tijden nabij is, en nog wat slippery slope argumenten. Maar er wordt simpelweg gewerkt aan een twitter bias.

[Reactie gewijzigd door saren op 25 juli 2024 20:05]

[Frituurman]

Ik ben juist niet geagiteerd. Dat word ik wel lichtelijk door je opmerking over dat je me overschat. Jammer dat het op de persoon moet; nogmaals: garbage in, garbage out. Ik kan met allerlei 'feiten' wat cherrypicking toepassen (blijven nog steeds feiten, alleen niet álle) en die in een algoritme gooien waardoor er biased vooringenomen output uitkomt. Dat maakt de algoritme niet biased. En het punt van The_Woesh is juist dat algoritmes áltijd biased vooringenomen zijn t.o.v. minderheden (letterlijk zijn/haar woorden). Dat is onjuist. Ik vind het jammer dat mensen altijd de racisme-kaart spelen of whatever. Of denken dat je 'je voordelen bang bent kwijt te raken'. Nee, dat ben ik niet. Het is niet altijd zwart of wit. Soms is er ook wat grijs gebied hoor. Heeft niets met racisme, wokeness of een heksenjacht te maken. Waarom moet je juist, als je het ergens niet volledig mee eens bent (met bijvoorbeeld een 'links' standpunt), dan gelijk tot de oppositie (e.g. 'rechts') behoren? Ik vind dat een heel nare eigenschap, dat hokjesdenken.

EDIT: Dan moet ik nu wel 'vooringenomen(heid)' gaan gebruiken ipv die Engelse term.

[Reactie gewijzigd door Frituurman op 25 juli 2024 20:05]

[saren]

Met andere worden de feitelijke waarheid doet er niet toe, algoritmes moeten laten zien wat een bepaald deel van de samenleving als wenselijk ziet. Veel meer woke dan dat gaat het niet worden...

Het is ook je reinste onzin. Ik wil helemaal niet dat iemand voor mij bepaald wat ik wenselijk moet vinden of niet. Ik wil de feitelijke waarheid weten.

Dat sommige mensen daar niet mee kunnen leven en alles maar "equal" willen (grappig genoeg gaat die "equality" die deze groep zo graag wil juist maar een kant op...)... Tja ik denk dat sommige mensen maar eens moeten leren een beetje ruggegraat te tonen. Nee, niet de hele wereld hoeft te denken zoals jij en alleen omdat jij iets racistisch of onrechtmatig is betekent niet dat dat ook zo is en dat iedereen zich maar aan nou moet aanpassen omdat je je anders zwaar beledigd voelt.

Weg met al die woke onzin en figuren met anderhalve werkende hersencel.

Als jij op een dag aan de receiving end van zo een algoritme zit, wil ik je nog wel eens over 'woke' zien zeuren. Maar nee, zo lang men zelf ergens geen schade van ondervind, blijven we alles goedkeuren. Heeft de medemens er last van? Die zijn allemaal 'woke'. Die onverschilligheid die ik bij jou en vele andere zien, verklaart ook perfect waarom een kabinet zo schandeloos te werk kon gaan met de toeslagenaffaire, en een paar maanden na de val gewoon herkozen wordt. Butein wat nieuws af en toe dat de BD er nog steeds een potje van maakt, hoor je er niks meer over.

Gebaseerd op je toon en je comment ontbreekt het je aan elk greintje empathie, en elke poging om een objectief bepaald misstand recht te zetten wordt op de 'woke' bandwagon gegooid. Wat jammer, die verharding in de nederlandse samenleving. Maargoed, jij bent daar vast een slachtoffer van. Die anderen hebben het gedaan, nietwaar?

[Reactie gewijzigd door saren op 25 juli 2024 20:05]

[t_o_c]

Je hebt het over objectief zijn maar wil vervolgens zelf resultaten zo beïnvloeden dat ze overeenkomen met wat jij wenselijk vind...

Om bij het CEO voorbeeld te blijven, en ik ben geen CEO dus het maakt mij verder weinig uit, als de meerderheid nou eenmaal blanke mannen blijkt te zijn, waarom zou er dan bijvoorbeeld een disproportioneel aantal niet blanke CEO's moeten worden getoond? Omdat een bepaalde groep anders het idee heeft dat zij geen CEO kunnen worden ofzo?

Ik zie niet in waarom dat zou moeten.

Om even een ander voorbeeld te geven, als ik naar rappers zoek krijg ik bijna alleen maar foto's van donkere rappers, zelfs Eminem zit niet bij de eerste paar pagina's. Is dat dan ook discriminatie of racisme? Moet dat algoritme ook zo worden aangepast zodat er een eerlijke hoeveelheid donkere, blanke, Aziatische etc. rappers worden getoond?

Of is in dat geval iedereen opeens zo realistisch dat we allemaal zeggen dat het niet vreemd is omdat de overgrote meerderheid van de rappers nou eenmaal een kleurtje heeft en maken we er geen probleem van?

Positieve discriminatie en racisme zijn net zo erg als de negatieve varianten.

[nst6ldr]

Positieve discriminatie en racisme zijn net zo erg als de negatieve varianten.

Positieve en negatieve discriminatie bestaan niet, slechts discriminatie. Door 'positief' en 'negatief' erbij te betrekken maak je juist bespreekbaar wanneer het wel of niet gewenst is, terwijl we volgens mij als maatschappij hadden afgesproken dat we discriminatie op afkomst niet meer wilden (en dat werkt dus twee richtingen op).

[barefoot]

Ok, als ik deze redenering doortrek, vind je dan dat als er een fenomeen in de samenleving bestaat dat racistisch is, bijvoorbeeld er is een onterecht vooroordeel waardoor mensen met een bepaalde huidskleur langere celstraffen krijgen voor dezelfde misdaad, dat een algoritme dit vooroordeel ook moet bevatten? En wat is dan precies de beschrijving van "de feitelijke waarheid"?

[PV85]

Als dat algoritme wordt ingezet om te voorspellen hoelang de celstraf gaat worden, dan is er niks mis mee.
Dus zolang je enkel wilt voorspellen met het algoritme, is de feitelijke waarheid juist handig en heb je die bias nodig.

Zodra je er beslissingen gaat maken op basis van dit algoritme, bijvoorbeeld cellstraffen gaat bepalen, dan moet je oppassen, want dan wil je juist geen bias omdat je op basis van fouten uit het verleden gaat handelen in het nu.

Of je bias wilt elimineren hangt dus helemaal af van het doel van het algoritme. Neemt niet weg dat je dus erg goed moet opletten op het toepassen van algoritmes.

[Reactie gewijzigd door PV85 op 25 juli 2024 20:05]

[t_o_c]

De feitelijke waarheid lijkt mij vrij duidelijk toch?

Het is warm (want de thermostaat geeft 35 graden aan).
Ik krijgt een boete voor te hard rijden (want ik ben geflitst).
Etc.

Een strafmaat lijkt mij een heel ander verhaal. Volgens mij is in Nederland de strafmaat wettelijk vastgelegd met speelruimte afhankelijk van omstandigheden, eerdere veroordelingen etc.

Als je een algoritme wil om strafmaat de bepalen dan neem ik aan dat je dat baseert of de regels zoals die zijn vastgelegd in de wet en de kleur van iemand daar niet in meeneemt. Dat doet de wet immers ook niet.

[barefoot]

Die aanname van baseren op regels in de wet klopt dus niet. Dat is het hele punt van dit soort discussies. Vaak zit die bias niet expliciet in huidskleur, maar wel in data die daarmee correleert (zoals postcodegebied). Zie bijvoorbeeld https://www.propublica.or...mpas-recidivism-algorithm e.v.a.

[batjes]

Wel als je alleen CEO's van westerse bedrijven gaat gebruiken om te trainen. Weinig blanke oude mannen als CEO's bij bedrijven in Azië, Zuid-Amerika, Midden-Oosten of Afrika.

Dan is het algoritme biased omdat je daar zelf voor gekozen hebt.

[HellFury]

't Is maar een gokje, maar ik denk dat je meer oude witte CEO's ziet in Afrika, dan oude zwarte CEO's in bijv. Europa. Onder aan de streep blijft die bias dus bestaan.

[batjes]

Aanname, kom met voorbeelden of bronnen dan. Want zo ver ik weet zijn de meeste Afrikaanse bedrijven gewoon ... Afrikaans.

https://whownskenya.com/i...-ceos-in-kenya-2020-2021/
3 van de 20. Even zo maar een Afrikaans land dat best goed op weg is en een best sterke economie heeft. Geen idee of ze daar geboren zijn, anders zijn ze ook gewoon Afrikaans toch? Of moeten Afrikanen per sé gekleurd zijn?

https://victor-mochere.co...st-paid-ceos-in-the-world
Van de westerse bedrijven zijn er 4 van de 20 niet blank.

Even een snelle duckduckgo schetst niet het beeld wat jij "gokt".

[Reactie gewijzigd door batjes op 25 juli 2024 20:05]

[jpsch]

Wie bepaalt wat wit of zwart is? Moet er een kleurenstaaltje naast of schedelmeting?

[Navi]

Gewoon een RAL kleurenwaaier erin programmeren toch?

[R.Mats]

Batjes zegt toch ook niet alleen Europa en Afrika?

Weinig blanke oude mannen als CEO's bij bedrijven in Azië, Zuid-Amerika, Midden-Oosten of Afrika.

Het is dus alleen biased als jij zelf 3 van de 4 eruit laat.
Met deze input zul je veel meer voorkeur zien voor Azietische CEO's.

[realmadridsi]

Naast het feit dat het aantal grote bedrijven in Afrika minimaal is vergeleken bij Europa/Amerika, dus nog steeds zal het biased zijn. En als het dan niet over de huidskleur gaat dan zal het alsnog een man zijn.

[Anoniem: 696166]

Een algoritme discrimineert altijd minderheden, dat heeft niks met biased training te maken.

Dat lijkt me een vooroordeel...

[mbb]

De fout zit ook in dat je een onvolledige dataset opneemt; je neemt namelijk alleen de 'witte oude mannen' op die CEO zijn, en niet de veelvoud ervan die o.a. hun pensioen aanvullen met vakkenvullen; je algoritme heeft dus geen methode om te realiseren dat uiterlijk geen relevante variabele is. (waarom zou je überhaupt op foto's trainen voor een functie ipv op CV?

[cariolive23]

Discriminatie die al in het systeem zit, zal door een "goed" algoritme keurig worden gekopieerd. Je zal input moeten kiezen die niet of minder gevoelig is voor bias. Eenvoudig is dat niet, want zelfs de universiteit die je hebt gedaan, kan al een vorm van bias zijn: Dure (en goede) universiteit is onbereikbaar voor het armere deel van de bevolking. En waarom zijn ze armer? Minder kansen gehad in het verleden, bijvoorbeeld door discriminatie.

Het is niet een probleem dat even snel kan worden opgelost, maar ik heb wel goede hoop dat het de komende jaren/decennia beter en mooier zal gaan worden. Zo zie je anno nu al veel meer vrouwelijke CEO's en andere boardroom leden dan 20 jaar geleden.

[Guru Evi]

Misschien heeft het ook te maken dat er in de westerse wereld minder zwarte mensen zijn? Een CEO in Afrika of de rijkste mensen in de entertainment industrie gaan ook vaker zwart zijn. Het hangt er allemaal vanaf hoe je het probleem opsnijdt, want statistisch gezien kun je alles beweren.

In Amerika bijvoorbeeld is 12% van de bevolking zwart, in de top 10 bedrijven In de VS vind je 1 zwarte mens als CEO. Ik weet niet waar je 1.2 zwarte mensen gaat vinden in een set van 10. Niet alleen dat, maar in dezelfde set heb je 3 mensen van India (Adobe, Google en Microsoft) en 1 Afrikaan (Elon Musk).

40% van de top CEO is dus niet eens wit-Amerikaans en er is geen enkele Spaans (een ander groot deel van de Amerikaanse bevolking).

Als je dat te weinig racisme vindt, misschien kun je een ander doel stellen, maar de top 10 zorgt wel voor 50% van de omzet.

[Reactie gewijzigd door Guru Evi op 25 juli 2024 20:05]

[n4m3l355]

Uiterlijk heeft uiteindelijk impact ongeacht welke positie op hoe succesvol diegene zal zijn al zijn de verschillen betrekkelijk normaliter maar ... (hier kijk ik naar mijn eigen sales team) wat als ik nou een AI loslaat op foto's + resultaten op sales mensen, dan zou het mij niet verbazen dat veelal knappere mensen hier succesvol zijn. Ze mogen misschien niet de slimste zijn, maar dat is specifiek voor deze positie niet het hoofd kenmerk. En daar gaan dit soort vraagstellingen vaak scheef. In een ideale wereld zou iemands uiterlijk er niet aan toe doen, maar de realiteit is vaak is dit toch het geval. En dan kunnen we wel hoog van de toren roepen dat dit discriminatie is, maar het is gewoon heel vaak het geval.

Dat wilt niet zeggen dat lelijke mensen geen succes kunnen hebben als sales zijnde, maar als ik erop uit ben om een sales aan te nemen dan moet diegene extra diens best doen om mij te overtuigen om aangenomen te worden.

[Brandforward]

Wel als je het algoritme voedt met Google Images want dat is al een algoritme op zich (voorselectie). Als je begint met oude, jonge, mannelijke, vrouwelijke, blanke, zwarte, gele CEO’s (en alles daar tussenin) dan krijg je hele andere output.

Bij Google (images) draait alles om CTR (doorklikratio). De redenatie is dat als mensen zoeken (bijv CEO) en veel klikken op blanke oude mannen in de resultaten dat er een link is tussen hetgeen iemand zoekt en het zoekresultaat (blanke oude mannen). Dat een CEO blank en oud is zit tussen de oren van de mensen lokaal. (De trainers)

Het algoritme is dus niet biased maar de training in veel gevallen wel tenzij je de training doet vanaf veel locaties. Mensen in bijv China zullen op andere resultaten klikken dan Nederland tijdens de training.

[Fluttershy]

Het algoritme is dus niet biased maar de training in veel gevallen wel tenzij je de training doet vanaf veel locaties. Mensen in bijv China zullen op andere resultaten klikken dan Nederland tijdens de training.

Mensen in China krijgen een dikke 404 als ze Google Image Search willen gebruiken, lijkt mij...

[Brandforward]

Ik weet niet of ze een 404 voorgeschoted krijgen maar wellicht dat de Chineese overheid het algoritme nog iets extra ‘getraind’ heeft. 🤓

[nvdhulst]

Dat is niet de schuld van het algoritme, maar komt doordat je een dat algoritme laat kijken naar uiterlijke kenmerken. Als je zo'n algoritme dus baseert op zo'n beperkte set informatie (enkel een foto), kom je per definitie op een bevooroordeeld systeem uit.
En hoewel jouw voorbeeld overgesimplificeerd en wellicht wat extreem lijkt, vrees ik dat dit niet zo ver af staat van hoe dit in de praktijk werkt in veel gevallen, bij zowel geautomatiseerde als menselijke oordelen.

[Alxndr]

Als je een algoritme al voor zoiets gaat proberen te gebruiken, waar het helemaal niet geschikt voor is, moet je in ieder geval niet alleen foto's van ceo's van in Europa/VS beursgenoteerde bedrijven gaan gebruiken, dat is de bias die jij er dan in stopt. Gebruik dan ook de beurs van Afrika, Azië en Zuid Amerika en je zult letterlijk en boel kleur terugvoeren.

Maar zoals ik zeg, je gaat volgens mij al eerder de mist in, hoezo ceo's herkennen? Alsof een ceo typische uiterlijke kenmerken heeft. Misschien als je zijn/haar maatpak, soort auto, bezochte hotels/restaurants mee gaat nemen, dat je ergens in de buurt komt, maar het slimste zou zijn gewoon die persoons naam Google-en, CV checken of ff de KvK contacten

Wat ik bedoel te zeggen, een algoritme me is niet overal de oplossing/het beste gereedschap voor

[Basszje]

De mens ook niet . Als je in pak met een ego vanaf de voordeur en een (gehuurde) dure auto aan komt zetten, neemt men ook wel van je aan dat je wat belangrijks bent.

Probleem is natuurlijk dat precies dat automatisme ook doorsijpelt in algoritmes die dan dezelfde aannames overnemen. Ook gevaarlijk, want je pikt de goedgeklede persoon met slechte intenties niet eruit, maar loopt wel het risico dat andere mensen constant aan controle worden onderworpen, omdat er een of ander vooroordeel in het systeem hangt .

[Bart ®]

Des te belangrijker om zo veel mogelijk mensen met verschillende biases ergens naar te laten kijken, om er zo veel mogelijk uit te halen .

[sircampalot]

Inderdaad. Algoritmes worden getraind op oude data, en dus met een verouderde tijdsgeest.

Als we morgen iets wel of niet vinden kunnen, dan vindt een AI dat pas over een tijdje zo. Tot die tijd vinden wij die AI ouderwets of zelfs discriminerend.

[OldSchoolPhoto]

De lijn tussen gelijkheid en positieve discriminatie is heel dun, positieve discriminatie is ook discriminatie, daar is niks positiefs aan. Of iets discriminerend is, is idd afhankelijk van de tijdgeest. Mooi dat Twitter hier geld tegenover zet. De gemeenschap gaat (conflicterende) input geven. Laat het aan de geschiedschrijvers uit de toekomst over om daarop vanuit hun tijdgeest weer te reflecteren…

[sampoo]

Een algoritme wordt door mensen gemaakt en hebben daardoor altijd een bias, zelfs nog voor het getraind wordt. Al was het maar door het toekennen van gewicht aan de ene variabele en minder aan de ander.

[jeroen_loeffen]

Wat ik me afvraag is hoe de "gemiddelde" twitteraar eruit ziet. Wanneer die 65% blank, 55% man, 75% heteroseksueel enzovoorts, zou het algoritme daar dan ook geen rekening mee gaan houden?

[Fluttershy]

Dat is ondertussen ook het punt; Twitter wilt het interne gelijkheidsbeginsel aanpassen van gelijkheid van kansen tot gelijkheid van uitkomsten. U krijgt dus niet langer resultaten op basis van wat u zoekt, maar op basis van wat Twitter wilt dat u zoekt.

[WokeBroke]

Ik vraag me altijd af hoe het algoritme bepaald welke tweets er bij een zoekopdracht bij "top" tweets komen te staan. En de eerste paar reacties onder een populaire tweet. Soms zie je een populaire tweet met eerst een paar hele correcte reacties er onder, zonder veel likes of retweets.

[Sinnergy]

Vraag me af of ze bepaalde 'bias' gaan erkennen en dat je dus niet kunt gebruiken in uw 'report'.

Bvb bias tegen tweets van nieuwe accounts, accounts zonder volgers etc (want dat is ook een bias).
Bias tussen 'verified' en 'non verified' twitter accounts etc...

Ik ga er dus vanuit dat twitter zelf met een grote lijst van 'uitzondering' gaat afkomen met 'toegelaten bias'.

[Dauthi]

Goh, ik heb het eerste vooroordeel al gevonden, twitter dat weigert uren uit te betalen voor arbeid. ipv experts in te huren een prijsvraag uitschrijven, hoeven ze maar 1 iemand voor zijn tijd en moeite te betalen...

[halofreak1990]

Tsja, als je met een 'engagement' algoritme werkt, dan krijg je per definitie dit soort problemen. Alles draait om mensen in hun bubbels houden en zoveel mogelijk tijd op de betreffende media te laten doorbrengen. Dat kan niet zonder een opzettelijke bias en ik betwijfel dan ook ten zeerste of hier iets zinnigs uit komt.

[RM-rf]

Vooroordelen zijn niet slecht, en kunnen bv best juist zijn en gebaseerd op feiten, vaak zijn ze dat ook (bron: Anne Frank stichting: https://www.annefrank.org...roordelen-en-stereotypen/ )...
Een voorbeeld van vooroordelen is dat een bovenmatig aantal jonge straatcriminelen een allochtoonse achtergrond hebben, dat is zowel een vooroordeel alswel dat er harde feiten zijn die ook dat onderleggen.

eigenlijk is een Algoritme ook niet anders dan een grote verzameling vooroordelen.

probleem kan voral ontstaan als men gaat handelen op basis hiervan... dit kan vaak handig lijken te zijn, zeker bij schaalvergroting en automatisering kan men snel veel breder handelen en zeker initieel ook een redelijk hoge effectiviteit bereiken.


Zou bv de politie bij voorbaat in grote stedn alle jonge allochtonen oppakken en opsluiten/deporteren, zou dat zeker een invloed op straatcriminaliteit hebben... enkel daarvoor moet men dan accepteren dat ook een substantiele groep onschuldigen slachtoffer van een generalisatie wordt... en in het Vrije Westen hebben we nu juist besloten dat dat niet moet mogen; Dat men bewuste een hele groep criminaliseeert, enkel omdat een deel ervan mogelijk bovenmatig verkeerdere dingen doet,

En daarom is ook beleid voeren op basis van vooroordelen niet toegestaan...
Maar momenteel met Algoritmes hebben veel bedrijven het toch tot een bestuursvorm gemaakt, vooral omdat dan een Mens die beslissing niet neemt, maar computers.
En vaak de algoritmes ook ondoorzichtig en transparant zijn en je pas merkt hoe ze werken, als ze uitgevoerd worden.

Ook nu lijkt Twitter helaas de taak dit op te sporen bij buitenstaanders te leggen, die de fouten in hun eigen systeem moeten opsporen.
Veel zinniger zou eigenlijk zijn o bedrijven zelf ook verantwoordelijk te maken voor het gedrag van hun eigen algoritmes en ook bij strafbaar gedrag (wat discriminatie eigenlijk is) ook verrantwoording te laten dragen.
Sowieso lijkt het noodzakelijk dat er strengere regels komen voor de ontwikkeling van AI en algoritmes en haar gevolgen, des te sterker deze menselijke taken en beslissingen overnemen, des te sterker moet de creator of beheerder ook verantwoording dragen als deze Algoritmes fouten maken waarvoor mensen ook bestraft kunnen worden.

[Crisium]

Dat is wel monikkenwerk om na te gaan. Bij machine learning laat je in principe het netwerk zichzelf updaten. De manier waarop dit plaats vindt is verre van intuïtief, maar wel wiskundig verdedigbaar.

Per plaatje zal er er bijvoorbeeld per pixel en voor ieder kleurkanaal gezocht worden naar een "recept" dat voor alle bekende categorieën het hoogste onderscheid biedt per categorie. Tegelijkertijd wil je het netwerk ook om kunnen laten gaan met plaatjes waarmee het niet getraind is, wat er vaak op neerkomt dat het ook weer niet te specifiek mag indelen. Mede als gevolg hiervan vinden soms verkeerde classificaties plaats en het is ook maar de vraag of je dat er uit kunt krijgen.

Het lijkt soms of men juist een menselijke bias in het netwerk wil introduceren, in plaats van er uit halen.

Voor gezichten speelt er nog iets mee, namelijk dat een van de meest efficiënte manieren om gezichten te ontdekken in een afbeelding, gebruik maakt van het relatieve contrast in het gezicht. Ik kan mij goed voorstellen dat dit bij donkere mensen minder is. Aangezien processorkracht voor geavanceerdere manieren voor gezichtsherkenning snel goedkoper wordt zal dat probleem snel tot het verleden horen vermoed ik.

PS wat zijn toch die "witte" mensen? Albinos o.i.d.? Blanken kunnen het niet zijn, die zijn niet wit.