Facebook gaat met eigen teams discriminatie in algoritmes onderzoeken

Facebook gaat zelf onderzoeksteams opzetten die de algoritmes van het sociale netwerk zullen bestuderen. De onderzoekers gaan kijken of de algoritmes discriminerend zijn voor minderheden, zowel bij Facebook zelf als bij dochterbedrijf Instagram.

Het gaat om verschillende groepen die binnen het bedrijf onderzoek gaan doen, schrijft The Wall Street Journal. De groep bestaat al binnen Instagram, maar er wordt ook binnen Facebook zelf een groep opgezet. Het 'gelijkheidsteam', zoals het intern wordt genoemd, moet ervoor zorgen dat 'gelijkheid en eerlijkheid worden toegepast in alle producten die Facebook ontwikkelt', zegt het bedrijf tegen The Verge. Het team gaat nauw samenwerken met een soortgelijk team binnen Facebook: Responsible AI.

Het team gaat de effecten bestuderen van de gebruikte algoritmes binnen Facebook en Instagram op minderheden, zoals zwarte mensen en latino's. Het team bestaat zelf uit minderheden en experts. Er zijn verschillende problemen met de kunstmatige intelligentie van Facebook. Zo zouden profielen van zwarte gebruikers sneller worden afgesloten dan die van anderen. Het onderzoeksteam kijkt niet alleen naar de uitkomsten van de algoritmes, maar ook naar de input die de algoritmes hebben gekregen.

Facebook zou met het interne team reageren op onder andere de recente advertentieboycot van grote bedrijven. Er zijn inmiddels tientallen bedrijven die zich bij die boycot hebben aangesloten, al valt het effect op de omzet voor Facebook vooralsnog mee. Facebook ligt ook al langer onder vuur vanwege zijn standpunt in het publieke debat. Zo heeft Mark Zuckerberg meer dan eens gezegd dat Facebook politici niet factcheckt en dat het 'niet de scheidsrechter van de waarheid' wil zijn.

Reacties (105)

[BLACKfm]

Lol. hoe de f*ck programmeer je een 'algoritme' wat op basis van kleur een account (eerder) afsluit?
Of is die 'AI' al net zo bevooroordeeld als dat mensen zijn?

Of is het net als met de representatie in de criminaliteitscijfers, dat die bewuste mensen ook gewoon daadwerkelijk de regeltjes zodanig verbreken dat het gewoon terecht is dat de accounts worden afgesloten?

Wat er ook uit dit onderzoek komt, de conclusie 'Het is geen racisme, het is gewoon feitelijk zo dat de bewuste groep zich niet aan de regels houdt' zal het nooit worden. Stel je voor dat het vooroordeel ineens een feit zou gaan worden...

[Reactie gewijzigd door BLACKfm op 22 juli 2024 19:38]

[Yggdrasil]

Het gaat vaak fout bij het trainen van 'AI' of Machine Learning algoritmes. Die worden immers getraind op basis van datasets voordat ze worden losgelaten in de werkelijke wereld. Het komt bijvoorbeeld voor dat in de datasets die beschikbaar bepaalde bevolkingsgroepen ondergerepresenteerd zijn. Ook worden datasets vaak van tevoren opgeschoond door mensen voordat ze bruikbaar zijn voor training. Die mensen kunnen (onbewust) hun persoonlijke bias daarop toepassen.

Hier is een lijstje van de meest voorkomende vooroordelen in data voor machine learning: https://lionbridge.ai/art...bias-in-machine-learning/

Dit vond ik ook een mooi artikel omdat het waargebeurde gevallen van bias beschrijft, die laten zien hoe makkelijk het mis kan gaan: https://towardsdatascienc...ning-project-75959af9d3a0

[RWasseneuseraar]

Dat is inderdaad een van de hoofdoorzaken, of misschien wel de hoofdoorzaak.

Echter, dan zijn we er nog niet. Alsnog kan met betere of zelfs perfecte data de AI tot conclusies komen die waarheidsgetrouw zijn, maar sociaal ongewenst.

Stel je laat een AI door een bak van 100.000 kandidaten speuren voor een zeer specifieke job. De sociaal gewenste uitkomst is uiteraard exact gelijke bakjes aan "winners" verspreid over geslacht en ras.

Wat dus absoluut niet het antwoord van de AI gaat zijn. Die gaat misschien wel 10% meer mannen voorselecteren. In het huidige hysterische klimaat onacceptabel, maar het kan wel degelijk waar zijn, of zo waar mogelijk.

Als vervolgens de stuipreactie is om AI uitkomsten aan te passen aan gewenste uitkomsten, staat je aanpak haaks op het doel van AI.

[wjn]

Elk AI algoritme "discrimineert", dat is immers het doel van een algoritme. "Onderscheid maken".
(Kort door de bocht dus, maar een algoritme moet keuzes maken, een keuze kan alleen maar gemaakt worden op bepaalde kenmerken, die dus onderscheiden moeten worden. Wiskundig gezien discrimineren.)

Jammer dat discriminatie zo een negatieve toon gekregen heeft, omdat sommige mensen zorgvuldig woorden als bijvoorbeeld racisme en narcisme willen vermijden (terwijl ze eigenlijk dat bedoelen).

[BLACKfm]

Dus nu is er een systeem dat ogenschijnlijk discrimineerd, en vervolgens wordt het systeem aangepast door een mogelijk minder positief beeld van witte mensen neer te zetten of zo nodig een positiever beeld van de gekleurde medemens.

Op een gegeven moment is er een balans waardoor de uitkomst kan zijn dat profielen met een blanke of zwarte profielfoto nagenoeg evenveel worden verwijdert. Maar vervolgens is de input zodanig aangepast dat vrouwen het 'doelwit' van het systeem worden, mensen die een BWM rijden of die selfie-profielfoto hebben met een appletelefoon (via de spiegel).

Dan heb je op een gegeven moment een systeem die niks meer flagged en niemand tegen de schenen schopt....een syteem waar de huidige real life maatschappij eigenlijk een beetje naartoe moet aldus 'enkele'.

Mij lijkt het noodzakelijk dat een dergelijk systeem de kinderporno, live aanslagen en onthoofdingsvideo's (en al het andere 'extreem onwenselijke' materiaal) van facebook afhaalt en niet gaat kijken of je profielfoto zwart of wit is.

Dat laatste is overigens maar 1 variabele die waarschijnlijk in een hele waslijst aan checkboxes kijkt of het profiel aan de eisen van facebook voldoet.
Er zijn blijkbaar mensen die zich hebben gemeld dat hun accounts zomaar weg zijn, maar wie zijn deze mensen en op basis van welke andere gegevens is het systeem tot de conclusie gekomen dat het account maar van facebook moest?

Ik vind de 'Etnisch profileren door politie' uitzending van Arjen Lubach altijd leuk om aan te halen. Waar 40% even teruggebracht werd tot een handjevol -twijfelachtige- gevallen. Waar de beklaagde zich altijd ronduit uitten over hoe benadeeld ze worden en dat in de praktijk vervolgens helemaal niet blijkt.

Nu heeft Facebook niet bepaald een lekkere trackrecord op welk gebied dan ook, maar kan mij moeilijk voorstellen dat enkel op basis van dat de gebruiker zwart is een profiel eerder wordt afgesloten.

Beetje zoals diverse filmpjes op dumpert bijvoorbeeld waar (nederlandse) mensen hardhandig door de politie worden afgewerkt. Om dan de provocatie en alle ellende die er vooraf ging maar even niet in dat filmpje te zetten. Filmpjes waarbij de 'simpletons' gelijk moord en brand schreeuwen van politiegeweld, en de wel ingelichte mensen wel zien waarom het zo misgaat en het eigenlijk toch de eigen schuld bleek.

En het zal vast ook wel mijn bias zijn dat ik er zo over denk, maar dat wordt echter ook weer heel vaak bevestigd.

Ik werk niet bij Facebook, en kan daarom ook niet goed concluderen waarom het zo gebeurd. Daarom zullen ze er ook wel een team op zetten om het uit te zoeken (voor de bühne??). Maar ik mag wel hopen dat ze die 'onterecht' verwijderde profielen wel even met eigen ogen hebben doorgelicht of het ook daadwerkelijk onterecht was.
Maar ik kan je op een briefje geven dat zulke onderzoeken en/of resultaten vanuit Facebook nooit naar buiten gaan komen

[Reactie gewijzigd door BLACKfm op 22 juli 2024 19:38]

[Bender]

Interessante visie, maar je AI zou op basis van ondergerepresenteerde data juist ook correcte beslissingen moeten maken lijkt mij?
Anders faalt de AI per definitie al.

[t link]

Nee dat doet die dus niet. AI ziet misschien verbanden die er helemaal niet zijn. als je een AI trained om bijvoorbeeld te voorspellen wat global warming zal zijn afhankelijk van het aantal piraten. historisch gezien zal die AI misschien 99% accurate voorspellingen kunnen doen, maar dat is puur toeval omdat klimaat verandering op geen enkele significante manier beinvloed word door de hoeveelheid piraten.

AI en algoritmes zijn geen wondermiddel, ze zijn zo goed of slecht als je dataset. hetzelfde zien we in de wetenschap, veel medisch onderzoek wordt gedaan op blanke mannen. in de psychologie is het al helemaal erg aangezien je daar voor je opleiding vaak verplicht mee moet doen aan onderzoeken omdat er anders gewoon te weinig mensen zijn. dan krijg je natuurlijk totaal onrepresentatieve data, maar vervolgens worden daaruit wel conclusies getrokken die naar de gehele bevolking worden uitgewerkt. dat veroorzaakt behooorlijk wat problemen allemaal.

[ion]

Vergeet historische biases niet. Dit is ook een van de redenen waarom transparantie belangrijk is bij AI algoritmes.

[TheekAzzaBreek]

De patroonherkenning die we tegenwoordig AI noemen wordt getraind met data. Daardoor is het resultaat net zo biased als de training dataset.

[Cergorach]

Ik ben met je eens dat een dataset een bias kan hebben, maar ik verwacht niet dat de huidige AI een vooroordeel kan vormen zoals mensen dat doen. En programma doet dat of basis van aangeleverde data, mensen nemen daar andere zaken in mee die niet in een programma zitten. Zaken zoals "anders dan ik".

[CAPSLOCK2000]

Ik ben met je eens dat een dataset een bias kan hebben, maar ik verwacht niet dat de huidige AI een vooroordeel kan vormen zoals mensen dat doen. En programma doet dat of basis van aangeleverde data, mensen nemen daar andere zaken in mee die niet in een programma zitten. Zaken zoals "anders dan ik".

Die keuzes spelen wel een rol in welke data ze aanleveren en over welke data ze beschikken.

Een ander groot probleem is dat AI geen inzicht heeft. Concreet ziet een AI geen verschil tussen correlatie en causatie. Een AI kan concluderen dat mensen van meer dan 100 jaar oud heel gul zijn want ze geven al hun bezittingen weg, terwjil babies nooit iets geven. De AI snapt niet dat die oude mensen dood zijn gegaan en hun bezittingen niet meer kunnen houden terwijl babies helemaal geen bezittingen hebben om weg te geven.

Als we dat principe toepassen op criminaliteit krijgen we helemaal bizarre situaties. Babies zijn nog nooit veroordeeld voor een misdaad, terwijl bejaarden (die al een heel leven geleefd hebben) meer dan gemiddeld vaak ooit in hun leven met de politie te maken hebben gehad. Geen mens komt dan op het idee dat je alle politieagenten in het bejaardentehuis moet opstellen, maar een AI wel.
Als je toch alle politieagenten naar het bejaardentehuis stuurt zul je daarna ook alleen nog maar bejaarden boeven pakken, want de rest van de samenleving wordt niet meer gecontroleerd. Dat is mooi want dan laten de cijfers zien dat je gelijk had: alle veroordeelde criminelen zijn bejaard.

Hetzelfde principe speelt ook op andere gebieden en als het gecombineerd wordt met een klein beetje vooroordelen of discriminatie heb je al snel een zichzelf versterkend effect. Mensen beseffen dat soms en kunnen afstand nemen van de situatie en er op grond van "boerenverstand" nog een keer na te denken of de resultaten wel ergens op slaan of niet;. Een AI kan dat niet en zal zich stug aan de cijfers houden.

[shades]

Precies de reden waren AI zo eng is. Het is letterlijk een wereld van enen en nullen. Goed of Fout, Zwart of wit, racistisch of niet. Er kan kennelijk geen nuance of something in between worden herkend of bepaald.

[Donvermicelli]

Precies de reden waren AI zo eng is. Het is letterlijk een wereld van enen en nullen. Goed of Fout, Zwart of wit, racistisch of niet. Er kan kennelijk geen nuance of something in between worden herkend of bepaald.

Dit is volstrekt onwaar. Het is prima mogelijk een algoritme zo in te stellen dat hij een bepaalde kans geeft. Dan is je uitkomst bijvoorbeeld 0.03451. Oftewel een bepaalde mate van zekerheid. Dan is je antwoord niet waar of onwaar maar juist: Er is een redelijke kans.

Het probleem zit hem juist veel vaker in de laatste eind stap: Wat doet de mens met de berekende data? Hoe wordt deze ingezet?

[hoeksmarp]

Als dat de conclusie is die je trekt uit het verhaal van @CAPSLOCK2000, dan heb je de clue wel gemist. Het probleem is de aangeleverde data en dat een AI alleen zwart/wit ziet is pertinent onwaar. Dat hangt volledig af van hoe het gemaakt is, dus net zo zwart/wit als sommige mensen/menselijke systemen.

[hoeksmarp]

Als de dataset door mensen geproduceerd is kan dat zeker wel. Als mensen harder hebben gezocht naar positives in een bepaalde groep, dan bevat de dataset ook een relatief groot aandeel positives uit die groep. Dit kan het algoritme leren dat positives vaak uit die groep komen en zo is een discriminerend algoritme geboren.

[ocrammarco]

Of steeds meer inzoomt op bepaalde resultaten en deze weer meeneemt in de volgende run.

[AmigaWolf]

Ben heel erg blij dat ik geen Facebook heb en Twitter, maar voor de mensen die het wel hebben woorden die twee steeds moeilijker om er iets te plaatsen, want o wee als je iets plaats wat iemand of Facebook hate speech vind, of racism, wat tegenwoordig bijna ALLES betekend, woord je account verwijdert, het woordje racisme betekend jammer genoeg tegenwoordig niks meer.

En zo als TheekAzzaBreek al zegt "De patroonherkenning die we tegenwoordig AI noemen wordt getraind met data. Daardoor is het resultaat net zo biased als de training dataset."

[Reactie gewijzigd door AmigaWolf op 22 juli 2024 19:38]

[t link]

Dit is echt de grootste onzin ooit. je kan zo makkelijk vanalles plaatsen op twitter en feestboek. als je alleen dingen gaat zeggen als "groep x wil ik liever niet meer hier" krijg je misschien een probleem, maar een groot gedeelte daarvan blijft ook gewoon bestaan. het is vaak het echt giftige gedrag wat lijd tot verwijdering. ik snap ook niet hoe je die conclussie kan trekken als je zelf geen twitter en facebook hebt! dan zie je toch ook niet wat iemands gedrag online was voordat hen account verwijderd werdt?

[StefanDingenout]

Dat verwacht je dan verkeerd. Het is al meerdere keren in het nieuws gekomen dat getrainde AI's per ongeluk racistisch waren, ook al waren de mensen die de AI trainden er van overtuigd dat ze unbiased data aan de AI gaven.

[TheekAzzaBreek]

Ik ben met je eens dat een dataset een bias kan hebben, maar ik verwacht niet dat de huidige AI een vooroordeel kan vormen zoals mensen dat doen. En programma doet dat of basis van aangeleverde data, mensen nemen daar andere zaken in mee die niet in een programma zitten. Zaken zoals "anders dan ik".

Nou, 'anders dan mijn dataset' komt toch al best in de buurt.

En zou aan de kant gezet worden door een biased algoritme minder erg zijn dan aan de kant gezet worden door een biased agent?

[pietjepuk369]

AI en patroonherkenning is niet hetzelfde als "algoritmes"

[bertware]

Het simpelste voorbeeld van een algortime dat vooroordelen "leert" van mensen, kort samengevat van een case uit het echte leven:
In een Amerkaanse stad heb je een witte en een zwarte buurt. De politie heeft vooroordelen / is racistisch / krijgt veel racistische oproepen, en als gevolg patrouilleren ze vaker in de zwarte buurt dan in de witte buurt. Als gevolg daarvan worden meer overtredingen vastgesteld en meer straffen uitgedeeld in de Zwarte buurt (want er wordt meer gezien door verhoogde politieaanwezigheid). Dit gaat enkele jaren door, waarna een softwarebedrijf een product aanbiedt om de politie te helpen met plannen van patrouilles. Hiervoor gebruiken ze historische data voor de initiële planning, en het product zal gaandeweg bijleren.
- Als gevolg van de menselijke vooroordelen en racisme is de historische data vertekend. De eerste planning is racistisch wegens de slechte trainingsdata, maar dit wordt niet opgemerkt en de agenten gaan op patrouille.
- Het programma merkt dat er meer overtredingen zijn in de zwarte buurt dan in de witte buurt, en gaat daardoor nog meer politie inzetten in de zwarte buurt, die op hun beurt weer meer overtredingen vaststellen. Zo blijf je oneindig lang doorgaan.

Een beter, unbiased (of op zijn minst minder biased) zou het aantal overtredingen per patrouille of agent hebben gebruikt als basis, in plaats van het totale aantal overtredingen.

[u-two]

Ach ja, je ziet dat het er veel beter aan toe gaat in Amerika na 55 dagen waar de politie beperkt mag ingrijpen.

[pietjepuk369]

Is dit sarcastisch bedoeld of niet? Ik weet het echt niet zeker.

[lenwar]

Dit vloeit voort uit patronen en hoe een AI daar op reageert. Mooi voorbeeld was van een tijdje terug. Youtube wil geen seks op hun platform. (heel kort door de bocht, educatief kan het dacht ik wel, maar even los daarvan). LHBT-vloggers (dus mensen die specifiek hier over posten) praten vaker dan gemiddeld over seksualiteit in hun video's. De AIs hadden op een bepaald moment een link gelegd tussen LHBTers en seksualiteit. Conclusie: LHBTers werden bovengemiddeld vaak geautomatiseerd geblokkeerd, naar beneden geduwd in de zoekresultaten (waardoor er minder inkomsten zijn voor de posters) en er werden minder matches gemaakt voor advertentieverkoop, door het systeem, omdat ze al "seksualiteitsvlaggetje" hadden en dus sneller getriggered werden.
Dit was niet bewust geprogrammeerd, maar het systeem had het zichzelf aangeleerd.

In deze tijd is dat natuurlijk erg ongelukkig

[RWasseneuseraar]

Als daadwerkelijk het doel was om "seks" in zijn geheel te vermijden danwel te verbergen, is dit dus een voorbeeld van een geslaagde AI die geheel zelfstandig een betekenisvol patroon heeft gevonden.

Het probleem is dat we in een tijd leven waarin waarheidsvinding en politiek gewenste uitkomsten met elkaar in strijd zijn. We streven naar de waarheid, waar AI zeer effectief in kan helpen, maar moeten vervolgens de waarheid manipuleren zodat deze sociaal gewenst is.

[lenwar]

De uitkomst an sich is inderdaad weinig op aan te merken. Alleen had de ai de nuance niet door. Niet elk onderwerp dat met seks of seksualiteit te maken heeft, valt buiten de voorwaarden van het platform of is maatschappelijk ingewikkeld/gevoelig.

Daarnaast was het zo dat als diezelfde vloggers ergens anders over praatte dat ze nog steeds geen hits kregen in de advertentieveilingen. Dus omdat iemand bovengemiddeld vaak over deze intieme onderwerpen praat werden alle video's financieel minder waard.

Voor wie niet bekend is met hoe YouTube advertenties werken:
https://youtu.be/KW0eUrUiyxo

[pietjepuk369]

Dit gaat niet specifiek over AI maar over algoritmes gechreven door facebook medewerkers

[hoeksmarp]

Het probleem met algoritmes is dat ze afhankelijk zijn van de gegevens die ze krijgen. Helemaal bij AI, die zijn afhankelijk van de gegevens waarmee ze getraind worden. Als die gegevens bevooroordeeld zijn (ik zeg niet dat het zo is, maar als het zo is), dan is het resulterende algoritme dat misschien ook. Zo zie je dat dit met name mis kan gaan wanneer de gegevens komen van menselijke opsporing. Daarin is het namelijk zeer goed mogelijk dat een soort zelfversterkend effect optreedt. Waar er een moment is dat er binnen een groep meer wordt gevonden en er daardoor harder binnen die groep wordt gezocht, waardoor er meer wordt gevonden, waardoor er harder wordt gezocht, waardoor...

Edit: Het makkelijkste voorbeeld is natuurlijk de huidige problemen bij de kindertoeslag bij onze belastingdienst. Zelfs al zou er binnen de groep ouders met dubbele nationaliteit meer fraude plaatsvinden, we hebben wetten die het verbieden dat als reden te gebruiken. Het mag simpelweg niet meegenomen worden in de afweging.
Het hoeft niet eens letterlijk "op huidskleur" te zijn, maar als de AI een aantal eigenschappen gebruikt die veel meer bij een bepaalde groep voorkomen dan bij een ander heb je soms als nog dat effect. Dus het simpelweg verbieden van het gebruik van "huidskleur" is niet altijd voldoende.

[Reactie gewijzigd door hoeksmarp op 22 juli 2024 19:38]

[ari3]

Daarin is het namelijk zeer goed mogelijk dat een soort zelfversterkend effect optreedt. Waar er een moment is dat er binnen een groep meer wordt gevonden en er daardoor harder binnen die groep wordt gezocht, waardoor er meer wordt gevonden, waardoor er harder wordt gezocht, waardoor...

Het is zelfversterkend, maar ook zelf-corrigerend. Je veronderstelt dat er meer wordt gevonden als er meer wordt gezocht. Dit hoeft natuurlijk niet zo te zijn. Als de onderzochte groep zich voorbeeldig gedraagt, dan zal de zoekinzet zich naar andere groepen verplaatsen. Het is een systeem dat zichzelf dus corrigeert. Dit blijft in de discussie telkens onderbelicht.

Zelfs al zou er binnen de groep ouders met dubbele nationaliteit meer fraude plaatsvinden, we hebben wetten die het verbieden dat als reden te gebruiken. Het mag simpelweg niet meegenomen worden in de afweging.

Daar valt nog wel wat op af te dingen. Gezien er belastingverdragen zijn met verschillende landen aangaande waar belasting betaald wordt indien iemand een dubbele nationaliteit heeft mag de Belastingdienst in haar controle functie dit gegeven wel degelijk verwerken. De vraag is meer of extra controles binnen deze groep grondslag vindt in statistiek.

[AmazingDreams]

Als de onderzochte groep zich voorbeeldig gedraagt, dan zal de zoekinzet zich naar andere groepen verplaatsen. Het is een systeem dat zichzelf dus corrigeert.

Je kan toch altijd wel íets vinden. Is het geen overval dan is het overlast, is het geen overlast dan is het wel fout parkeren, is het geen fout parkeren gooit iemand een papiertje op straat. Etc

[ari3]

Tja, ik word dagelijks meermaals met camera's gecontroleerd op verkeersovertredingen. Af en toe heb ik een boete te pakken. Het verweer dat ze me altijd wel ergens op kunnen pakken omdat ik permanent gevolgd wordt door camera's is zwak. Ik moet me gewoon aan de verkeerswet houden.

[AmazingDreams]

Precies, en stel nu dat ze alleen maar camera's neerzetten op de routes waar jij rijdt zullen ze jou vaker betrappen op overtredingen, terwijl je net zo vaak (of net zo weinig) overtredingen maakt als een ander.

[ari3]

Dat verandert de situatie toch niets? Dan kan ik nog steeds boetes voorkomen door gewoon geen overtredingen te begaan.

[hoeksmarp]

Maar als dat de reden wordt om jou iedere keer als je in de auto stapt aan te houden en te controleren, omdat jij de grootste kans hebt om een overtreding te hebben begaan (immers de enige die we ooit op overtredingen betrappen ben jij), dan wordt het wel vervelend

[Rmg]

Door ze te voeren met data met daarin ongemerkt een bias. Dit soort biases sluipen overal in.

Heel concreet, HP heeft een tijd geleden facedetectie algoritme gebouwd, werkt niet op zwarte mensen. Is dat opzettelijk gebeurd? Waarschijnlijk niet, een groep developers, vaak wit en man, heeft ergens een gezichten database gepakt, algoritme gefeed, nooit aan gedacht dat er ook mensen met een andere huidskleur bestaan. Dat is dus een 'discriminerend' algoritme.

Nikon coolpix, Blink detectie, zelfde verhaal gaf false positives op aziaten.

Is me zelf en collega's ook wel overkomen wij werken met PPG sensoren, software voor geschreven, op eigen huid getest. Werkt vervolgens niet op mensen die lichter en mensen op die donkerder waren. Ben blij dat iemand op een helder moment zei test het ook even op collega x en y anders was het naar de klant geshipt.

Vaak helemaal geen opzettelijke discriminatie, maar als 80% van je collega wit en man is komt het vaak gewoon niet in je op. En als je het niet onderzoekt kom je er nooit achter of het er wel of niet is.

[Reactie gewijzigd door Rmg op 22 juli 2024 19:38]

[-ION-]

Nikon coolpix, Blink detectie, zelfde verhaal gaf false positives op aziaten.

Sinds wanneer zijn Japanners geen Aziaten?

[Rmg]

Zijn ze wel? daar deed de blink detectie het ook beroerd op. Wat is je punt? https://thesocietypages.o...ians-are-always-blinking/

[-ION-]

Mijn punt is dat je suggereert dat er een soort bias is ingeslopen omdat de ontwikkelaars geen rekening hebben gehouden met gebruikers buiten de eigen raciale groep. Aangezien Japanners ook Aziaten zijn lijkt mij die aanname onwaarschijnlijk. (Cruciale informatie is hier dat NIKON een Japans bedrijf is)
Bovendien hoeft het het verhaal over gezichtsherkenning en mensen met een donkere huidskleur niet perse te berusten op een raciale bias van het algoritme. Donkere huidskleuren reflecteren minder licht dan blanke huidskleuren waardoor een foto van donkere mensen vaak minder detail/informatie bevat voor een algoritme om mee te werken.

[wjn]

Dat is dus een 'discriminerend' algoritme.

Nee, een racistisch algoritme.

[Hamiko]

Racisme lijkt me feitelijk een verkeerd woord. Er bestaat maar 1 menselijk ras. Discriminatie is in die context dus beter.

[wjn]

Correct, maar wel meer specifiek. Alle stieren zijn koeien, een stier is meer specifiek dan een koe.

[wica]

"Of is die 'AI' al net zo bevooroordeeld als dat mensen zijn?"
Als je team is opgebouwd uit hoog opgeleide blanke mannen, die allemaal uit goede buurten komen*.
Is de kans groot, dat de AI, de zelfde vooroordelen krijgt, als die gene die het gemaakt heeft. Meestal onbewust. Maar toch.

Daarom is het van belang dat je team uit verschillende mensen bestaat, met verschillende achtergronden.

*) Geld voor elk team, wat maar 1 type mens heeft.

[hoeksmarp]

Ik weet niet of de samenstelling van het programmeerteam een directe invloed heeft op het al dan niet discriminerend zijn van het algoritme.

Het zal ook lastig worden om een team te vinden dat niet hoogopgeleid is en uit "goede buurten" komt, aangezien dat wel samenhangt met het beroep (en het salaris).

Edit: Zoals @Rmg hieronder aangeeft, als je je team gebruikt voor de trainingsdata, maakt dat natuurlijk wel uit. Dat zegt mij vooral dat uniforme trainingsdata erg belangrijk is.

[Reactie gewijzigd door hoeksmarp op 22 juli 2024 19:38]

[Yggdrasil]

Dat heeft wel degelijk invloed. Programmeurs schrijven code met hun eigen aannames erin verwerkt en testen hun code als eerste zelf. Daar zitten onbewuste vooroordelen in, bij iedereen.

Het is inderdaad vrijwel onmogelijk om een perfect divers team te creëren, maar als je je bewust bent van je vooroordelen kun je er deels voor compenseren, bijv. door testers (in-house of eindgebruikers) vanuit andere achtergronden dan de developers te regelen.

[hoeksmarp]

Programmeurs schrijven code met hun eigen aannames erin verwerkt en testen hun code als eerste zelf.

Ik weet niet wat voor code jij in gedachte hebt, maar dat is zeker niet algemeen waar. Lang niet alle code heeft überhaupt aannames (sorting algoritmes?). En in het speciaal als je een leeralgoritme schrijft voor een AI hoeft dat volgens mij echt niet altijd aannames te bevatten (uiteraard wel een aantal keuzes).

Edit: jouw eigen link in jouw andere reactie spreekt ook alleen over data biases en spreekt over diversiteit van de data scientists en data labelers, niet over de programmeurs. Dat lijkt mij ook waar de meeste vooroordelen naar boven komen, de data.

[Reactie gewijzigd door hoeksmarp op 22 juli 2024 19:38]

[wica]

... (sorting algoritmes?) ..

Deze pik er even tussen uit.
Ik irriteer mij mateloos, dat de programmeur van het commando 'sort' dat die niet default bedacht heeft om het op een menselijke manier te sorteren.

[dez11de]

Ik weet niet zo goed wat je als menselijke manier van sorteren ziet maar vaak wordt een sort commando een of meerdere keren in een pipeline gebruikt en zeker niet perse als laatste. Dus dat zou een verklaring kunnen zijn om de default manier van sort als ‘computer’ manier te kiezen.

[hoeksmarp]

Deze pik ik er even tussenuit:

de programmeur van het commando 'sort'

Er is net één programmeur en niet één commando 'sort'.

[Anoniem: 1322]

Daarom is het van belang dat je team uit verschillende mensen bestaat, met verschillende achtergronden.

Dit zegt helemaal niets. Racisme bestaat op ieder niveau, binnen elke cultuur en iedere bevolkingsgroep. Of wil je ook verplichten dat ieder team een roodharige homofiele moslim vrouw met lichamelijke beperkingen krijgt? En heb je dan wel alles afgevangen? Of doen we enkel de marketing shoot met ons multiculturele team?

Het heeft helemaal niets met je team te maken maar met met initiële doelstellingen over wat je wilt bereiken. Hier hoort security, privacy en neutraliteit gewoon onderdeel van het core design te zijn.

[tedades]

"Als je team is opgebouwd uit hoog opgeleide blanke mannen, die allemaal uit goede buurten komen*.
Is de kans groot, dat de AI, de zelfde vooroordelen krijgt, als die gene die het gemaakt heeft."
"Daarom is het van belang dat je team uit verschillende mensen bestaat, met verschillende achtergronden."

Mijn probleem met jouw opmerkingen is dat hij zichzelf lijkt tegen te spreken.

Je geeft aan dat je mensen wilt hebben met een verschillende achtergrond om zo vooroordelen te verminderen in de gemaakte AI. Maar die diversiteit zit in de opvattingen en inzichten van deze personen en niet in de huidskleur of geslacht. Het koppelen van deze opvattingen en inzichten aan huidskleur of geslacht is juist discriminatie en daarom is dit bij wet verboden: "Allen die zich in Nederland bevinden, worden in gelijke gevallen gelijk behandeld. Discriminatie wegens godsdienst, levensovertuiging, politieke gezindheid, ras, geslacht of op welke grond dan ook, is niet toegestaan". Bron: https://wetten.overheid.nl/BWBR0001840/2018-12-21
Deze wet zegt voor mij ook dat er ook juist niet gediscrimineerd mag worden op basis van je opvattingen.

Maar stel ik zou je suggestie aanhouden dan is er nog geen garantie dat dit succes gaat leiden.
Voorbeeld: Je kunt van dezelfde universiteit (hopelijk) ook een mix krijgen van verschillende huidskleuren, geslacht en neem ook gelijk even leeftijd en geaardheid mee. Blijkt dat ze allemaal bij elkaar wonen omdat ze uit dezelfde rijke familie te komen. Resultaat: nog steeds homogene opvattingen en inzichten.

Voor mij lijkt het erop dat verschillen in opvattingen en inzichten liggen aan je opvoeding en ervaringen, dingen niet direct iets te maken hebben met biologische kenmerken. Biologische aspecten kunnen je natuurlijk fysiek beperken. Maar doordat mensen nu eenmaal biologische kenmerken van hun ouders krijgen ligt er een causaal verband met opvoeding en ervaringen. Omdat iedereen zijn opvoeding en ervaringen anders zijn is dus niet iedereen hetzelfde.

Wat je volgens mij dus wilt zeggen is dat AI gebouwd moet worden door competente mensen. Competente mensen zullen zich afvragen wie het systeem gaat gebruiken waardoor ze een onderzoek doen naar hun doelgroep. Deze doelgroep zou dan benaderd kunnen worden om hun opvattingen en inzichten te delen zodat daar rekening mee gehouden kan worden. Iets dat na het maken van de AI gecontroleerd kan worden.

[Reactie gewijzigd door tedades op 22 juli 2024 19:38]

[lenwar]

Ik vind dit eigenlijk heel storend. Waarom wordt er alleen gekeken naar 'minderheden'. Dit voelt als pure marketing voor mij. Ik zou liever zien dat er helemaal geen discriminatie is in het platform (dus dan niet de inhoud, maar het platform zelf) Ongeacht of dit op huidskleur, haarkleur, provincie, geaardheid, leeftijd, kledingvoorkeur of wat dan ook is.

Er moet niet worden gekeken naar iemands 'kleurtje', maar naar hoe iemand zich gedraagt op het platform.

[morrowyn]

https://www.propublica.or...ers-exclude-users-by-race

Als je dus als bedrijf geen ethnische minderheden (marokkanen, turken e.d.) in dienst wil nemen, dan kan/kon je gewoon deze groep mensen bij voorbaat al uitsluiten van dergelijke banen.

Dat scheelt namelijk het volgende:
https://kennisopenbaarbes...ver-mark-dan-mohammed.pdf

Dat er alleen naar minderheden gekeken wordt komt vaak voort uit het feit dat minderheden vaker negatief worden gediscrimineerd. Er zijn talloze voorbeelden te noemen, zoo ook hierboven en dat is puur alleen maar op je naam.

Overigens geldt dit ook voor vrouwen uiteraard, waar nog steeds in Nederland vrouwen minder dan mannen verdienen.

https://www.cbs.nl/nl-nl/...n-en-vrouwen-iets-kleiner

[batjes]

Het ongecorrigeerde loonverschil tussen man en vrouw is bijna 20%. Vrouwen werken gemiddeld 1 dag per week minder, 20%,

Mannen en vrouwen zijn in veel gevallen en op veel fronten gewoon verschillend. Andere levenskeuzes, andere visies, andere behoeftes. Je kunt het een bedrijf ook niet bepaald kwalijk nemen dat ze hier een keuze op maken. Je ziet toch een behoorlijk groter percentage vrouwen al sneller meerdere jaren niet of nauwelijks werken i.v.m. kinderen dan mannen.

Als je door je achternaam niet aangenomen wordt, ligt de schuld ook niet automatisch bij het bedrijf. Bedrijven die wel niet-inheemse achternamen aannemen die daar bovengemiddeld vaak te maken krijgen met problemen zoals diefstal, belabberde werkethiek, slecht omgaan met klanten en het dus na enkele keren opgeven, is ook nogal een dingetje.

Er spelen behoorlijk wat factoren mee en dit geforceerd oplossen met positieve discriminatie is ook niet de oplossing. Het is net zo oneerlijk dat mensen met gemiddeld meer uren per week, toch gelijk verdienen aan mensen die gemiddeld minder uren maken. Of dat mensen met betere kwaliteiten voor een functie niet aangenomen worden om maar een quotum te halen.

[morrowyn]

Dit is precies de crux. Je doet hier een aanname dat deze mensen zo zijn.

,,Bedrijven die wel niet-inheemse achternamen aannemen die daar bovengemiddeld vaak te maken krijgen met problemen zoals diefstal, belabberde werkethiek, slecht omgaan met klanten en het dus na enkele keren opgeven, is ook nogal een dingetje."

[batjes]

Het is wel een gevolg. Ook iets wat ik zelf ook vaak ben tegengekomen en heb meegemaakt. Voor mij n=1, maar deze geluiden hoor je veel uit het bedrijfsleven komen, maar wordt niets mee gedaan.

Als het "elke keer" dezelfde groep is die 3-5 keer per week te laat komt (en toch eerder weg wilt), je klanten en collega's/werknemers/leidingevenden aanspreekt met "Hè broer" of er met je inboedel vandoor gaat. Dan is het volkomen begrijpelijk dat een bedrijf dat zat is en dan liever het zekere voor het onzekere neemt.

Dit is een onderbelicht punt waar veel bedrijven tegenaan lopen en daar mag minstens net zo veel focus op komen te liggen als dat de mensen met niet-inheemse achternamen die wel goed mee doen in de maatschappij die hierdoor elke keer naast het net vissen.

De munt heeft 2 kanten en als je constant maar op 1 kant focust, los je het probleem niet op. Men kijkt alleen naar het gevolg, de oorzaak wordt genegeert. Maar dat oorzaak->gevolg concept lijkt bij veel mensen een vreemd iets te zijn.

We moeten dit oplossen, discriminatie, positief of negatief, is niet de oplossing. De oplossing begint met het hele probleem bespreekbaar te maken en niet slechts 1 onderdeel.

[Reactie gewijzigd door batjes op 22 juli 2024 19:38]

[morrowyn]

Maar jij gaat er nog steeds vanuit dat alle etnische minderheden zo zijn. En misschien dien je even verder te kijken naar geografische afkomst een beperkte set genen (huidskleur, vorm van neus, haartype, oogkleur) en ook te kijken naar bepaalde socio-economische aspecten.

De maatschappij heeft eeuwenlang het volgende van vrouwen; kinderen opvoeden en van mannen; de kostwinner.
Als je deze verwachting meeweegt in het belonen van mensen als individu, dan ontga je aan de persoonlijke keuzes van een persoon. Die persoon (de man) wilt misschien juist meer voor zijn kinderen zorgen en zijn vrouw juist meer werken, maar als ze allebei naar hun loonstrookje kijken en hun rekeningen, is misschien de keuze snel gemaakt en het stereotype maatschappelijke beeld volgen.

Als elk bedrijf de aanname doet van bovenstaande en in jouw geval dus zegt en beweert dat alle marokkanen te laat komen en he broer gebruiken en whatever negatieve reden je kan verzinnen , dan ontga je gewoon aan bepaalde socio-economische aspecten.

Alle mensen die uit een bepaalde socio-ecomonische achtergrond komen waar ze minder dan 30000 euro verdienen, simpelweg dat soort mensen. Ze spreken vaak geen abn. Gebruiken regelmatig, hun hebben in hun taalgebruik, gooien vaak hun afval op straat, houden hun eigen buurt niet echt schoon , nemen de wet niet zo nauw, begeven zich vaker in (kleine) criminaliteit, etc.
Dan heb je nog de mate van hun onderwijs. Er is gewoon een duidelijk verschil tussen wo,hbo, mbo en totaal niet opgeleide mensen in gedrag, taalgebruik, werk ethos, etc.

Bijna alle mbo-ers en niet geschoolde mensen willen eerder weg en komen vaak te laat. Hun taalgebruik is van dermate niveau, dat wanneer je een sollicitatie brief van ze leest, je afvraagt waarom je ze überhaupt wilt uitnodigen. Hetzelfde geldt voor hun werk ethos. Ze lopen vaak de kantjes ervan af, socializen altijd erg lang met collegas ipv aan het werk zijn en willen vrijdag altijd heel vroeg naar huis en komen maandag vaak heel erg brak op werk verschijnen.
Liefste zitten ze de hele dag op sociale media en is een manager vaak eerder de strenge schooldocent. Ze zijn vaak geen zelf-starters, om maar niet te spreken over hun eigen verantwoordelijkheid, want het probleem ligt altijd aan iets anders.

[batjes]

Waar ga ik er vanuit dat alle etnische minderheden zo zijn? Persoonlijk beoordeel ik elk persoon op zijn of haar karakter. Afkomst doet er voor mij echt helemaal niets toe (behalve uit interesse), een groot deel van de mensen in mijn directe- en werkomgeving zijn van niet-Nederlandse afkomst. Ik heb -mede met dank aan het internet- in mijn tienerjaren al geleerd dat puur de afkomst er echt 0,0 toe doet of een persoon goed of slecht is. Wat vaak wel een grote rol speelt is de directe omgeving van mensen.

Maar het loonstrookje verschilt amper tot niets in het carriere maken pad. Het is gewoon zo dat gemiddeld meer vrouwen voor kinderen/huishouden zorgen, dat is niet alleen maatschappelijk, dat is biologisch. Je laat niet even in die 3 generaties dat we het nu relatief goed hebben kwa gelijke kansen en mogelijkheden, 200.000+ jaar aan evolutie verdwijnen. Dat een groot deel van de vrouwen voor kinderen/huishouden zorgt, wordt wel meegenomen in de maatschappelijk discussie over loonsverschillen, als vrouwen gemiddeld 20% minder werkuren maken, is het absoluut niet vreemd dat ze ook gemiddeld 20% minder verdienen. Houd die vergelijking mooi bij de vrouwen die dat niet doen en wel carriere maken en dat verschil verdwijnt als sneeuw voor de zon. Mijn manager (een vrouw) verdient niets meer of minder dan een man op haar positie. Mijn vrouweljike collega's verdienen hetzelfde als dat ik verdien voor dezelfde functie. Lonen zijn, vooral wat lager op de economische ladder, gewoon vastgesteld per functie of in schalen. Pas als je de vele duizenden euro's per maand voorbij gaat (en dat geldt voor 90% van de werkende mensen totaal niet) komen er andere factoren bij kijken.

De autochtone mensen die dezelfde socio-economische achtergrond hebben, hebben net zo weinig kansen op de arbeidsmarkt als de allochtonen die in die groep vallen. Daar verschilt ook weer bar weinig in. Het is alleen wat moeilijker om op basis van achternaam te zien of iemand uit een tokkiewijk, kamp of whatever komt, waar de arbeidsethos net zo kansloos is. Mensen kiezen al snel voor de makkelijkste weg.

Er zijn gewoon onderbelichte punten in deze discussie, die ik eigenlijk nooit meegenomen zie worden in de maatschappelijke discussie. Men kijkt dan maar heel zwart/wit naar het fenomeen "vrouwen verdienen 20% minder", de redenen erachter doen er niet toe, hup meer vrouwen in de top! Mensen met een niet-inheemse achternaam hebben minder kans om uitgenodigt te worden op gesprek, de redenen erachter doen er niet toe, hup, quota's in stellen, onder dwang aannemen die mensen! Zelf struikel ik hier gewoon over, de discussie is niet zo zwart wit, het is vrij complex en er spelen heel veel factoren mee.

Bij vrouwen is het problem het loon niet. Gemiddeld 20% minder verdienen als je 20% minder uren maakt, duh, dat geldt voor jou en mij net zo hard. Het probleem is dat bepaalde baantjes (deels vanuit oudsher) voornamelijk door mannen of vrouwen gedaan worden. Slaat nergens op dat het alleen voor de top anders moet. Waar is die drang voor meer vrouwen in de productiehallen, achter de vuilniswagens etc. Of meer mannen in kapperszaken.

Voor allochtonen is -in mijn ogen- een groot deel van het probleem de omgeving waar ze in opgroeien. Er zijn genoeg allochtonen uit zulke omgevingen die wel normaal mee kunnen doen in de samenleving, maar een groot gedeelte lukt het gewoon niet. Maar dit is niets anders dan een groot gedeelte van de blanken die opgroeien in de bekende tokkiewijken of woonwagenkampen. Die worden dan wel op gesprek uitgenodigt omdat ze er 9/10 keer niet uit te filteren zijn in de voorselectie, maar die maken net zo weinig kans op de arbeidsmarkt. Daar zit echt geen verschil in. De oplossing voor dit probleem is niet quota's instellen met positieve discriminatie. De oplossing voor dit probleem is om de omgeving van die mensen te verbeteren, probeer die mensen uit die negatieve -vaak criminele- vicieuze cirkel te halen.

Sterker nog, al die positieve discriminatie werkt alleen maar averechts. Voor een functie moet de meest geschikte kandidaat aangenomen, punt. Als je daar mensen neerzet die er eigenlijk niet geschikt voor zijn, gaan mensen dat zien. De functie wordt voor die persoon dan waardeloos en mensen met een negatieve mening worden hierin versterkt (en trekken de ongeschillige mensen weer mee in hun visie).

Men kijkt te veel naar het gevolg (vooroordelen) en niet naar de achterliggende oorzaak of vult een redelijk onzinnige oorzaak zelf in. Het is niet zwart wit, het is vrij complex.

[batjes]

Mijn manager is een vrouw, die heeft daar keihard voor gewerkt en heeft dat echt verdient. Haar positie wordt door dit soort maatregelen minder 'belangrijk' gemaakt. Net zo goed als dat -afhankelijk van de afdeling- 30-60% van mijn collega's van allochtoonse afkomst is en die ook niet gekregen hebben door positieve discriminatie, maar door opleidingen af te maken en er net als ieder ander er hard voor te knokken (en ook geen hinder ondervinden aan andere vormen van discriminatie).

Het is een complex geheel dat niet op te lossen is door middel van wat quota's en positieve discriminatie. Dat zorgt er alleen maar voor dat negatieve vooroordelen makkelijker bevestigd worden en mensen die al een negatieve mening hadden, hun hakken verder in het zand steken en daar anderen mee naar toe trekken.

Het is mij persoonlijk ook te selectief. Waarom wordt er niet voor die quota gevochten in de bouw? In een magazijn? Een productiehal? Bij kapperszaken? Bij Turkse vreettenten? Als het daadwerkelijk zo'n probleem is, zou je daar maatschappijbreed voor moeten opkomen en niet zo selectief.

[morrowyn]

Ik vond dit artikel wel interessant.

Mannen onderhandelen vaker om hun salaris

Bij mannen gaat het gesprek al snel over de hoogte van het bedrag, bij vrouwen over de vraag of het verzoek wel gerechtvaardigd is.’

Hier spelen ook gender-stereotypen mee, aldus Pouwels. Tijdens een verzoek om een hogere beloning wordt op vrouwen negatiever gereageerd, bleek uit onderzoek van de Harvard-universiteit. Vrouwen worden gezien als veeleisend wanneer ze om meer geld vragen, terwijl zo’n verzoek bij mannen als teken van assertiviteit wordt gezien.

Bron:
https://www.volkskrant.nl...der-verdienen-dan-mannen/

[Framoes]

Er moet niet worden gekeken naar iemands 'kleurtje', maar naar hoe iemand zich gedraagt op het platform.

En het vermoeden bestaat dat de algoritmes op dit moment wel die kleur meenemen bij het beoordelen van gedrag. Daarom gaan ze onderzoeken of dit daadwerkelijk zo is.

[uip]

Vraagje aan mede-Tweakers, is dit een oplossing voor een onbestaand probleem? Of is er inderdaad een probleem met de werking van AI en algoritmes binnen de FB/IG platformen? Het lijkt mij moeilijk om dit in te schatten...

[Joerdgs]

Punt is vaak dat ja, vooroordelen hebben vaak hun wortels in statistische data dus een "AI" zal daar ook gebruik van maken. Anti-racisme is een sociaal concept: het idee dat we gelijkheid willen behalen door niet op die vooroordelen te handelen, met het doel dat de statische bias dan over tijd verdwijnt. Maar daar worden die algoritmes niet voor gebouwd.

[wica]

Ja het is een probleem, maar niet alleen bij FB.
Ook de overheid ziet, dat er problemen mee zijn.
https://www.nu.nl/politie...cht-voor-de-overheid.html

[TheekAzzaBreek]

Er zijn allerlei problemen met de algoritmes van de social media platforms, of discriminatie er een van is weet ik niet, maar zou me niet verbazen.

Het fundamentele probleem is dat die algoritmes tot doel hebben mensen zo lang mogelijk op het platform te houden, en dat lukt gemiddeld het beste met sensatie en verhalen die veel reacties opleveren. Dan kan je proberen de ergste troep er uit te filteren, maar daar ga je niet ver mee komen omdat het algoritme vanzelf weer andere sensatieverhalen gaat aanbieden.

[Zeror]

Heel Facebook is een 'oplossing' voor een niet-bestaand probleem

[Reactie gewijzigd door Zeror op 22 juli 2024 19:38]

[Caseum]

Een oplossing zou ik Facebook niet willen noemen.

Dan zou het eerder een 'veroorzaker van een anders niet bestaand probleem' noemen

[Wolfos]

Enige tijd geleden plaatste iemand een AI die op basis van een low-res portretfoto deze op hogere resolutie teruggeeft. Deze veranderde echter iedereen in een blank persoon, met resultaten zoals dit tot gevolg. Maar denk ook aan Apple's Face ID die bij Aziaten vaker een false positive geeft, of zwarte mensen minder snel herkent.

[walteij]

De onderzoekers gaan kijken of de algoritmes discriminerend zijn voor minderheden

Dit zou natuurlijk zonder de laatste 2 woorden moeten zijn. Discriminatie is namelijk iets dat door iedereen gedaan kan worden en naar iedereen geuit kan worden, niet alleen naar minderheden.

Discriminerende onzin hoort niet op facebook. Of dit nu om de KKK gaat of om BLM.

Dat gezegd hebbende, gelijkheid is onmogelijk te behalen. Niemand is gelijk, iedereen is anders. Evenwaardigheid, dat is wel te behalen, gelijk, maar toch verschillend. Dat zou het uitgangspunt van iedereen moeten zijn.

[Reactie gewijzigd door walteij op 22 juli 2024 19:38]

[Framoes]

Alleen zijn de algoritmes dus vermoedelijk discriminerend naar minderheden. Anders zou FB wel onderzoek doen naar discriminerende algoritmes in het algemeen. Als je wil snappen waarom die algoritmes een bepaalde bias ontwikkelen moet je de reacties van Hoeksmarp, Yggdrasil en RMG iets verder omhoog lezen. Dan snap je waarom FB het onderzoek zo heeft ingericht.

Verder kan je de KKK en BLM absoluut niet samen noemen alsof ze gelijk zijn. Als je dat gelooft moet je je misschien eens verdiepen in de materie.

[walteij]

Ik snap heel goed waar AI bias vandaan komt en hoe dit werkt.
Ik zie echter ook een risico in het alleen bekijken van discriminatie naar minderheden in het algoritme. Want daarmee wordt het algoritme dus niet meer getraind om te kijken naar discriminatie van niet-minderheden, iets dat ook voorkomt.

De KKK en BLM zijn inderdaad niet gelijk, daarom benoemde ik ze juist bewust.

De zogeheten discriminatie specialisten die we hier in NL aan het woord zien, zien overal discriminatie en zogenaamd wit privilege, tot het drinken van een wijntje en eten van een pizza op het terras toe.
Nu kunnen we dat extreem noemen, of uitwassen, maar deze mensen zijn wel degenen die hun mening op nationale televisie mogen uiten en op grote manifestaties mogen spreken.

Mijn statement dat alle vormen van discriminatie bestreden moeten worden, is blijkbaar iets dat door een aantal mensen niet gelezen wordt.
Ik ben er van overtuigd dat we als mensen samen prima samen kunnen leven, werken en genieten, mits we er allemaal samen aan werken.
Zoals ik ook al zei, evenwaardigheid is waar we naar moeten streven.
We zijn niet gelijk, maar we hebben wel allemaal evenveel waarde.

Edit: iets over moderating verwijderd. Was niet nodig.

[Reactie gewijzigd door walteij op 22 juli 2024 19:38]

[Framoes]

Je noemt ze in één zin, direct nadat je zegt dat discriminerende onzin niet op Facebook hoort. Daarmee schaar je ze onder dezelfde noemer, zij het aan de andere kant van het spectrum. En dat klopt gewoon niet.

Verder is het waarschijnlijk het idee om het algoritme vollediger te maken. Niet om het andersom te laten discrimineren. Dat zou namelijk niet logisch zijn. Dat is ook niet het doel van de beweging die het sluimerende racisme aankaart.

En als je ziet hoe mensen reageren op iemand die een wijntje drinken op het terras wit privilege noemt, denk ik dat dat sluimerende racisme een stuk meer aanwezig is dan veel mensen willen erkennen.

Het gaat ook niet om wat één persoon zegt. Het gaat om hoe de focus maar blijft op wat hij heeft gezegd. Dat leidt af van de echte discussie.

[sanderjk]

De meeste algorithmes worden getraind op data sets. Bijvoorbeeld, de tags die fotos hebben, scrapes van reddit voor tekst. Als die input racistische elementen bevat, wordt dat mooi meegenomen.

Krijg je outputs als "thug = zwarte man" van.

Of bv algorithmes die kijken naar wat een "succesvolle CV" is en leren dat dat blanke mannen zijn, aangezien die het meeste worden aangenomen door de HR leden. Dus die gooien alle niet blanke mannen alvast weg voordat HR erna kijkt, scheelt veel tijd.

Garbage in = garbage out, en racism in = racism out

Het extra element bij veel van die machine learning is dat je vrijwel niet maar kan traceren wat er gebeurd. De input is geheim, de algorithmes zijn geheim, je ziet alleen de uitkomst, dus protesteren is bijna onmogelijk.

[Admiral Freebee]

Geheim is veel gezegd maar een deel van de algoritmes werken gewoon op verbanden zoeken tussen verschillende data elementen. Er kan dus een bias inzitten vanuit de set data die gebruikt wordt om het model te trainen.

Verder geeft het model weinig prijs over waarom een bepaald verband gemaakt wordt. Het is niet geheim maar het zijn ongeleide modellen die gemaakt zijn om uit grote datasets verbanden te trekken zonder die verbanden te begrijpen of te verklaren.

Als er dus al een bias in de dataset zit ga je die gewoon meenemen.

[Reactie gewijzigd door Admiral Freebee op 22 juli 2024 19:38]

[Infor40]

Mij is in de cultuurlessen van de opleiding geleerd dat discriminatie zowel het onderscheid maken is waar dat er niet als het geen onderscheid maken waar dat er wel is.

Bij dat laatste kun je denken aan urinoirs beschikbaar stellen aan mensen in een rolstoel.

Vanuit dat oogpunt doet de naamgeving ‘gelijkheidsteams’ alleen al weinig recht aan de complexiteit van discriminatie.

[Crisium]

Het is zelfs zo dat de bron het heeft over: "equity". Dat is nog iets anders dan "equality" zie de volgende podcast:

https://www.youtube.com/watch?v=FtNW3I1FZ5o&t=8718s

James Lindsay is geen complotdenker of rechtsextremist, maar een serieuze wiskundige.

[Astrix]

Facebook moet wel met maatregelen komen, om zo te voorkomen dat nog meer (grote) adverteerders zouden weglopen, en het verdienmodel nog meer schade zou oplopen. Veel (grote) adverteerders hadden als gevolg van de corona crisis, al te maken met teruglopende omzetten, Door het Floyd incident zagen velen adverteerders een (voor hun gegronde) reden om zonder gezichtsverlies, te (kunnen) bezuinigen op (lopende contractuele) advertentieverplichtingen. Of de door Facebook aangekondigde inspanningen voldoende zullen zijn, om de verloren adverteerders terug te winnen. Zal de tijd nog moeten uitwijzen.

[greg-a]

Dit is toch echt jammer, maar ook weer te verwachten van FB. Dit is wordt helaas "Wij van WC eend vinden...". Gelukkig heeft Unilever al aangegeven dat ze pas weer of FB platformen gaat adverteren als FB transparantie hieromtrent geeft en die gecontroleerd kan worden door een derde partij. Ik hoop dat vele anderen die FB boycotten dit ook expliciet zullen aangeven.

[TheekAzzaBreek]

Het is damage control.
Alles om maar te voorkomen dat er extern toezicht op die algoritmes komt, waar het zo langzamerhand wel tijd voor wordt.

[wifikabelhuren]

Dus stel, er zijn 10 donkere en 10 witte accounts (als we er een kleur aan moeten geven).....

Stel dat de AI 8 witte accounts en 2 donkere accounts op basis van "iets" af worden gesloten.
Wordt de AI dan aangepast zodat er evenveel witte als donkere accounts afgesloten worden zodat er evenwicht is?

[Immanent Ike]

Nee, het gaat erom dat die data niet mee moet worden genomen in de beoordeling of een account wel of niet moet worden gesloten.

[Slavy]

Als ze dan ook kunnen onderzoeken wat wel en niet posts zijn van mensen die interesse hebben in historie en niet zomaar iedereen een ban te geven zou dat ook fijn zijn.