Tinder krijgt in Nederland AI-functies om 'schadelijke' taal te detecteren

Tinder voegt twee nieuwe functies toe aan de Nederlandse variant van de app om 'schadelijke' taal te helpen detecteren. Via artificiële intelligentie worden berichten geanalyseerd waarna gebruikers die 'schadelijke' taal ontvangen, of willen versturen, een prompt te zien krijgen.

Via de Stoort Dit Jou?-functie zullen Tinder-leden schadelijke taal kunnen rapporteren als ze een bericht met dergelijke inhoud volgens Tinder ontvangen. De artificiële intelligentie van Tinder zal de ontvangen berichten controleren en, in het geval van 'schadelijk’ taalgebruik, een prompt tonen aan de ontvanger waarop die de verzender kan rapporteren. In een eerste test steeg volgens Tinder het aantal meldingen van ongepaste berichten met 46 procent.

Met de Weet Je Het Zeker?-functionaliteit zal Tinder via artificiële intelligentie proberen in te schatten of een bericht dat klaar staat om te versturen, 'beledigend' kan zijn of niet. Welke parameters Tinder hiervoor gebruikt is niet duidelijk. De AI zal voor het versturen vragen aan de gebruiker vragen of die het potentieel 'beledigende' bericht echt wil sturen en waarschuwen voor de inhoud ervan. Die inhoud werd volgens Tinder vergeleken met meldingen uit het verleden. Het algoritme zal zich naar eigen zeggen blijven ontwikkelen en zou naar verluidt het 'ongepaste taalgebruik' in Tinder-gesprekken met minstens 10 procent hebben verminderd.

Engelstalige versie van Tinder met de WJHZ-functie

Reacties (163)

[NielsFL]

Hoe leert het algoritme? Als iedereen iets 'schadelijks' toch verzend wordt het minder schadelijk? Ben bij AI berichten toch altijd benieuwd waar het de input vandaan haalt waarmee het zich aanpast.

[iAR]

Waarschijnlijk. Maar wat @NielsFL bedoelt: als gebruikers die berichten toch willen sturen, wordt de tekst dan als minder schadelijk gelabeld?

Ik vind dit toch best spannende ontwikkeling (als in eng, maar niet zo eng als spinnen). Zeker met de cancel culture in het achterhoofd waar individuen blijkbaar amper nog iets accepteren als het ze niet zint. En tegelijkertijd kunnen ze dat blijkbaar zelf in een conversatie niet meer aangeven.
Als je tinder swipe bepaalde dingen zegt die de ander aanstootgevend vind, dan zeg je daar wat van. En als het heel erg is, dan heb je voldoende informatie om de date niet door te laten gaan, lijkt me.
Bizar dat een AI een bepaalde bericht corrigeert, terwijl het wél in het hoofd van de potentiele date speelt...

[Reactie gewijzigd door iAR op 23 juli 2024 03:55]

[ikt]

Wil je überhaupt die berichten krijgen als ze alleen swipen om je te beledigen? Móet iemand bijvoorbeeld "Hé vette walvis, ik wil je aan mijn harpoen rijgen" willen lezen, als het systeem kan weten dat dit kwetsend is bedoeld?

Lijkt me prima dat dit wordt afgevangen als iemand een patroon rapporteert.

[Flumedu]

Wat nou als beide partijen het prima of zelfs leuk vinden om op die manier te praten/flirten? Misschien connecten ze wel over een fat fetish oid? Dat is nu precies het probleem, je kan met dit soort AI alleen bepalen wat de mainstream ok/niet ok vind en mensen met afwijkende opvattingen worden gebombardeerd met dit soort waarschuwingen.

[iAR]

Ik heb daar toch mijn twijfels bij.
En sowieso, als mensen je willen kwetsen dan drukken ze het bericht toch wel door. Daar is die waarschuwing alleen een extra stap die ze moeten doen.

[Metalfreak]

Tja, wat ik altijd zo begrijp is dat veel mensen niet eens nadenken over wat ze sturen en dat dit dus in een aantal gevallen best zou kunnen helpen. Ik denk altijd na over hoe een bericht aankomt bij een ontvanger, maar mijn standaarden zijn niet de standaarden van de rest van de wereld als je al bijvoorbeeld de comments onder een nieuwsbericht of Facebook leest.

[iAR]

Dat is natuurlijk goed. En de ene ontvanger is de andere niet. Dus daar pas je je woorden, neem ik aan, op aan? Je kunt nooit met iedereen rekening houden. En dus is het goed als mensen aangeven wat de grens is. En niet een of ander over-een-kam-geschoren-AI. Maar dat is mijn mening.

[SwaggyEggs]

Petje af als de AI die tekst als zodanig weet te herkennen

[jimshatt]

Zoals ik het begrijp wordt de AI getraind op de rapportage van de ontvangende partij en speelt het al dan niet toch verzenden van de afzendende partij daarbij geen rol.

Wat ik mooi zou vinden, is wanneer de AI van iedere persoon weet welk taalgebruik die persoon schadelijk vindt. Ik denk dat ik alles prima zou vinden en dan heeft niemand daar last van, terwijl iemand met meer gevoelens dan ik het misschien niet leuk vindt om k*th*er genoemd te worden, waarbij de verzender van dat soort termen dan een waarschuwing krijgt.

[iAR]

Even, maar dit is toch echt niet de wereld waarin je wilt leven?
Ik vind dit een episode regelrecht uit Black Mirror. Dat mensen zo'n woke snowflake zijn dat ze niet eens meer kunnen/durven/willen zeggen dat iemand over een grens is gegaan in wat hij/zij zegt.

[jimshatt]

Mwah, zolang die AI alleen een suggestie geeft en niet globaal voor iedereen bepaalt maar dit per gebruiker vaststelt vind ik het acceptabel. Zolang jij geen dingen flagt verandert er voor jou niets.

[link0007]

Ze hebben al een gigantische database met gerapporteerde berichten.

En in principe zou dit tegenwoordig ook verrassend goed kunnen met een pre-trained neuraal netwerk in zero-shot setting, gebruik makend van bestaande verbandtrekkingen. Tagging en tekstclassificatie is een perfecte kandidaat hiervoor.

[leuk_he]

Wat wil belangrijk is is context. Als je een sexchat hebt die je beiden wilt, dan komen daar woorden in voor die ongepast is als niet beide partijen ervoor gaan.

En uiteraard kan je dit systeem gamen. Uit10kking, 0bfuscation.

[Reactie gewijzigd door leuk_he op 23 juli 2024 03:55]

[link0007]

In principe kunnen ML modellen als BERT vrij goed omgaan met context, mits dat onderdeel is van de training & beoordeling. Nieuwere technieken in hebben ook steeds langer short term memory en betere attention, waardoor dit ook in sneltreinvaart verbetert.

En homoglyph detection is een hartstikke leuke ML huiswerkopdracht. Dat een woord in een tekst een homoglyph is, is niet zo moeilijk te herkennen. Deobfuscation is een stuk moeilijker, maar nu ik erover nadenk wel echt een hartstikke leuk project voor een ML vak. Vermoedelijk het meest effectief te bereiken met een GAN en mogelijk door gebruik te maken van computer vision in decoderen van homoglyphs?

[pizzafried]

Ken je de serie the good place? Misschien veranderen ze een bepaald F-woord wel in Fork!

[PurifieR1980]

Frack you!

[pizzafried]

Battlestar Galactica had ook gekund idd...

[bennie7]

Moeten we niet willen die ai. Zeer onwenselijk. T woord zegt t al: AIAIAI

[Andreas01]

Uit interesse, waarom denk je dat?

[loekf2]

Komt => komt met

[JayStout]

Aangepast, bedankt!

[biteMark]

Als computers zich al bezig gaan houden met wat we wel of niet tegen elkaar mogen zeggen gaan we veel te ver met z'n allen! Volgens mij is het nog steeds niet aan Tinder of aan wie dan ook om zich zorgen te maken over privégesprekken.

[Verwijderd]

Net zoals Facebook en instagram vindt de moderatie grotendeels plaats via ai. Er komt bijna geen mens meer bij kijken en dat bedoelen ze er eigenlijk mee.

[Flumedu]

Het enige scenario waarin ik dit ook maar iets zie toevoegen is wanneer iemand dom/boos genoeg is om iets aanstootgevends te zeggen maar tegelijkertijd open genoeg is om van zijn/haar telefoon kritiek te accepteren en te denken "Oh, inderdaad telefoon, dit gaat inderdaad te ver, what was I thinking?".

Bestaan dat soort mensen überhaupt? Voelt heel erg als virtue signaling van een bedrijf om een wit voetje te halen en onder kritiek uit te komen dat mensen worden lastig gevallen op hun platform. Alsof het mogelijk is om een soort perfecte wereld te creëren waar niemand ooit iets zegt dat een ander aanstootgevend vind ipv gewoon de realiteit van de wereld te accepteren voor wat het is.

[Wim Cossement]

Dus die 'geen mannen onder de 185cm' gaan we niet meer zien?

[A87]

wat? ik ben langer dan dat maar idd, dat als voorbeeld en waarom zou je als man uberhaupt op zon datingsite gaan zitten ook al heb je je leven goed voor elkaar.
Je gaat toch niet als een of andere beta mee met die eisen lijstjes van die vrouwen.

Het zijn allemaal eisen lijstjes.. gadver

[Reactie gewijzigd door A87 op 23 juli 2024 03:55]

[System]

AI is een term die gebruikt wordt bij mensen die niet bekend zijn met programmer taal.
AI bestaat niet, het zijn algoritmes

[Ludewig]

Intel is nu zulke software aan het beta-testen die alle audio op je computer censureert. Het heet Bleep.

[Reactie gewijzigd door Ludewig op 23 juli 2024 03:55]

[Brad]

Wat een enge ontwikkeling, dit neigt naar censuur.

[NosferatuX]

Wiel je mi p13mel zien?

Zou dat er doorheen komen?