Twitter op mobiel toont afbeeldingen in originele verhouding zonder uitsnede

Twitter heeft voor Android en iOS een wijziging doorgevoerd voor de weergave van afbeeldingen. Voorheen werd er een crop toegepast bij alle afbeeldingen zonder een 16:9- of 4:3-beeldverhouding, waardoor een uitsnede van de afbeelding in iemands tijdlijn werd getoond.

Twitter geeft op zijn eigen platform een voorbeeld van hoe de wijziging er in de praktijk uit gaat zien. Een voornamelijk verticale foto van bijvoorbeeld een zilverreiger met zijn kenmerkende lange hals zal voortaan op Android en iOS volledig worden weergegeven op de tijdlijn. Voorheen werd daar een uitsnede van getoond, waarbij enkel een deel van de hals zichtbaar werd. Alleen door op de uitsnede te klikken, werd de gehele foto in de originele beeldverhouding zichtbaar.

Sinds maart is Twitter bezig om deze wijziging van de weergaven van afbeeldingen op mobiel te testen. Volgens eens woordvoerder van Twitter is de introductie van deze nieuwe functie het gevolg van feedback van gebruikers, schrijft TechCrunch. Zij gaven aan dat de manier waarop het algoritme uitsneden van afbeeldingen maakte, niet naar tevredenheid functioneerde. Heel brede of verticaal langgerekte afbeeldingen krijgen ook na de huidige vernieuwing nog te maken met een uitsnede, maar Twitter zegt dat het bezig is om ook dat te verbeteren.

Het bedrijf is momenteel bezig met het testen van de mogelijkheid om afbeeldingen te uploaden in 4k-resolutie. Ook dit betreft een test van een nieuwe functie voor Android en iOS. Ook test Twitter een methode om afbeeldingen bij het maken van een tweet weer te geven, zoals die er voor andere gebruikers zichtbaar zullen worden.

Reacties (43)

[Juice2000]

Is "Bedrijf X voegt functionaliteit Y toe aan z'n app" nieuws? Voor iets simpels als een formaat van een plaatje? Dan zijn er een ziljard van dat soort nieuws-items per dag lijkt me.

Of is dit gewoon reclame voor twitter?

[Annihlator]

Sterker nog: de eerdere implementatie is nógal een designfout geweest, is het herstellen daarvan nieuwswaardig? M.i. niet, mag twitter zelf op haar eigen site en in de app wel aan een update-log toevoegen, maar de rest van de wereld (niet-twitter-gebruikers zoals ikzelf) zal het nogal aan hun reet roesten.

[Reutemeteut]

Ik denk dat de app van Pietje Puk idd geen nieuwswaarde heeft, maar een miljardenbedrijf wel. Hoe ik dit nieuws interpreteer is dat multimedia op social media (dus video's en plaatjes) veelal veel beter werken dan primair text in het aantrekken en langer op het platform houden. Als Twitter grotere plaatjes in een feed aan het testen is, kan dat zijn dat ze: 1. Potentieel meer mensen willen binnenhalen en vasthouden binnen het platform d.m.v. plaatjes en videos 2. Grotere advertentieruimtes en formats op het platform kunnen uitrollen.

[Reactie gewijzigd door Reutemeteut op 23 juli 2024 02:06]

[Lagonas]

Ik denk nou niet dat Twitter echt reclame nodig heeft.. Zeker niet van een tech website. Het is vooral nieuwswaardig vanwege het ongelukkige neveneffect die Twitter ondervind bij het uitsnijden die blanke mensen boven gekleurde mensen lijkt te verkiezen.

[Jochem]

Soms is het maken van een uitsnede van een foto noodzakelijk bv om afbeeldingen in een grid of in een tabel te kunnen tonen. Wij gebruiken daarvoor entropie en herkenning van een gezicht in een foto om de juiste uitsnede te maken die in eerste instantie relevant is voor de eindgebruiker.
Blijft een lastige opgave dit en afweging tussen layout en directe bruikbaarheid van de afbeelding.

[bertware]

Het probleem bij Twitter was dat dit algoritme enorm biased was, en bijvoorbeeld blanke mensen de voorkeur gaf:
https://twitter.com/colinmadland/status/1307111822772842496
https://www.theguardian.c...-image-cropping-algorithm

De eerste twitter link toont de afbeelding voor mij volledig, maar hier heb je een voorbeeld dat bvb president obama weg-cropped, onafhankelijk of hij boven of onder staat:
https://twitter.com/bascule/status/1307440596668182528

[_Pussycat_]

Het is niet biased. Hou toch eens op overal een racisme-sticker op te plakken.
Het algoritme was gemaakt om een relevant deel van een foto te vinden, niet om de lievelingspersoon uit te zoeken in een compleet ongebruikelijk formaat.
Zo een algoritme geeft dan bv. een kans van 97.6 % dat Obama een mens is en een kans van 98.2% dat trump een mens is. Door de dwang een uitsnede in standaardformaat te maken kies hij dan de 98.2%.

Aangezien foto's van mensen met donkere huidskleur vaak minder detail van het gezicht bevatten (door niet-optimale belichting) is in het algoritme de kans dat het een mens betreft kleiner.

Gewoon misbruik van een algoritme voor iets waar het nooit voor gemaakt of getest is, om vervolgens hard racisme te kunnen gaan schreeuwen. Er zijn heel veel echte voorbeelden van discriminatie. Daar mag graag aandacht aan gegeven worden. Dit is gewoon zeiken om te zeiken.

[Mayonaise]

Als de algoritme niet getraind is om mensen van een andere kleur even goed te herkennen als blanke mensen, dan is de algoritme biased.

Zeggen dat het niet biased is, omdat jij denkt dat mensen dan racisme roepen, is even fout als het direct roepen van racisme.

Deze algoritmes worden getraind door mensen en zullen altijd een menselijke bias bevatten, al dan niet bewust. Machine learning is voor veel developers een nieuwe fenomeen, wees er maar zeker van dat ze lessen uit hun fouten trekken. In de toekomst kunnen deze algoritmes werken met minder bias.

[:murb:]

In het geval van algoritmes hebben we het veelal over de statistische bias, uit hetzelfde woordenboek: "A systematic distortion of a statistical result due to a factor not allowed for in its derivation.", oftewel "Een systematische vertekening van een statistisch resultaat als gevolg van een factor die niet is toegestaan bij de afleiding ervan." Als het algoritme is geschreven als een gezichtsherkenningsalgoritme (of ingezet wordt als) en het geeft niet met dezelfde zekerheid donkere gezichten terug als lichtere dan is is er een systematische vertekening het resultaat. In het geval van Twitter: er werden dus systematisch meer witte gezichten getoond door toepassing van het algoritme.

Een dobbelsteen zou altijd willekeurig een getal van 1 tot 6 moeten geven. Wanneer je onbewust een dobbelsteen koopt die vaker op 6 terecht komt dan zeg je ook dat die dobbelsteen een bias heeft. Als je dat weet en je gaat door met het gebruik van die dobbelsteen dan ben je oneerlijk bezig.

Als je doorgaat met het gebruiken van een biased gezichtsherkenning-algoritme dan ben je oneerlijk bezig (het is voor ieder mens fijn om zichzelf te kunnen herkennen in de beelden die voorbij komen). Is het oneerlijk t.o.v. iemand met een andere huidskleur, dan heet dat racistisch.

[Reactie gewijzigd door :murb: op 23 juli 2024 02:06]

[mocean]

En hoe zou dat komen?
Vanaf het begin is fotografie ontwikkeld door witte mensen, waarbij foto's (ook in analoge tijd) eerder werden beoordeeld op tinten wit die men kon tonen dan tinten zwart. Later is deze 'gevoeligheid' gecopieer naar digitaal.

Zie o.a. https://www.nytimes.com/2...ial-bias-photography.html
https://www.slrlounge.com...-racial-bias-photography/

[_Pussycat_]

Dat komt ook doordat een donkere huid of object minder licht teruggeeft. Mijn zwarte kat is op foto's nagenoeg niet herkennen.

Maar wel een interessante link, moet ik zeggen. Kan inderdaad een deel van de problemen verklaren (naast de fysieke logica dat donker = weinig licht).

[Reactie gewijzigd door _Pussycat_ op 23 juli 2024 02:06]

[Mayonaise]

En dat komt weer omdat de algoritme niet goed genoeg getraind is met foto's van mensen van kleur en beperkte contrasten. Het is en blijft een bias door training. Machine Learning is zeker en vast in staat om ook mensen van andere kleuren goed te herkennen, indien het daarvoor getraind zou zijn. We kunnen zelfs resoluties upscalen met ML, waarom zou contrast een probleem vormen?

Copy paste van mijn andere reactie.

Het algoritme, niet de. Mij valt op dat hier steeds meer mensen lidwoorden niet uit elkaar kunnen houden.

Zoek dat eens op in een
woordenboek of hier

[Reactie gewijzigd door Mayonaise op 23 juli 2024 02:06]

[_Pussycat_]

I stand corrected betreffende de/het. Erg verrassend.

Betreffende goed herkennen: de algoritme kon ook donkere mensen goed herkennen. Wat niet ging is omgaan met foto's waar twee mensen boven elkaar staan op grote afstand, waar dan 1 mens gekozen wordt. Net als de vogel in het voorbeeld, dat resultaat was ook miserabel.

Een ML-model geeft een percentage waarschijnlijkheid, geen ja/nee. Als het ook katten en honden kan herkennen, zal het ook een kans uitrekenen dat Obama een hond of kat is.

[bertware]

Gewoon misbruik van een algoritme voor iets waar het nooit voor gemaakt of getest is

Dat was net het probleem, met goede data en goede tests had dit niet voorgekomen. Als je gezichtsherkenning wilt implementeren, gebruik je datasets met alle soorten gezichten, gelijk verdeeld. Dit is hetzelfde als je een gezichtsherkenning algoritme maakt maar niet (voldoende) traint op vrouwen, mannen, kinderen, whatever. Dan heb je een algoritme dat biased is naar wat je getraind hebt, met andere woorden is het algoritme biased volgens de bias in de trainingsdata. Heeft overigens niets met racisme te maken, als ik een fietspad-en-voetpad herkenning implementeer op basis van machine learning maar onvoldoende train op voetpad (of niet voldoende aanleer wat geen fietspad is) zal het model neigen om te veel als fietspad te markeren.

Hou toch eens op overal een racisme-sticker op te plakken.

Jij bent overigens degene die hier over racisme begint, ik geef gewoon wat meer achtergrond waarom Twitters uitsneden niet altijd goed werkten/waarom ze nu op mobiel de gewone foto's gaan tonen.

Edit: Deze tweet toont overigens dat eenvoudig de kleuren inverteren zorgt dat beide afbeeldingen gelijk scoren, en dus gewoon telkens de bovenste genomen wordt. Aan de informatie of detail in de afbeeldingen schort dus niets: https://twitter.com/bascule/status/1307454928806318080

[Reactie gewijzigd door bertware op 23 juli 2024 02:06]

[mac1987]

Ja het was een slecht algoritme, maar als je in diezelfde thread doorleest zie je dat een bril op het gezicht van Obama of een andere foto met een lachende Obama en niet lachende McConnell het algoritme omgekeerd laat kiezen (Obama boven McConnell). Ook het detailniveau speelt een rol. Er is dus zeker werk aan de winkel, maar dit weer classificeren als bias op huidkleur is sensatiezoekerij.

[Reactie gewijzigd door mac1987 op 23 juli 2024 02:06]

[GertMenkel]

Twitter gebruikte hiervoor tekstherkenning geloof ik, waardoor je vaak hele rare snedes kreeg bij foto's en kunst waar een copyrightmelding of handtekening onder staat.

Ik vind een bepaalde beperking in de hoogte eigenlijk wel praktisch. Ik hoop dat het gedrag wel weer aan te zetten is.

[mar-10]

Twitter gebruikt een algoritme dat herkent hoeveel bepaalde beeldelementen 'opvallen' (salience). Het bleek dat dit algoritme een racistisch neveneffect heeft, omdat het foto's van lichte gezichten over donkere gezichten prefereert.

[Danny]

Dat heet tegenwoordig ook al racisme?

[Ghost Dog]

Aldus de Van Dale:

racisme:
ra·cis·me (het; o)
2 discriminatie op grond van huidskleur

oftewel letterlijk wat het algoritme dus doet.

[Danny]

nee, dat algoritme doet het niet op grond van huidskleur. Er is geen huidskleur ingeprogrammeerd. Wat wel kan is dat het algoritme moeite heeft met het herkennen van bepaalde kleuren, wat dan vooral weer te maken zal hebben met het vaak beperkte contrast van foto's van mensen van kleur, simpelweg omdat huidskleuren naarmate ze donkerder zijn anders dienen te worden belicht om een goed resultaat op de foto te krijgen.
Mja, nu kun je dus beargumenteren dat fotobelichting racistisch is als je aanneemt dat discriminatie daadwerkelijk staat voor 'onderscheid' en niet voor 'behandelen als minder dan'.

Probleem is door ALLES de noemer 'racisme' te geven de impact van WERKELIJK racisme wordt gebagatelliseerd. Ik zou voorzichtig zijn met het gebruik van woorden als racisme en discriminatie, juist omdat het zorgt voor een complete verwatering van de betekenis van die woorden.

[L2GX]

Het is zeker theoretisch mogelijk dat een term als 'racisme' verwaterd.
Maar in de praktijk zie je gewoon vaak dat er een duidelijke breuk is tussen mensen die racisme in verschillende vormen erkennen, en mensen die enkel de engste interpretatie hanteren.
Dat is een ideologische breuk die met taalkunde niks te maken heeft.
Want die laatste categorie erkennen ook niet dat er gediscrimineerd zou worden op afkomst, religie, of taal.
En die laatste categorie erkent ook niet dat er diverse vormen van discriminatie zijn.
-Zo kan men onvoldoende rekening houden met diversiteit (bijvoorbeeld bij het trainen van een AI).
-Of men kan onontvankelijk zijn voor kritiek vanuit diverse hoek (bijvoorbeeld bij het intern bespreken van problemen bij het training van een AI)
-Of men kan stug volhouden dat er geen probleem is met diversiteit (gewoon ontkennen dat er een raciale bias is) .

Dat lijkt mischien geen racisme, maar de impact is dan wel verschillend gebaseerd op huidskleur, en als men genoeg weigert om dat te erkennen kan je ook spreken van racisme. Waarom zouden klachten van mensen met een donkere huidskleur namelijk anders een verschillend behandeling krijgen?

Nogmaals, in de praktijk zien we dat mensen die dit alles ontkennen niet van goede wil zijn. Ze zien ook wel dat het racisme is, maar dat vinden ze net leuk en terecht, en ze gebruiken stricte definities om het debat af te sluiten of te doen ontsporen.

Verder is er echt wel debat over of alle discriminatie in het westen nu per sé racisme moet heten, maar dat heeft natuurlijk geen impact op de schade die zulke discriminatie aanricht of de laakbaarheid ervan.

[Danny]

Fijn dat je me hier indirect en op subtiele wijze racist noemt. Tof ook dat dat gewoon een +2 oplevert. Goed bezig moderators

[Ghost Dog]

Dat er geen huidskleur expliciet is ingeprogrammeerd hoeft niet te betekenen dat huidskleur niet relevant is voor het algoritme. Bron: ik ben Data Scientist/Data Engineer.
Het is zeer aannemelijk dat het genoemde algoritme een kunstmatig neuraal netwerk is. Deze moet getraind worden op representatieve datasets, maar helaas is het een bekend probleem in Machine Learning dat datasets bijna altijd biased zijn, en dus van een enkele categorie veel meer voorbeelden hebben dan van de andere. Zonder het corrigeren voor deze "skew" zal het neurale netwerk dus ook geen neutrale voorspellingen doen.
Dat kan betekenen dat een voor persoonsherkenning getraind neuraal netwerk vooral afbeeldingen van blanke mensen heeft gezien, en dus afbeeldingen van mensen met een niet-blanke huidskleur simpelweg slechter kan herkennen. Hiervoor hoeft geen sprake te zijn van kwade opzet, maar de gevolgen zijn feitelijk hetzelfde wanneer het aan onwetendheid te wijten is.
Om deze reden is er veel weerstand tegen het gebruiken van neurale netwerken in bijvoorbeeld politiemonitoring.
Een vuistregelen in data science is: "Garbage in, garbage out.", en dat kan onder andere dus een biased (racistisch) algoritme opleveren met vervelende gevolgen in de echte wereld.

[Danny]

Ik bedoel natuurlijk niet dat er weinig/geen mensen van kleur in de dataset zijn ingevoerd, maar meer dat op veel amateurfoto's die persoon van kleur wellicht niet goed herkend wordt omdat het verdomde lastig is voor sensors (en vroeger film) om in bepaalde settings met hoog contrast een persoon te herkennen als de foto verkeerd is belicht (bv op de achtergrond ipv op de persoon) en dus (mogelijk zelfs zwaar) onderbelicht is.

Maar zelfs als er inderdaad te weinig gekleurde mensen zouden zijn ingevoerd is het algoritme an sich niet racistisch. Dat algoritme is gewoon een algoritme die moet werken met een incomplete dataset. Waardoor die dataset incompleet is kun je je afvragen. Dat kan geheel onbewust en onbedoeld zijn gebeurd en dan is het nogal zwaar om meteen van racisme te spreken. Het zet iemand die onbedoeld en abusievelijk een fout maakt op dezelfde voet als een sieg heil roepende neonazi. En andersom.

[Reactie gewijzigd door Danny op 23 juli 2024 02:06]

[Mayonaise]

Wat wel kan is dat het algoritme moeite heeft met het herkennen van bepaalde kleuren, wat dan vooral weer te maken zal hebben met het vaak beperkte contrast van foto's van mensen van kleur, simpelweg omdat huidskleuren naarmate ze donkerder zijn anders dienen te worden belicht om een goed resultaat op de foto te krijgen.

En dat komt weer omdat de algoritme niet goed genoeg getraind is met foto's van mensen van kleur en beperkte contrasten. Het is en blijft een bias door training. Machine Learning is zeker en vast in staat om ook mensen van andere kleuren goed te herkennen, indien het daarvoor getraind zou zijn. We kunnen zelfs resoluties upscalen met ML, waarom zou contrast een probleem vormen?

[supersnathan94]

De vraag is dan alleen wel of dat algoritme het ook ziet als huidskleur of alleen kijkt naar contrast. Want dat is bijvoorbeeld hoe video encoders werken.

Donkere stukken bevatten vaak minder detail dus een dergelijk algoritme let daar minder op.

[Ghost Dog]

Aangenomen dat het hier gaat om een kunstmatig neuraal netwerk, is dat volledig afhankelijk van hoe deze is opgezet.
Idealiter heb je zoveel mogelijk verschillende voorbeelden van alle categorieën die je wil kunnen laten herkennen, en stel je daar de zogenaamde loss function op af. Simpel gezegd bepaalt deze de score van elke input. Uiteindelijk is een neuraal netwerk meer te vergelijken met een zwarte doos waar je data in stopt en steeds beloont voor het geven van de goede output, en waar je metingen aan kan doen, dan met een expliciet geprogrammeerd algoritme als een video-encoder. Contrast kan hierin een factor zijn, maar met een goede trainings- en validatieset kan dit prima ondervangen worden. Dat dat mogelijk niet gebeurt komt door mede door de bias van de mensen die het algoritme gemaakt/getraind hebben.

[_Thanatos_]

Ook als je donkere meisjes leuker vindt dan aziatische meisjes, dat is dus ook rascisme. Rascisme is niet altijd slecht en ook niet altijd de intentie, maar het is strict genomen wel "discriminatie [onderscheid maken] obv huidskleur".

[ajolla]

Wat Van Dale discriminatie vind is iets anders dan wat jij er hier van maakt.

dis·cri·mi·na·tie (de; v) 1ongeoorloofd onderscheid dat gemaakt wordt op grond van bepaalde, m.n. aangeboren kenmerken zoals ras, geslacht, leeftijd, seksuele geaardheid: rassendiscriminatie; positieve discriminatie waarbij bep. achtergestelde groepen een voorkeursbehandeling krijgen"

[supersnathan94]

Hoezo is dat anders? Of is dit wel “geoorloofd”?

[ajolla]

Het lijkt me niet echt ongeoorloofd om verliefd te worden op personen met een bepaalde huidskleur, is niets mis mee lijkt mij.

[lilmonkey]

Zoals Wikipedia het verwoordt:

"Discriminatie is letterlijk "het maken van onderscheid". In de huidige maatschappelijke context betekent discriminatie: "het ongelijk behandelen van personen of groepen op basis van kenmerken van die personen of groepen die in de gegeven situatie niet relevant zijn".

Je sterker aangetrokken voelen tot personen van een bepaalde afkomst of met een bepaalde huidskleur is dus niet discriminatie in de manier waarop het woord in de praktijk vrijwel altijd gebruikt word; het is alleen discriminatie in de meest technische zin van het woord (en zelfs daar zou je over kunnen twisten).

Rascisme is niet altijd slecht

Racisme (geen 'sc') is altijd slecht. Racisme is een specifieke vorm van discriminatie die per definitie negatief is.

[_Thanatos_]

Dus toen ik korting kreeg bij een dierentuin in Japan omdat ik van westerse komaf ben, was dat geen racisme? Ik vind van wel, maar zeker wel in positieve zin.

Ik heb ook wel eens "gaikakujin-gyoza" gehad (buitenlander-dumplings) bij een maaltijd in een restaurant, waar Japanners voor moeten betalen maar buitenlanders krijgen ze gratis. Ook positief racisme, iyam.

Het klinkt alleen wel raar omdat racisme een woord met een hele negatieve lading is.

[Reactie gewijzigd door _Thanatos_ op 23 juli 2024 02:06]

[lilmonkey]

Nogmaals, racisme is per definitie negatief. Wat je beschrijft is hoogstens positieve discriminatie.

[_Thanatos_]

Discriminatie op ras is racisme. Maar positieve discriminatie op ras is opeens geen racisme meer? Ik ben (ook) geen expert, maar dat vind ik toch raar.

[lilmonkey]

Racisme is niet alleen discriminatie op ras. Racisme behelst in de basis de opvatting dat bepaalde rassen (meestal natuurlijk het eigen ras) superieur zijn aan anderen. Daaruit vloeit dus ook meteen voort dat het per definitie negatief is.

Als voorts die opvatting toegepast wordt in de vorm van ongelijke behandeling is het pas discriminatie.

[Oyxl]

Dit is waarschijnlijk de meest echte vorm van racisme die de wereld het afgelopen jaar gezien heeft. Zo zie je maar, geen goed idee om AI los te laten in de wereld

[field33P]

Twitter gebruikte ook een algoritme voor gezichtsherkenning wat nog wel eens suboptimale resultaten opleverde bij mensen van kleur. Dat zou ook nog wel eens een deel van de verklaring kunnen zijn.

[BramVroy]

Het probleem hiermee is net datgene waar Twitter zo veel kritiek op kregen: er waren verscheidene voorbeelden te vinden waarbij de uitsnede die gekozen werd biased was. Zo werd bijvoorbeeld relatie consequent het gezicht van een "white male" uitgesneden en zelden een "black female". Ik herinner me een bericht waar zelfs een blanke vrouw zelden werd getoond als er ook een hond in de foto stond, maar als het een man en een hond was, dan werd wel de man getoond.

Ik heb hier voornamelijk "Twitter-drama" over gezien en geen hard, experimenteel onderzoek naar hoe erg die bias nu effectievelijk was in dit geval. Maar ik zou er niet van verschieten. Deze systemen worden op grote datasets getraind en ze verzamelen al wat ze kunnen, maar erg vaak zit er in die dataset een hele hoop bias. Hoe je het ook draait of keert, bij machine learning heb je altijd "Bias goes in, bias comes out."

(Ik vermoed dat er wel iemand zal zijn die de discussie wil starten "ja maar, is die bias niet gewoon een reflectie van hoe de maatschappij is en moeten we dat daarom niet behouden?" en mijn antwoord daarop is "nee, als we de bias houden dan verergeren we het probleem in de maatschappij net en zo creeer je een dataspiraal waarin de bias alleen maar erger wordt, zowel in de maatschappij als in deze systemen.")

[mOrPhie]

* mOrPhie kijkt heel streng naar whatsapp en zegt “kijk zo kan het dus ook!”

[Jeaust]

Bij mij doet Whatsapp dit nu ook sinds een paar dagen, op Android.

[JDx]

Mijn laatste Tweet was 3840x2160, maar wat als ik post op 3440x1440 bijvoorbeeld?