ACM test hoe het de werking van algoritmes kan controleren

De Autoriteit Consument & Markt houdt een proef met de algoritmes die Muziekweb gebruikt, om te kijken hoe het de werking van dat soort algoritmes in de toekomst kan controleren. Volgens de autoriteit kunnen algoritmes nadelig uitpakken voor consumenten.

De ACM wil weten hoe het algoritmes kan controleren, door te kijken naar de manier waarop Muziekweb deze inzet om zijn gebruikers gepersonaliseerde suggesties voor muziek te geven. "In deze proef kijkt de ACM hoe het komt dat het algoritme bijvoorbeeld de ene persoon rockmuziek en de andere juist jazz aanbeveelt", aldus de autoriteit.

Met de test wil de ACM inzicht krijgen in de rol die algoritmes bij mogelijke overtredingen kunnen spelen, maar ook het doel en de uitgangspunten van de algoritmes en hoe de uitkomsten op basis van de input tot stand komen. Volgens de organisatie is dit inzicht nodig, omdat bedrijven steeds vaker algoritmes inzetten en deze invloed hebben op de werking van digitale markten en de keuzes die consumenten online maken.

Als voorbeelden van de invloed van algoritmes noemt de toezichthouder bijvoorbeeld het bepalen van prijzen, vraag en aanbod op de energiemarkt sturen en het personaliseren van het aanbod voor consumenten. De ACM beschrijft zijn positie ten opzichte van algoritmes en mogelijke inbreuken in een document en hoopt samen te kunnen werken met andere autoriteiten en inspectiediensten bij het toezicht hierop.

Reacties (34)

[BonJonBovi]

Lijkt mij dat dat begint met een duidelijke documentatie van de werking van dergelijke algoritmes. Ik weet niet of bedrijven daar heel happig op zullen zijn.

[Thonz]

Veel bedrijven weten zelf niet eens goed hoe hun algoritmes precies werken.

[SuperflipNL]

Plus hoe test of beoordeel je lerende algoritmes, zoals dat met kunstmatige intelligentie gaat die wordt getraind met beoordeelde set van data. Wat gebeurd of doet het algoritme met niet beoordeelde data of unieke situaties waar niet aan gedacht is.

[exorbitex]

Plus hoe test of beoordeel je lerende algoritmes, zoals dat met kunstmatige intelligentie gaat die wordt getraind met beoordeelde set van data.

Dat is toch de verantwoordelijkheid van het bedrijf dat deze techniek inzet? Als ik een automatische AI enhanced bomenzaag inzet dan vindt iedereen het normaal dat deze geen mensen omzaagt.

Laatst ook op BNR ging een heel verhaal over hoe moeilijk het is om Facebook te ontvlechten met alle algoritmes en technische mumbo-jumbo. Betreffende persoon had aan Timeline gewerkt en gaf aan dat hij na een jaar ongeveer begreep hoe Timeline werkte, om het probleem van complexiteit aan te geven.

Mij interesseert dit niet. Als er onwenselijke zaken gebeuren dan moet daar paal en perk aan gesteld worden, basta. Als je dat als bedrijf niet kunt, dan moet je misschien niet doorgaan met wat je aan het doen bent. Eigenlijk is het meer een toonbeeld dat je niet in control bent.
Ergste nog: Complexiteit als uitweg om onder wetgeving uit te komen, daar kunnen vooral grote partijen van profiteren.

[MSalters]

Als het goed is, is dat bij je cursus "inleiding AI" al behandeld. Je splitst je dataset standaard in 3 delen: training, validatie, test. De cijfers die je naar buiten rapporteert zijn de cijfers op de testset, en dat is de eerste keer dat je die set gebruikt.

Als je het fancy wil doen, dat splits je je dataset een paar keer op verschillende manieren, train je herhaaldelijk, en rapporteer je een gemiddelde over de verschillende testsets. Dit heet "k-fold crossvalidation".

Wat betreft "out of training" data, daar hebben we al jaren zogenaamde "Bayesian Neural Networks" voor. Die kunnen ook de kans berekenen dat ze naar data kijken die ze nooit eerder hebben gezien.

[CAPSLOCK2000]

even vooraf: in deze discussie is het lastig dat de termen 'algoritme' en 'AI' tegenwoordig door elkaar heen gebruikt worden. Alle AI is gebaseerd op algoritmes, maar lang niet alle algoritmes vallen onder AI, al is het onderscheid vrij arbitrair.
In praktijk gaat het vooral om het verschil tussen algortimes die "continu voorspelbaar zijn" en algoritmes die dat niet zijn. Daarmee bedoel ik algoritmes die onder een specifieke set van omstandigheden op eens een heel ander resultaat geven dan wanneer de inputs subtiel anders zijn.

Wetenschappelijk gezien voldoet dat van kruisvalidatie, maar wettelijk gezien niet.
Je kan alleen met zekerheid iets zeggen over data die je getest hebt.
Juist bij allerlei AI-toepassing mag je er niet gaan interpoleren en aannemen dat het dan in alle gevallen wel goed werkt.
Met kansen werken kan ook niet. Bij kansen heb je immers ook altijd de kans dat je toevallig het verkeerde kiest. Juist in de gevallen waar het hier om gaat ("de computer zegt nee") kun je dat niet hebben. Je moet altijd kunnen uitleggen waarom een bepaalde beslissing wordt genomen.

In luchtvaartindustrie heeft een breed verbod op AI-technieken omdat die niet gegarandeerd voorspelbaar zijn. Je kan een neuraal netwerk onmogelijk onder alle denkbare situaties testen en je mag er ook niet van uit gaan dat er geen vreemde pieken of afwijkingen in het gedrag zitten*.

Bayesian systemen hebben al snel last van niet ter zake doende aspecten. Het systeem heeft geen idee welke aspecten relevant zijn en welke niet. Wij mensen weten dat de kleur van je ogen geen invloed heeft op je rijvaardigheid. Als je zo'n systeem "vraagt" om uit te leggen waarom een bepaalde besilssing is genomen, dan zal er ook bij staan dat de kleur ogen van de verdacht een invloed van 0.0001% invloed heeft gehad op de beslissing. Helemaal 0 wordt het nooit. Maar ga in een rechtszaak maar eens uitleggen waarom het systeem toch iets met je oogkleur heeft gedaan en iedere advocaat zal dan betogen dat dit laat zien dat het systeem niet eerlijk is.
Nu kun je zeggen dat je dit soort informatie dan niet aan het systeem moet voeren, maar dat is nu net de context waarin deze techniek gebruikt wordt: er zijn vage verbanden en incomplete informatie waar je toch iets mee wil doen zonder dat van te voren weet wat relevant is en wat niet.
Als we van te voren precies wisten hoe het werkt dan hadden we het wel direct opgeschreven.

* De lastige vraag is waarom we dat van mensen wel accepteren, die maken immers ook gekke fouten. Het verschil is misschien wel dat we mensen kunnen straffen voor hun fouten maar computers niet.

[Reactie gewijzigd door CAPSLOCK2000 op 23 juli 2024 22:14]

[MSalters]

Tja, ik denk dat daar toch jouw vooroordelen doorklinken. Is de oogkleur inderdaad voor 0,0000% gecorreleerd met de rijvaardigheid, in plaats van 0.0001%? Ga jij nu zonder verder bewijs beweren dat het ondenkbaar is dat bepaalde geneesmiddelen de oogkelur én de rijvaardigheid beïnvloeden? En dat het even ondenkbaar is dat hetzelfde geldt voor ongelukken, drugs, teveel zonlicht, ... ? Jij stelt tenslotte dat er 0.0000% correlatie is. A priori is die claim net zo geloofwaardig als de hypothese van de AI dat die correlatie 0.0001% is. En de AI heeft de feiten aan z'n kant.

[CAPSLOCK2000]

Je laat precies zien wat het probleem is. Het kan inderdaad. Maar je moet je afvragen hoe nuttig en betrouwbaar die informatie is. Hoeveel data heeft die AI gehad om betrouwbaar iets te zeggen met een nauwkeurigheid van 4 cijfers achter de komma? Hoeveel mensen hebben precies die medicijnen en hebben een vergelijkbaar ongeluk? Ga je daar iemand op veroordelen? Natuurlijk niet op 1 stukje bewijs van 0.0001%, maar wat als er 60.000 piepkleine aanwijzingen zijn van 0.0001%?

Dat kan twee kanten opwerken. Ofewel betoogt de advocaat dat al die stukjes zo klein en onbetrouwbaar zijn dat je iemand onmogelijk kan veroordelen. Of, de andere kant op, de advocaat moet duizenden minimale aanwijzingen uitzoeken en bestrijden waarbij er geen enkel direct bewijs is maar alleen maar correlatie.

Je gaat ook heel snel grenzen over die je niet over wil gaan. Zo'n systeem zal ook kansen gaan toekennen op grond van huidskleur, geloofsovertuiging, politieke voorkeur en talloze andere aspecten waarvan wij besloten hebben dat ze geen factor mogen spelen. Want zo'n redanatie als "is het ondenkbaar dat oogkleur iets zegt over je rijvaardigheid?" werkt natuurlijk ook op dat soort gebieden. Voor je het weet staat iemand met "bewijs" te wapperen dat groep X crimineel is.

Maar eigenlijk is dat allemaal niet het punt dat ik probeerde te maken. Een typisch AI-systeem zoals een neuraal netwerk kan miljarden verschillende outputs geven die niet lineair met elkaar of met de inputs zijn verbonden. Je kan de werking van zo'n systeem alleen statisch testen en dan hopen dat er geen gekke uitzonderingen of sprongen zijn op een punt dat je niet hebt gemeten. Je kan gekke resultaten krijgen:

P(crimineel|schoenmaat = 39) = 0.0001%
P(crimineel|schoenmaat = 39.999) = 0.0001%
P(crimineel|schoenmaat = 40.000) = 99%
P(crimineel|schoenmaat = 40.0001) = 0.0001%
P(crimineel|schoenmaat = 40) = 0.0001%
En je kan zo'n systeem eigenlijk niet controleren anders dan alle denkbare schoenmaten te proberen.
Als je 39.999, en 40.0001 hebt gecontroleerd mag je er niet van uit gaan dat 40.000 daar tussen in ligt, het kan iets totaal anders zijn. Het is niet waarschijnlijk, maar ook niet uit te sluiten.

Daarom zijn dit soort systemen niet geschikt.

Bij overtuigend bewijs wil je er niet van afhankelijke zijn van alle details van het bewijs. Anders krijg je de volgende situatie: "Meneer de rechter, we hebben ons vergist. De linker schoenveter van de verdachte blijkt 0.04mm langer te zijn dan we dachten. Nu zegt de computer dat de verdacht onschuldig is."
Zo iets is niet waarschijnlijk, maar zeker niet uit te sluiten.


P(crimineel|oogkleur = groen) = 0.0001%
P(crimineel|oorbellen = true) = 0.0001%
P(crimineel|schoenmaat && oogkleur && oorbellen) = 80%

[MSalters]

Tja, jij ziet er blijkbaar geen probleem in om met "4" (6) cijfers achter de komma te zeggen dat er 0.0000% kans is. En dat is een gevoel zonder feiten.

Ik vermoed dat je mijn argument niet snapt, want je begint over "hoeveel mensen hebben precies die medicijnen?" Zoals ik al zei, de AI weet niet wáárom er een correlatie is. Maar jij bent degene die beweert dat de AI de correlatie te hoog inschat en dat die 0.0000% moet zijn. Jij ontkent elke mogelijke correlatie. Die medicijnen zijn één voorbeeld wat ik opbracht om aan te tonen dat het helemaal niet vanzelfsprekend is dat de correlatie 0.000% is. Daarom heeft jouw claim een bewijs nodig.

En hoeveel data heeft de AI gehad? Het vak heet niet voor niets big data. Een miljoen datapunten is niet extreem veel meer. Het is geen 1995 meer, toen de MNIST dataset 60.000 voorbeelden bevatte.

Wat betreft je "schoenmaat" voorbeeld, er zouden AI researchers een moord voor doen als een AI zich zo grillig zou kunnen gedragen. Een dergelijke spike lukt je simpelweg niet. Uiteraard is den netwerk niet-linear, en zo'n spike ook. Maar zoals één van mijn eerste hoogleraren al zei: niet-lineaire systemen zijn net zoiets als niet-olifante dieren. Je hebt er nogal veel van, en je mag nooit aannemen dat twee systemen vergelijkbaar zijn alleen omdat ze niet-lineair zijn.

Concreet kan die spike niet ontstaan omdat je daar twee pieken in de partïële afgeleiden hebt (dP/dSchoen) die precies even groot zijn en vrijwel op hetzelfde punt. Eén zo'n piek is al extreem onwaarschijnlijk - hoe krijg je die over de backpropagation van miljoenen samples? (alweer - Big Data).

[Jerie]

De vraag was:

Wat gebeurd of doet het algoritme met niet beoordeelde data of unieke situaties waar niet aan gedacht is.

Unieke situaties kan bijvoorbeeld iemand zijn die een donkere huidskleur heeft ipv de gebruikelijke huidskleur in de trainingsdata (blank). Niets wat jij zegt zou de ML onderzoeker wakker schudden over dit probleem. Ironisch genoeg is dit overigens een praktijkvoorbeeld.

[Reactie gewijzigd door Jerie op 23 juli 2024 22:14]

[MSalters]

Inderdaad een realistisch voorbeeld van een biased traingsset.

Een Bayesian Neural Network zal dan zeggen "lijkt niet op de gezichten die in mijn trainingssset zaten". Daar schudt een ML onderzoeker inderdaad niet wakker, dat is gewoon een AI wat zich volgens het boekje gedraagt. Die AI probeert ook niet te bedenken wáárom de gezichten met een donkere huidskleur niet in de trainingsset zaten.

En het is ook niet zo heel erg complex, technisch gesproken. Vergelijk het met multiple-choice proefwerken. Die kun je ook op twee manieren nakijken: of je telt elke fout even zwaar, of je telt een fout antwoord zwaarder dan geen antwoord. In het eerste geval moet je gokken als je het niet zeker weet. Maar in de parktijk wil je geen AI die maar gaat gokken als die het niet weet.

[Morrar]

Dit is een prima methode, maar vaak wordt daarmee alleen de accuratesse van het model beoordeeld. Waar het hier om gaat is juist de "eerlijkheid" van een model, bijvoorbeeld of bepaalde subpopulaties slechtere uitkomsten krijgen dan anderen terwijl dat niet gerechtvaardigd is.

Syri is wat dat betreft een berucht voorbeeld; waar je woonde bepaalde in belangrijke mate of je verdacht was. Zie o.a.: nieuws: Overheid stopt met controversieel frauderisicoalgoritme SyRI. Zaken als selection bias (vb politie die bepaalde groepen vaker controleert dan anderen) of label bias (politie die harder optreed tegen bepaalde groepen dan anderen) zijn zeer reeele risico's.

Als je historische trainingsdata niet zuiver is, loop je enorm risico om de bestaande discriminerende patronen voort te zetten of zelfs te legitimeren met een algoritme... Train en test splits gaan daar weinig aan veranderen, omdat beide sets onderhevig zijn aan dezelfde biases.

Daarom is het ten eerste belangrijk om te begrijpen wat je algoritme doet; op dit gebied zijn er gelukkig wel vorderingen gemaakt. Zie o.a.: https://christophm.github.io/interpretable-ml-book/. Een package als SHAP is bijvoorbeeld een concrete implementatie hiervoor: https://github.com/slundberg/shap.

Verder kun je een algoritme ook belonen voor andere zaken dan puur accuratesse. Bijvoorbeeld equal opportunity of equal outcomes m.b.t. tot bepaalde "gevoelige kenmerken" zoals ras of religie. Zie bijvoorbeeld: https://www.youtube.com/watch?v=cIGX-34GwJM

Of je maakt een model dat probeert de "gevoelige kenmerken" te voorspellen uit de uitkomsten van je model. Als dat (adverserial) model succesvol is, dan is je originele model waarschijnlijk niet erg eerlijk. Zie o.a. https://godatadriven.com/...ith-adversarial-networks/.

[MSalters]

Ik heb dat boek even snel gecheckt. Dat is niet echt realistich. Het stelt serieus voor om te kiezen uit de volgende 6 modellen: "Linear regression, Logistic regression, Decision trees, RuleFit, Naive Bayes, k-nearest neighbors". Ik ben in 1999 in de AI afgestudeerd, dit was toen al geen onbekend lijstje. Maar het negeert dus het éne model wat de AI hype ontketent heeft, de neurale netwerken. Zelfs een decision tree ensemble (forest) legt het af tegen een enkel neuraal netwerk, laat staan een ensemble van netwerken. En dat forest verliest dan weer aan uitlegbaarheid - je krijgt 250 verschillende verklaringen, meestal tegenstrijdig.

Adverserial networks zijn een veel realistischer idee; dat past wel in deze eeuw.

[Wilglide]

Je zal echter altijd onverwachte edge cases hebben bij bayesian neural networks.
https://medium.com/@livew...-ai-adoption-dc1cebeef72c

Verder discrimineert google images bijvoorbeeld, omdat mensen discrimineren, dat soort soort correlaties zou je misschien willen neutraliseren. Als dat al mogelijk is.

En zodra correlaties voor causale relaties worden aangezien of goede metingen het doel zelf worden, heb je de poppen helemaal aan het dansen.

Verder heb je supervised (training data, NN) en unsupervised learning (e.g. trial-and-error, cost function, monte-carlo).

De "werking van algoritmen' uit de titel is me dan persoonlijk ook veel te breed gesteld.

[MSalters]

Sorry, maar hetartikel wat je aanhaalt gaat niet over Bayesian Neural Networks, en ook niet eens over out-of-trainingsset beelden.

[Skit3000]

Redelijk simpel; in dat geval moet je de pipeline en data waarmee je je model hebt getraind beschikbaar houden. Dat is sowieso wel een slim plan aangezien je het wiel niet opnieuw uit wilt vinden als je je model wilt hertrainen omdat na (je eigen) testen blijkt dat sommige situaties niet zo goed afgehandeld worden als je zelf wilt.

[downtime]

Lijkt mij dat dat begint met een duidelijke documentatie van de werking van dergelijke algoritmes. Ik weet niet of bedrijven daar heel happig op zullen zijn.

Daar hoeven ze ook niet happig op te zijn. Ik ben niet happig om voor rode stoplichten te stoppen maar dat doe ik toch omdat ik anders vroeg of laat de lange arm van de wet achter me aan krijg.

[Zer0]

Ah, ongelukken voorkomen is ondergeschikt aan boetes voorkomen?
Dezelfde instelling als bedrijven hebben, alleen worden die als "slecht" betitelt.

[_Pussycat_]

Ik geloof dat je het niet zoooo letterlijk op moet vatten hè.

[Simyager]

Ik doe het omdat ik het niet fijn vind om tegen iemand te botsen en een ongeluk te veroorzaken, waarbij mensen gewond kunnen raken. Zolang het maar werkt hè .

[RefriedNoodle]

Lijkt mij dat dat begint met een duidelijke documentatie van de werking van dergelijke algoritmes. Ik weet niet of bedrijven daar heel happig op zullen zijn.

Ben het met je eens dat goede documentatie altijd essentieel is.

Echter wanneer het gaat om AI & ML, wordt de uitkomst van algoritmes een heel stuk lastiger te voorspellen aan de hand van documentatie, aangezien het gedrag niet eenduidig is, maar wordt beïnvloed door data. Dat is juist het idee erachter, dat het dingen ziet en beslissingen neemt die (hopelijk) beter zijn dan wanneer ze uit deterministische regels komen.

[BonJonBovi]

Dat snap ik volledig, daarom heb ik het ook over de werking en niet zozeer over de uitkomsten.

Zelfs de werking van algoritmes of ML/AI is vaak niet begrepen, gezien veel van de beste methoden 'blackboxes' zijn. Normaal gesproken geen probleem, tenzij er een maatschappelijke impact is of een publieke functie dient.

[fastedje]

Amazon is ook voorbeeld een van een bedrijf wat er niet geheel doorzichtige algoritmes erop nahoudt. Zo zijn de beoordeling bij een product niet aan het product zelf maar meerdere producten gerelateerd: op deze manier komt een nieuw product bovenaan te staan, ook al heeft het slechte of weinig reviews.

Vliegmaatschappijen hebben ook zeer dubieuze algoritmes om de prijs voor je ticket te bepalen: het resetten van je cookies of het veranderen van je IP kan je veel kosten besparen.

[jeroen79]

Zo dubieus zijn die algoritmes niet.
Ze doen precies waarvoor ze bedoeld zijn: De vliegmaatschappij zo veel mogelijk geld opleveren.

Dat algoritme is dan niet anders dan de autoverkoper die weet dat ik een bepaalde auto heel graag wil omdat hij me al vier keer langs heeft zien komen.

[janbaarda]

vraag en aanbod op de energiemarkt sturen

De energiemarkt, APX, heeft een van de simpelste en doorzichtige algoritmes. Vraag en aanbod sturen de markt, niet andersom.

[K-aroq]

Precies. Ik gebruik de afgelopen dagen meer gas, niet omdat ik wat minder ben gaan betalen bij Eneco, maar omdat het kouder is geworden.

[ocf81]

Ik denk dat men dit eigenlijk alleen maar kan doen door een audit te houden waarbij de code (en aanverwante zaken die hebben geleid tot de totstandkoming van het algoritme) tegen het licht gehouden wordt. Alleen van de buitenkant naar iets kijken zal niet zo veel opleveren.
Als men dit, net als bij de jaarrekening, moet laten doen door iemand met verstand van zaken denk ik dat je er een betere maatschappij aan over houdt. Mede omdat dan niet alleen de gelijke behandeling kan worden beooordeeld, maar ook de beveiliging.

[Reactie gewijzigd door ocf81 op 23 juli 2024 22:14]

[GMJansen]

Wat @fastedje ook all benoemt: dit is nog niets in vergelijking hoe vliegtuigticket prijzen gemanipuleerd worden.

Maar mijn idee zijn dit de grootste winstpakkers van het online shoppen.
Voor de vliegtuigmaatschappijen en de verkopers dan wel te verstaan.

Het is al jaren een zeer groot aanhoudend gerucht, en ik mag ondertussen ook wel zeggen bekend fenomeen, dat de algoritmen er goed in slagen om je flink uit te kleden.

Eén van mijn voorbeelden is een vliegreis naar Portugal.
Klassiek voorbeeld: je checkt enkeke keren de sites voor de meest optimale prijs, route en tijden.
Als je dan na 2 weken eindelik tevreden bent om nu te boeken, blijken de tickets per persoon ruim honderd euro duurder.

En niks dat helpt hoor.
Vanaf je werk inloggen (=ander ip, andere pc, andere browser) helpt niet aangezien de route, tijden, aantal personen hetzelfde zijn.
Ze hebben je gewoon bij de b*llen.

[BLACKfm]

Ik vraag mij meer af of bedrijven de term 'Algoritmes' niet iets te veel bezigen om maar te kunnen roepen 'oh, dat is een lastig verhaal om uit te leggen, laat ik daar maar niet over beginnen', terwijl er op de achtergrond niks anders gebeurd dan een A+B+C=D scriptje.

Net zo'n term als AI.

Ik vind het allemaal niks bijzonders terwijl het in principe niet veel meer is dan een bepaald muzieknummer te voorzien van allemaal meta-data en van alle nummers die je luistert een rekensommetje te maken. Luister je statistisch gezien veel nummers waar het genre 'klassiek' aan hangt, dan stel je voor om een willekeurige ander nummer voor te schotelen waar je nog niet naar geluisterd hebt die procentueel voldoen aan je luisterprofiel (Klassiek is een breed genre, maar als daar ook nog karakteristieken als 'upbeat' en 'violin' termen aan hangen omdat je ook pop-muziek luistert die die termen aan de nummers hebben hangen kom je steeds meer in de richting van het nummer dat je aanbevolen krijgt).

Onderzoek naar dit soort praktijken bij een muziekaanbieder lijkt mij helemaal niet zo interessant. En het lijkt mij meer een onderzoek van de ACM omdat ze zelf niet technisch genoeg zijn om te begrijpen hoe zoiets in elkaar steekt. Voor muziek is dat ook erg laagdrempelig, daar zit immers relatief weinig metadata aan je persoonlijke profiel.

Maar vroeger was het gewoon een gevalletje variabelen met elkaar vergelijken, tegenwoordig heet dat allemaal AI en Algoritmes...

[mjz2cool]

En hoe bepaalt een dienst chronologisch wat voor muziek het aan een gebruiker zal bieden? Jij denkt waarschijnlijk aan social media als Facebook.

[Reactie gewijzigd door mjz2cool op 23 juli 2024 22:14]

[K-aroq]

Voor content (youtube, spotify, etc) zou je algoritmes compleet kunnen afschaffen. Je zoekt op iets en krijgt alle video of tracks die aan de zoekterm voldoen en daarmee ga je aan de gang.

[mjz2cool]

Maar dan mis je alle content die niet letterlijk voldoet aan je zoektermen. Juist dat soort sites lenen zich goed voor algorithmes om content voor te schotelen.

[Reactie gewijzigd door mjz2cool op 23 juli 2024 22:14]

[downtime]

Dat lijkt me juist hopeloos. Stel je logt in op Youtube en je krijgt gewoon de 100 laatst geuploade filmpjes te zien i.p.v. zaken die iets met jouw interesses te maken hebben. Er wordt zo vreselijk veel op Youtube gezet dat er bij de laatste 100 filmpjes waarschijnlijk helemaal niets zit wat mij interesseert.