Meta liet jarenlang websites scrapen terwijl dat op Facebook niet mocht

Techgigant Meta betaalde jarenlang een bedrijf om websites te scrapen, terwijl het juist probeerde te voorkomen dat die praktijk plaatsvond op Facebook en Instagram. Dat schrijft financieel persbureau Bloomberg. Meta zou geen sites van concurrenten hebben laten scrapen.

Meta wilde met het scrapen onder meer profielen van merken op Facebook voorzien van inhoud, schrijft Bloomberg. Ook wilde het met de praktijk kwaadaardige websites en phishingsites opmerken. Het bedrijf dat websites scrapete voor Meta, Bright Data, biedt onder meer ook aan om data te scrapen van Twitter en TikTok.

Bloomberg ontdekte de praktijk in rechtbankdocumenten, waaruit bleek dat Meta tot 2021 een professionele relatie had met Bright Data om data te laten scrapen. Meta is daar op zijn eigen platforms op tegen en probeert actief scraping tegen te gaan op onder meer Facebook en Instagram.

Meta stopte de samenwerking met Bright Data na te hebben ontdekt dat laatsgenoemde voorwaarden over het geautomatiseerd verzamelen en verkopen van data had geschonden. Dat gebeurde vorig jaar. Meta heeft volgens de documenten minstens zes jaar gebruikgemaakt van de diensten.

Bright Data-webscraping

Reacties (49)

waarom is dat (scrapen) zo 'schadelijk en onwenselijk' in mijn beleving indexeert men info die 'men' zelf online geknikkert heeft [..] wat is het probleem?!

//edit; stel ik laat mijn achterdeur thuis open staan - toko wordt leeg gehaald. Tuurlijk; dat 'mag niet' maar gebeurd toch.

Idem voor online zetten van je 06-nummer op marktplaats, moet je niet raar staan opkijken dat je gebelt/gesmst wordt door mensen waar je helemaal niet op zit te wachten. Het mag niet, betekend niet dat niet gebeurd

gewoon beetje verstandig omgaan met wat je online flikkerd - of het nu wel of niet geindexeerd mag worden doet niets af aan de realiteit; het gebeurd toch

[Reactie gewijzigd door himlims_ op 2 februari 2023 13:41]

Het is niet alleen scrapen, daar is nog wat voor te zeggen. Het gaat om scrapen en dan die informatie te combineren om profielen op te stellen.

Gewoon een voorbeeld: Op Linkedin staat dat je voor 1 jaar niet hebt gewerkt en op facebook heb je aangegeven dat je ernstig ziek bent en dankt iedereen voor de bloemen die ze hebben gestuurd en dat ze langs komen voor zieken bezoek een jaar lang.

Wellicht niet nu, maar ik kan mij zomaar voorstellen dat over een tijd deze informatie ook ter beschikking komt van verzekeraars en ze je dan collectief gaan afwijzen. Als je kijkt naar hoe de wetgeving aan het veranderen is dan is dat niet echt een vooruitgang.

Voorbeeld 2: Je hebt in een heel ver verleden op een forum hulp gevraagd omdat je telefoon abbonement was afgesloten. Je kon de rekeningen niet meer betalen om wat voor reden dan ook en je bent je nummer kwijt. Op een gegeven moment had je het wel kunnen regelen, maar je nummer ben je kwijt en je wilt nu 10 jaar later weer een abonnement nadata je 10 jaar prepaid hebt gebruikt. Je salaris is 20k per maand, huis is afbetaald, lease auto, en al 9 jaar schulden vrij. Als deze informatie wordt gecombineerd en telco's hebben toegang tot profielen dan kunnen ze besluiten om jou geen abbo te geven ondanks dat je 9 jaar in de plus zit.

Dit zijn enkel voorbeelden om helder te maken dat het gaat om de mogelijkheid om data te combineren en hiermee risico profielen op te stellen. Ik ken echt tich bedrijven die hier een flinke som geld voor over zullen hebben.

[Reactie gewijzigd door Praetextatus op 2 februari 2023 13:41]

An sich niets mis mee, maar het is wel een beetje, of eerlijk gezegd méér dan een beetje, hypocriet als je zelf wel scrapet (of een bedrijf daartoe inhuurt), maar scrapen op je eigen website verbiedt.

Heel erg geloofwaardig en consequent kom je dan niet meer over.

An sich niets mis mee, maar het is wel een beetje, of eerlijk gezegd méér dan een beetje, hypocriet als je zelf wel scrapet (of een bedrijf daartoe inhuurt), maar scrapen op je eigen website verbiedt.

Heel erg geloofwaardig en consequent kom je dan niet meer over.

Ik vind het niet leuk maar niet hypocriet. Facebook heeft, voor zover ik weet, nooit gedaan alsof ze scraping verbieden om hun gebruikers te beschermen. Ze doen het om de data voor zichzelf te houden.

In het vorige artikel dat Tweakers hier over screef staat bijvoorbeeld:

Meta beweert daarom ook niet dat scraping een illegale vorm van hacken is, of dat deze praktijk inherent illegaal is. In plaats daarvan doet Meta een beroep op de gebruikersvoorwaarden van de sociale media en op de Digital Millennium Copyright Act, een auteursrechtenwet.

Dus hoewel ik Facebook een rotbedrijf vind kan ik niet zeggen dat dit gedrag hypocriet of inconsequent is. In tegendeel, ik vind het heel logisch en doordacht en in lijn met wat Facebook verder allemaal doet. Als je doel is dat Facebook zoveel mogelijk informatie heeft en de rest van de wereld zo weinig mogelijk dan is dit een hele logische beslissing. Ook daar is op zich niks mis mee en is in weze wat ieder bedrijf doet dat handelt in informatie.
Dus hoewel er veel is dat ik graag anders zou zien bij Facebook hoort dit daar niet echt bij, zeker niet uit principe. Eventueel zou je me wel kunnen overtuigen dat de dominante marktpositie van Facebook betekent dat ze meer rekening moeten houden met de belangen van andere bedrijven. Veel problemen zouden een stuk kleiner zijn als Facebook niet zo groot en dominant was.

Ik ben het met je eens.
Soms moet een bedrijf de eigen regels overtreden om te zorgen dat regels nageleefd worden. Er zijn ook legio bedrijvers die (ethische) hackers inhuren om te proberen hun systemen te hacken.
In dit geval had het scrapen een duidelijk doel om FaceBook een beetje "schoon" te houden.

Het bestraffende vingertje is in dit geval voor Bright Data, die de informatie doorverkocht.

Het is Meta. Die hebben hypocrisie toch uitgevonden?

De naamsverandering zegt alles

Meta wilde met het scrapen onder meer profielen van merken op Facebook voorzien van inhoud.

Tja, erg geloofwaardig is het niet, maar of iemand het door heeft gehad behalve de merken zelf waar het om ging is nog maar de vraag. Ai kan tegenwoordig scripties maken die niet meer van echt te onderscheiden is. Als je niets met meta doet dan ga je ook niet echt kijken of er een profiel van jouw merk actief is dus ze hebben het heel lang kunnen doen.

Eigenlijk hebben ze gewoon data diefstal gedaan om hun members een gevoel te geven dat hun favoriete merk ook de meta experience omarmt om zodoende de gebruiker zich meer te laten verbinden met meta zodat hij weer vaker terug komt en of langer blijft komen. Best wel slim eigenlijk want als jij helemaal in to de springende egels bent en je ziet elke dag een nieuwe gescraapte post van jouw springende egel merk dan is de kans groter dat je vaker naar dat profiel gaat kijken, en dus meta meer gebruikt. Rekening houdend met het aantal gebruikers op meta kan dat miljoenen meer hits en reclame inkomsten opleveren.

staat in het gelinkte artikel

Doorgaans staat er in de gebruikersvoorwaarden van websites nadrukkelijk aangegeven of scraping van data is toegestaan of niet. In beginsel is het geautomatiseerd verzamelen van openbare data niet illegaal, maar het komt regelmatig voor dat er vervolgens illegale handelingen rondom de verkregen data plaatsvinden. Daarbij suggereert Meta dat het in de twee aanklachten niet om openbare data gaat, maar juist om afgeschermde data die alleen toegankelijk is voor gebruikers met een account.

Instagram verbiedt daarom scraping en het delen van gegevens die zo zijn verkregen: "Je mag niet proberen om op ongeautoriseerde manieren accounts te maken of informatie te verzamelen of hier toegang toe te krijgen. (...) Je kunt geen account of gegevens verkopen, licentiëren of kopen die zijn verkregen van ons of via onze service. (...) Je mag iemands privégegevens of vertrouwelijke informatie niet plaatsen zonder toestemming en je mag niets doen wat iemands rechten schendt, inclusief intellectuele-eigendomsrechten." Facebook heeft vergelijkbare gebruikersvoorwaarden.

Deze snap ik niet:

... om afgeschermde data die alleen toegankelijk is voor gebruikers met een account.

Hoe kan afgeschermde data worden ge'scraped'? Dan is het blijkbaar niet afgeschermd.

Alleen beschikbaar als je een account hebt is ook afgeschermd. Door een account aan te maken ga je een overeenkomst aan.

De scraper gebruikt dan een account :-) net zoals je hier op het forum de members-only tag kunt omzeilen met een account.

Deze dan;
review: Een URL binnendringen, is dat strafbaar?

Met een beetje moeite kan ik zo op tig sites urls scannen waar ik helemaal niet hoor te zijn,
en als je beetje verstand hebt van websites, welke programma’s gebruikt zijn,
dan weet je ook nog eens vaak welke url-structuur wordt gebruikt.


Maar mag dat. Nee, officieel niet, je hoort daar niet thuis te zijn.


Dan komt het tweede,
je doet iets wat niet mag en je haalt er financieel gewin uit, in casu van Facebook.


Dan kan je vervolgd worden. Daar waar je zogeheet een huis binnenloopt en beetje rondkijkt en vertrekt zonder iets mee te nemen/kopiëren/etc,

daar zie je dat Facebook jouw materie gewoon kopieert voor eigen gewin.


En in het verleden leek het een lege huls dit artikel,
met AI die steeds “slimmer” wordt en steeds meer in staat zal zijn om content te gaan kopiëren moet daar steeds strenger op worden gecontroleerd.

Geen probleem inderdaad. Beetje hypocriet misschien maar goed.

Kost bandbreede en levert niets op aan inkomsten. Je zou op deze manier de informatie van Facebook elders kunnen gebruiken of tonen zonder dat Meta daar inkomsten van heeft en alleen kosten aan data.

Dus ze hebben veel liever dat je of een API van hun gebruikt waar ze controlle over hebben (en misschien geld voor vragen) of dat mensen zelf naar hun advertentie social media platform gaan en inkomsten genereren.

Dan zijn de spiders van Google en Bing ook illegaal.

Google doet op haar beurt ook weer veel moeite dat je de ranking in haar index niet probeert te scrapen (en ze hebben net als een cloudflare een aardig beeld van proxies en ip-adressen, dus je loopt al gauw in de gaten met een berg captcha voor je neus).

Volgens mij gaat het er vooral om dat het erg hypocriet is om zelf scrapen niet toe te staan van Facebook, terwijl dat natuurlijk nuttig kan zijn, terwijl ze vervolgens zelf wel andere websites scrapen. Het scrapen kan ook wel de nodige server capaciteit opslokken, waarmee andere bedrijven op kosten kunnen worden gejaagd. Daarnaast is er nog altijd de menselijke maat, waarin informatie die (per ongeluk) online staat, niet perse bedoeld is om met de wereld te delen. Zeker als het gaat om links die je alleen deelt met een select groepje, waar je vervolgens met scraping toch bij kan komen.

Hypocrisie en liegen is een probleem. Het ongewenst (privé) informatie openbaar zetten die op die manier wordt verkregen maar niet klopt (Google maps) is een ander probleem.

Omdat je met scrapen in principe informatie van andere websites af haalt, lijkt me dat META wil dat gebruikers die data zelf op hun websites komen halen met een visit.

In principe is het niet meer dan dat. Meta heeft wel zelf een andere partij aangeklaagd hiervoor op basis van copyright / gebruikersvoorwaarden.

Wat ik lastiger vind is dat, desondanks ze het toch echt wel zelf online zetten en publiek maken, ik denk dat de meeste mensen geen expliciete toestemming geven om al hun tweets/info te gebruiken voor andere doeleinden door wie dan ook.Je geeft wel expliciet akkoord aan de voorwaarden over hoe iets als Twitter zelf de data mag gebruiken. Mogen derde partijen dat zomaar omzijlen voor eigen gebruik, ookal is het voor iedereen te lezen?

Beetje irritant als iemand zn telefoonnummer of email ergens online zet en vervolgens volgespammed wordt door telemarketers die zo'n gescrapede database hebben gekocht. Niet dat ik zelf zoiets doe maar genoeg mensen die daar geen flauw benul van hebben. Vooral als iemand anders toevallig info over je ergens online post zoals je nummer om bereikbaar te zijn op de website van de lokale voetbalclub waar iemand coached. (hoewel GDPR dat grotendeels heeft opgelost)

Ze zijn aan het vechten om het "eigendomsrecht" van harvest-data voor reclame-inkomsten. Hopelijk gaat deze hele cultuur snel over de kop...

Omdat je o dat platform opeens geen controle meer hebt over je eigen content.

Wat scrapen een beetje hekelt is dat je het meestal zonder toestemming doet. De normale gang van zaken om gegevens gecontroleerd uit te wisselen is via een backend API waar authenticatie en authorisatie op gedaan kan worden, gegevens kunnen gereduceerd worden tot enkel wat nodig is en er kan een monetaire afstemming plaats vinden om veroorzaakte kosten te dekken.

"Niet netjes" dekt de lading wel. Dat Meta scraping van hun eigen website tegenhoudt terwijl ze er zelf gebruik van maken dat valt op zich nog wel te verdedigen. Moet je eens voorstellen hoe de wereld gaat schuimbekken als ze er niet een policy voor hadden om het tegen te gaan. Het is niet alleen Meta die met twee maatstaven werkt.

In dit geval zou je de analogie ook zo kunnen stellen:

Stel iemand loopt dagelijks achter je aan allerlei openbare gebouwen binnen en noteert daarbij alles wat je doet. Dat je bijv. nooit pinda's aanschaft. Dat je LHBTQI-cafés bezoekt. Dat je boeken leent over Flat-Earth. Dat je de afgelopen week 3x bij een garage bent geweest en daarna 2x bij een Toyota-dealer.

Of dat niet jij dat café bezoekt maar de 20 personen waar je het meest mee omgaat daar regelmatig langskomen. Dat de 5 vrienden waar je afgelopen zaterdag mee om bent gegaan net terugkomen uit Afghanistan en vrijdag grote partijen kunstmest hebben aangeschaft.

Je moet niet raar staan te kijken dat niet jij, maar iemand anders jouw nummer op een openbare website heeft gezet. Dat niet jij, maar iemand anders van jouw een foto heeft genomen en die met naam en toenaam met heel de wereld deelt.

Er zal niemand veel aandacht aan besteden aan alle mensen die geen pinda's kopen, die een keer een specifiek boek lenen, die een keer naar een bepaald café gaat. Maar al deze informatie continue op een relatief goedkope manier verzamelen om hier waardevolle informatie van te maken is het probleem.

Dat er morgen een groot reclamebord naast je deur staat met: Pinda-allergie: Dit wondermiddel helpt je van al je problemen af, zeer populair in Afghanistan.

En, je hebt gelijk, Scrapen gebeurd, daar moet je je bewust van zijn. Maar je bent zelf niet in controle over je eigen informatie.

Je kan ook je buren gaan scrapen, opschrijven hoe laat ze vertrekken en thuiskomen, welke kleren ze aan hebben (dan kun je daaruit destileren of ze hun kleren wel vaak genoeg verschonen). Je kan dan ook nog door de ramen naar binnen kijken wat ze binnen aan het doen zijn, welke televisieprogramma's ze interessant vinden en of ze wel gezond eten. Niks schadelijks aan, iedereen kan dat zien, moeten ze de gordijnen maar dicht doen

Wel, je consumeert informatie op een manier die de maker mogelijk niet voorzien heeft.
Dat is schending auteursrecht.

Zelfs al heb je het wel recht om de informatie van de site af te halen, wat vaak dus niet het geval is, dat geeft je nog geen recht om die in verwerking te gebruiken.

Kans is ook groot dat als je privacy gerelateerde info binnenhaalt dat je ook nog eens een GDRP violatie voor gratis en niks erbij krijgt.

...

In dit geval is het onwenselijk omdat andere het niet mochten doen op hun apps/sites, maar ze doen het zelf wel bij andere, zeer hypocriet.

Als 3th party reseller van vluegtickets moet je per zoveel looks betalen, een scraper kan dan al je prijzen stelen zonder ook maar een cent te betalen

Beetje vreemde opmerking die je er bij geplaatst hebt. Als je deur open staat geeft dat niemand het recht op spullen te komen stelen. Als iemand iets steelt ben je het kwijt. Maar als je iets online plaatst, is het publieke informatie. Heeft dus niks met stelen te maken. Een betere vergelijking zou zijn dat je een kunstwerk in je tuin hebt gezet die te zien is vanaf de straat en er dan problemen mee hebt wanneer mensen daar een foto van maken.

En dit staat dan bij 'nieuws'. Ik vraag me echt af of deze mensen zo immoreel en wars van fatsoen zijn, of dat ze het zelf wellicht niet eens doorhebben omdat ze er zo diep inzitten.

Ik vraag me echt af of deze mensen zo immoreel en wars van fatsoen zijn, of dat ze het zelf wellicht niet eens doorhebben omdat ze er zo diep inzitten.
Ze komen nooit meer uit die Metaverse hun droomwereld

Wat kun je verwachten van een bedrijf dat al lang heeft bewezen immoreel te zijn? En dat ook wil zijn lijkt het. Omdat ze het proberen te verbergen weten ze oook wel dat ze laakbaar gedrag vertonen.
Dan is dit toch niet zo'n gekke stap?

En daarbij komt: Ook dieven worden ook bijzonder boos als bij hen wordt ingebroken... Maar de algemene reactie is dan toch 'Koekje van eigen deeg'.

Het is toch wel verbazingwekkend hoe 'normaal' we dit lezen eigenlijk. Eerste reactie is, het zal ook eens niet. Tweede reactie is, ze zullen er wel weer mee wegkomen en derde reactie is, whats next?

En toch willen de mensen dit blijven gebruiken. Zeg het maar

Ik haat meta. Van mij mag die suikerberg opgelost worden want het voegt echt niks toe in de wereld dan alleen maar ellende. Ook de ontslagronde wat ik vanochtend las maar dan wel miljarden winst maken. Ik ben zo blij dat het datacenter niet door is gegaan in Nederland want oh het zou zoveel banen opleveren

Ach, zal wel een "foutje" zijn geweest. Meta-schandaal nr 248: move along, nothing to see.

Tja, schandaal.

Ze schrapen info, maar proberen te voorkomen dat andere dat op hun website doen.

Eigenlijk logisch als je verdienmodel 'data' is.

D'r zijn veel ziekere dingen bij meta/Facebook.

het is verboden facebook te scrapen voor informatie, zoals fotos. Het zou mij niet verbazen als facebook sites leest en trekt om met gezichtsherkenning te zien wat iemands intresse zijn en/of waar iemand rond spookt op het internet.

En voor dat iemand zegt dat is onmogelijk, dat gebeurd al met pimeyes. Je upload een foto, en je krijgt alle images van jou herkend gezicht te zien. Sinds ik dit weet sta ik niet meer met mijn gezicht op de website van een site Pimeyes mag facebook dus niet scrapen, doen ze ook niet.

[Reactie gewijzigd door jaenster op 2 februari 2023 13:22]

Ik wist niet dat dit soort dingen bij wet geregeld worden. Echt te bizar voor woorden (zolang het publiekelijk is) in mijn optiek.

Niet heel veel anders met Google bijvoorbeeld.
Je mag niet hun tools scrapen. Zoals Translate, maps etc.
Maar zij scrapen wel verschillende sites en gebruiken de informatie op de Google search start pagina, waardoor site eigenaren geld mislopen. Voorbeeld is "het weer", "sport uitslagen" en nog duizenden onderwerpen meer.

Als een bedrijf zo groot is dat geen individu verantwoordelijk gehouden kan worden gaat ethiek het raam uit. Iedereen kan immers naar elkaar wijzen. Dan hoeft ook niemand zich verantwoordelijk te voelen voor de smerige dingen die voortkomen uit zo veel mogelijk winst maken, zoals rivalen of "bedreigingen" aanklagen tot ze failliet gaan ongeacht of ze juridisch fout zaten of niet. Of zoals in dit geval, anderen regels opleggen en die vervolgens niet zelf naleven.

Dat Meta/Facebook geworden is wat het is en kan doen wat het doet is uiteindelijk de schuld van de politiek en het volk. Het is bizar dat bedrijven rechtspersonen zijn en daarbij elk individu vrijgesteld is van aansprakelijkheid.

Ik snap dat dit een vervelende reactie is die misschien "off topic" lijkt maar dit soort dingen zijn symptomen van een verrot economisch en juridisch systeem dat we met zijn allen moeten veranderen voordat het de samenleving sloopt

edit: grammatica

[Reactie gewijzigd door Anoniem: 1578568 op 2 februari 2023 13:57]

Is iemand hier echt verrast over? Dit is toch hun gehele inkomstenbron?

[Reactie gewijzigd door Aerkhanite op 2 februari 2023 12:40]

Het lezen van OpenGraph is al scrapen, dus bij het delen van een link is dit al van toepassing.
Dus niet zo heel vreemd toch?

Ook wilde het met de praktijk kwaadaardige websites en phishingsites opmerken.

ipv dat ze t dan gebruiken om phishing posts op fb tegen te gaan......

Heel eerlijk: Ik snap het wel en het is goed dat er onderscheid is tussen websites/platformen.

Facebook is een platform met gebruiker content. Vrijwel alle inhoud op Facebook en Instagram zijn persoonlijke posts van mensen. Deze scrapen is dan ook inbreuk van privacy (waaronder GDPR).

Los van dat Facebook vast ook andere motieven heeft, vind ik het scrapen van een bedrijven-website anders dan het scrapen van een sociale media wanneer deze de vorm hebben van een microblog.

[Reactie gewijzigd door brammetje1994 op 2 februari 2023 13:35]

Is dit inderdaad een inbreuk op de GDPR ook al is deze informatie letterlijk door jezelf publiekelijk toegankelijk op het internet gezet?

Ja.

De GDPR gaat over het verwerken van persoonsgegevens. Als een bedrijf mijn persoonlijke gegevens scraped voor een bepaald doel, dan heeft het bedrijf daar een grondslag voor nodig.

Het is tevens niet eens publiekelijke informatie. Ik deel de gegevens met een controller, Facebook, welke toestemming heeft om de dienstverlening uit te voeren, om deze gegevens te verwerken op de manier waarop dat overeen is gekomen. Een andere controller welke gebruik wilt maken van deze gegevens mag niet gebruik maken van dezelfde grondslag, want deze controller heeft een eigen doel.

Uitzondering zou een verwerker/processor zijn welke in opdracht van Facebook bijvoorbeeld scraped voor een grondslag als publiekelijk belang (terorrisme of oplichting). Dan mag deze data ook enkel daarvoor gebruikt worden.