'Vermoedelijke Roblox-crawler downloadt 145GB aan 3d-assets zonder toestemming'

Volgens de 3d-assetsite Open3DLab heeft een crawler die vermoedelijk afkomstig is van Roblox 145GB aan projecten gedownload zonder toestemming van de site. Het is niet bekend of de crawler echt van Roblox is. De site vermoedt dat de bestanden zullen worden gebruikt voor AI-training. Roblox heeft niet gereageerd.

Wat is Open3DLab?

Open3DLab is een online platform voor 3d-artiesten. Zij kunnen hier gratis 3d-modellen, textures en omgevingen uploaden en delen. De site maakt deel uit van een groter netwerk met zustersites zoals SFMLab en SmutBase.

Volgens de website zou op zondag 18 oktober een crawler voor elk verzoek dezelfde useragent hebben gebruikt: 'trellis 2-data-sourcing/1.0 (3d foundation model research; [redacted]@roblox.com)'. De useragent heeft de hele catalogus van de website doorzocht in 34 uur. Ook heeft de agent content gedownload van partnersite SmutBase, die alleen content voor volwassenen host.

Assethostingwebsite Open3DLab

De crawler heeft zich volgens het bedrijf niet gehouden aan het robots.txt-bestand. Dat is een bestand dat aan een crawler vertelt welke pagina's wel en niet bezocht mogen worden. Daarnaast schond de crawler de sitevoorwaarden, die scrapen verbieden.

De beheerders van de site detecteerden en blokkeerden de crawlpogingen, maar zagen dat de crawler tijdens 'kantooruren' bleef proberen om content van de website te downloaden. Zonder succes.

De site zegt meerdere malen contact te hebben opgenomen met Roblox om te verifiëren of de crawler afkomstig is van het bedrijf. Roblox heeft daarop niet gereageerd. Het is bekend dat Roblox werkt aan een 3d 'foundation model' waarmee ontwikkelaars 3d-objecten kunnen genereren met AI. Of dat verband houdt met deze crawlactie, is niet bekend.

Reacties (16)

[WendelV]

De crawler heeft zich volgens het bedrijf niet gehouden aan het robots.txt-bestand

welke crawler houdt zich daar wel aan. hele internet wordt constant leeggeplukt door AI bots

[DataGhost]

Ik heb er een honeypot van gemaakt. Als er iets wordt opgevraagd wat in mijn robots.txt staat blokkeer ik direct dat IP voor een week. In de afgelopen twee weken toch weer 10 stuks geblokkeerd. En dat zijn dan alleen nog maar de bots die niet door een ander fout request al in mijn firewall beland zijn, dat zijn er namelijk momenteel zo'n 430.

[Piemol]

Kwam dit van de week tegen via een andere reactie: https://github.com/BlessedRebuS/Krawl

Die heeft met z'n honeypots reeds 8152 ips geblokkeerd, welke als list in te laden is.

[TD-er]

430 botnets bedoel je?

Er zijn er namelijk nog veel meer.
Met het ESPEasy forum haalde ik makkelijk 2.5 miljoen unieke IPs per etmaal.
En op een gegeven moment was de lijst van user agent descriptions alwel zeker meer dan 400. (had een lijst online gevonden) en nog steeds kwamen er botnets door de filters heen.

Ook Cloudflare en CPGuard hielp niets meer, omdat je met makkelijk 10k - 100k requests per 5 minuten platgegooid werd.

Inmiddels gebruik ik Anubis. Dat werkt best wel goed. Nog steeds gemiddeld tussen de 50 en 200 requests per seconde, met wat flinke uitschieters af en toe. Maar het is te managen.

Het is diep triest dat het zo moet tegenwoordig, dat AI-scraper bots niet alleen de content jatten, maar ook de makers van de content offline proberen te krijgen.

[Martinez-]

Toen een eeuwigheid geleden hier las over een 'Gentleman's agreement' m.b.t. robots.txt, kon je het natuurlijk al van ver zien aankomen dat bedrijven zich hier, als het voor hun eigen belang is, niet aan gingen houden. De illusie dat er op basis van vertrouwen dit soort afspraken gemaakt kunnen worden is al een tijd achter ons gestorven.

[Benadski]

Is er niet mogelijk om na het detecteren de crawler naar een andere server te redirecten en garbage te voeren die voor de crawler waardevol lijkt, maar niet is? Of zijn ze daar te slim voor?

[3raser]

Als je daar je resources aan wilt besteden, vast wel. Het betreft hier het downloaden van bestanden dus in theorie zou je de crawler oneindig random data kunnen voeren alsof het zeer grote bestanden zijn om zo zijn opslagcapaciteit even te testen. Maar dat betekend ook dat jij daar als aanbieder servercapaciteit en dataverkeer aan moet besteden zonder dat je ooit zal weten of het effect heeft gehad. Dan is blokkeren meestal een effectievere methode die direct voldoening geeft.

[Morrowind3]

Er bestaan verschillende projectes die zo iets doen, vaak "Tarpit" genoemd. Puur gericht op crawlers vergiftigen met procedurally generated nonsense en hun tijd te verdoen met circulaire links.

[kujinshi]

Een soort mirror bestanden maken die gevoed worden en dan de uitslag 0 laten zijn als resultaat.

[Arthurious]

Robots.txt is niet meer dan een veredelde ''gentleman's agreement''. Daar gaat geen enkele crawler zich aan houden die zich bezighoudt met het verzamelen van data voor het trainen van AI.

[FicoF]

Nee logisch toch. Het is een >miljardenindustrie. Voor een kluis hang je ook geen bordje geen toegang.

[Noitisnt]

Waarom ook niet? Consequenties zijn er toch niet.

[DevWouter]

Inderdaad. Het oorspronkelijk artikel schrijft ook "If the penalty for a crime is a fine, then that law only exists for the lower class" en dat dekt de lading wel behoorlijk goed.

[Llopigat]

Zal wel niet direct gebruikt worden in Roblox maar gebruikt worden om 3D generatoren te trainen.

Er zijn er al diversen, zoals Meshy en Hyper3D Rodin. Ik gebruik ze regelmatig, het scheelt een hoop werk, maar het is nog niet millimeter precies.

[Pixol]

Dit is zeker zorgwekkend voor menig 3D artist die zijn werk deelt op dit soort sites, al dan niet voor exposure door (delen van) het werk gratis beschikbaar te stellen. Het was natuurlijk een kwestie van afwachten: zodra ook maar een byte van jouw content op het internet belandt, wordt die door menig KirbyAI opgeslokt onder het mom van 'onderzoeksdoeleinden'. Het maakt daarbij geen reet uit of je een robots.txt hebt of een bepaalde contentlicentie hanteert.

Het platform van Roblox staat inmiddels vol met AI slop games waar nauwelijks handmatige, menselijke inspanning in is gestoken, en ik vrees dat de slogan "Powering Imagination" daardoor al snel een andere lading krijgt. Want hoeveel 'imagination’ is er nog nodig als je ervoor kiest om bestaande (indie)games volledig te analyseren via decompilation, de originele coding language te laten omzetten naar Roblox Luau en de bestaande assets door een "this, but different" 3D-generator te halen?

Dat het Roblox Corp. allemaal een hol zou wezen is overigens wel duidelijk:

• Data Sharing voor nieuwe Avatar Items staat standaard aan bij elke creator, opt-out.
  • TL;DR: 2D- en 3D-assets die jouw avatar kan dragen.
    • Hun beschrijving: "Our goal is to provide amazing AI-powered tools to help accelerate avatar and NPC creation. Contribute your Avatars to help us build and improve AI tools that can aid your creation process."
• Data Sharing voor nieuwe Creator Store Items staat standaard aan bij elke creator, opt-out.
  • TL;DR: 3D models gemaakt in Roblox, MeshParts (externe 3D models die jij uploadt naar Roblox) en Decals (2D images).
    • Hun beschrijving: "Your free Model, MeshPart, and Decal data available publicly on the Creator Store are used to power Roblox's development of creation tools that accelerate development for our community. Contribute your paid model data (coming soon) to AI training to help create even more powerful systems to help you in your workstreams."
• Data Sharing voor nieuwe Experiences staat standaard aan bij elke creator, opt-out
  • Jouw games worden opgeslagen als .RBXL bestand, dit kun je zowel lokaal als in de cloud opslaan. Sla je het in de cloud (Roblox servers) op? Dan wordt de data van jouw game standaard gedeeld met het groter goed, tenzij je de opt-out doet.
  • In een .RBXL bestand kan (zo goed als) alle data over jouw game zitten: 2D/3D assets, posities, lighting, weather, scripts en meer. Kortom: je hele game.
    • Hun beschrijving: "Our goal is to make Roblox the best place for creating engaging experiences with the help of AI. Contribute your experience (Rbxl file) with us to help us build and improve our AI-based tools such as Assistant and Code Assist."

Wie de geschiedenis van Roblox een beetje kent, zal hier nauwelijks van opkijken. Het platform kwam eerder al negatief in het nieuws met 'condo games': games met seksuele thema's die door de moderatie heen glipten, omdat ze allerlei sluwe manieren hebben bedacht om legit platform features te abusen. (Van game naar game kunnen teleporteren, bijvoorbeeld.)

Inmiddels loopt er bovendien een golf aan rechtszaken over kinderveiligheid. In de VS hebben meerdere staten Roblox aangeklaagd en zijn tientallen federale zaken gebundeld in één MDL. Roblox betwist de aantijgingen en wijst op nieuwe maatregelen, zoals verplichte leeftijdsverificatie voor chat. Daarnaast ligt het bedrijf al jaren onder vuur omdat makers weinig overhouden aan wat ze verdienen. Na Roblox' eigen aandeel en de DevEx omrekening houden makers naar schatting zo’n 25 tot 30% over, grofweg 70/30 in het voordeel van Roblox. Recent is dat voor sommige games verhoogd, namelijk voor de.. tromgeroffel ..18+ games.

En nu duwt Roblox zelf AI-tools de markt in, getraind op de content van de eigen(?) makers (debatable). Een vicieuze cirkel van regurgitating slop. What a time to be alive!

[OruBLMsFrl]

Nieuwe slogan om het beter aan te laten sluiten op de werkelijheid is ook maar een lettertje weg gelukkig voor ze, en deze mag iedereen van mij helemaal gratis en rechtenvrij gebruiken, je leest er makkelijk genoeg overheen zelfs zo mooi past het erbij: "Powering Imaigination"