Betaalmuur The New York Times eenvoudig te omzeilen

De betaalmuur van The New York Times is met drie regels javascript te omzeilen. Een overlay die aangeeft dat gebruikers moeten betalen voor toegang, kan eenvoudig worden verwijderd. De betaalmuur wordt 28 maart opgetrokken.

Er was al de nodige kritiek op de betaalmuur van The New York Times, die al in januari 2010 werd aangekondigd en volgende week wordt ingesteld. Niet alleen zouden de abonnementen, van 15 tot 35 dollar, te duur zijn, ook is het mogelijk om de limiet van twintig artikelen die elke gebruiker gratis mag lezen, te ontwijken. Artikelen die via social media worden bezocht, worden niet meegeteld. Daardoor kunnen gebruikers ervoor kiezen om de krant enkel nog te lezen via links op bijvoorbeeld Twitter en Facebook, is de gedachte.

Het omzeilen van de betaalmuur blijkt echter met een minder omslachtige methode mogelijk te zijn. Als bezoekers de limiet van twintig gratis artikelen hebben bereikt, wordt een overlay weergegeven die aangeeft dat bezoekers voor de inhoud moeten betalen. De tekst van het desbetreffende artikel wordt op de achtergrond weergegeven, maar is als gevolg van een gradient slecht leesbaar.

Door de gradient en de betaal-pop-up met behulp van javascript te verwijderen, wordt het originele artikel echter zichtbaar. Dat ontdekte een bezoeker uit Canada, waar de betaalmuur al is ingesteld; hij ontwikkelde een simpele workaround. Het gaat om een bookmarklet, die naar de bladwijzerwerkbalk kan worden gesleept en die javascript-code uitvoert als erop wordt geklikt. De javascript van de bookmarklet voegt in de 'head' van de NYT-website een verwijzing naar een extern javascript-bestand toe.

Dat script telt, naast een opmerking, slechts drie regels en doet niets meer dan het verbergen van de overlay en de betaal-pop-up. Ook wordt er aan het body-element een scrollbar toegevoegd; deze wordt normaliter verborgen als de betaal-overlay wordt weergeven. De reden dat er slechts drie regels code hoefden te worden gebruikt is dat de website van de krant het Prototype-javascript-framework gebruikt, waarmee eenvoudig waarden aan elementen kunnen worden toegekend.

Met de huidige methode moet op elke pagina waar de betaalmuur wordt weergegeven, de bookmarklet worden aangeklikt. De kans is echter groot dat er binnen niet al te lange tijd add-ons voor browsers verschijnen die dit proces automatiseren. The New York Times zou de problemen overigens eenvoudig kunnen oplossen, door de tekst van artikelen simpelweg niet meer in de html-broncode te zetten als de betaalmuur wordt weergeven.

De betaalmuur heeft de Amerikaanse krant volgens schattingen 40 tot 50 miljoen dollar gekost en heeft meer dan eens vertraging opgelopen. Vanaf 28 maart gaat de paywall wereldwijd van start; in Canada is deze vorige week al opgetrokken, om eventuele problemen te kunnen oplossen. Gebruikers betalen per maand 15 dollar voor toegang tot de website plus een smartphone-app, 20 dollar voor de website en een tablet-app of 35 dollar voor een combinatie van beide. Abonnees van de papieren editie van The New York Times of de internationale versie, de International Herald Tribune, krijgen gratis toegang.

Reacties (90)

Hoe kan zoiets simpels 40 tot 50 miljoen dollar kosten?

Het gaat natuurlijk niet alleen om die overlay maar ook om de mechanismes erachter voroor het daadwerkelijk verichten van de betalingen, het abonnementen systeem, de authenticatie / authorisatie uitbreidingen voor de nieuwe abonnementen etc...

dan nog is 40 tot 50 miljoen dollar een astronomisch hoog bedrag voor zoiets relatief simpels.

Ja maar als je dat allemaal wél goed gedaan hebt, waarom laat je dan een stagiair LBO informatica zonder toezicht je contentverberger schrijven?

Oftewel, als dit stuk als zo'n pauperklus is geweest, wat zullen ze van die andere 49,999975 miljoen dollar gedaan hebben?

Sorry dat ik het zeg hoor, maar ook al zitten de mechanismen van betaling, abonnement systeem, authenticatie en authorisatie erbij in begrepen.... is 40 à 50 miljoen een veel te hoog bedrag. Als NYT did daadwerkelijk heeft neergelegd, en met als initiële reden dat er te weinig verdiensten voor de krant zouden zijn om het zonder te doen, wordt het misschien eens tijd om een aantal faalhazen te ontslaan die totaal geen financieel inzicht meer hebben, en ieder perspectief van wat reëel is verloren zijn.

Even ter vergelijking, een modern digitaal ziekenhuis zorg dossier / software suite, kost gemiddeld 10 miljoen om geheel op maat te maken. Als het dan dus mogelijk is om zulke privacy gevoelige data, met een zeer uitgebreide diversiteit aan functionaliteit, binnen een project van "slechts" 10 miljoen te scharen is er gewoon geen enkele reden dat zo'n simpel project als dit 40 à 50 miljoen zou kosten.

Dus of het eerste punt blijft staan en iemand dient hoog nodig ontslagen te worden, iemand is heel slecht in schatten, of de redactie tweakers.net heeft ergens iets verkeerd geïnterpreteerd danwel verkeerd getyped.

Of worden de kantoren van ICT'ers bij de NYT mogelijk warm gehouden via verbranding van 100 dollar biljetten in een open haard?

vergeet de verzekering niet die de programmer moet hebben om eventueelen schadeclaims te kunnen betalen ik denk dat daar de meste centen aan op gaat.

Ik zat net te denken: waar vind ik zo'n project? Voor 40 miljoen dollar kan ik een aardig leger ICTers inhuren die het werk voor me doen, zodat ik zelf alleen maar achterover hoef te zitten. Stel dat ze het verprutsen, dan wil ik voor 40 miljoen ook nog wel mijn bed uit komen om het zelf op te lossen

Voor 40 miljoen schrijf ik die javascript overlay zelf wel. Geen leger ICTers voor nodig hoor. Ik vind het schitterend dat NYTimes roept dat mensen moeten gaan betalen, en dan gaan ze op deze manier zelf gigantisch het schip in.

[Reactie gewijzigd door Zyppora op 23 maart 2011 14:03]

Het lijkt me ook gewoon niet te kloppen. Voor 50 miljoen dollar kun je een programmeur van 60.000 dollar per jaar 833 jaar fulltime laten programmeren. Een half jaartje lijkt me meer dan genoeg voor zo'n betaalmuurtje.

Dat komt vooral omdat je als je een website oplevert die meer dan de helft van de prijs onder de normale prijs wordt verkocht, je als verkopend bedrijf niet serieus wordt genomen.

Klopt, wij hebben een keer een aanbesteding verloren, omdat onze offerte voor het ontwikkelen van het product lager was dan wat de klant betaald had om door een of ander bureau het pakket van eisen op te laten stellen.

Nou, zo simpel is het nog niet. Bedenk je wel even dat het hier niet gaat om 40 miljoen voor alleen de "echte" paywall, maar ook voor het marktonderzoek/ haalbaarheidsonderzoek, het opzetten van het betaalsysteem, het testen van het systeem en alle bijbehorende codemonkies/managers/testers en ander gerelateerd volk.

Tikt aardig aan hoor, maar met het lezersaantal van de NYT moet dat ook binnen notime weer terug verdiend zijn natuurlijk

managers / bazen die nergens verstand van hebben slikken zoon prijs toch wel want die weten helemaal niet hoeveel zoiets zou moeten kosten.

Dezelfde managers en bazen die verwachten dat een paywall meer abonnees met zich meebrengt en op den duur meer geld oplevert. Ik verbaas me hier ook met regelmaat over hoe naïef sommige mensen in dergelijke functies zijn.

Inderdaad, en al helemaal omdat ze het begin jaren '2000 ook al eens iets dergelijks geprobeerd hebben. Toen moest je ook al inloggen om een NYT artikel te kunnen lezen (alleen toen niet betalen), en liepen hun pageviews enorm terug (en kwamen sites als bugmenot.com als paddestoelen uit de grond schieten).

Op Internet zijn er gewoon zo veel gratis alternatieven. Ik betaal graag voor sites die iets extra's bieden buiten gewoon het nieuws, zoals een goede community en discussiefora. Daarom ben ik ook abonnee van Tweakers geworden.

Maar voor een site die alleen maar wat nieuwsberichten levert die je elders ook kan lezen, daar heb ik geen geld voor over.

Maar ik snap dus niet dat ze er nu weer ingetrapt zijn na hun eerdere poging.

[Reactie gewijzigd door GekkePrutser op 23 maart 2011 14:17]

NYT doet wel iets meer, net zoals het NRC en nog enkele kranten, dan simpelweg nieuws weergeven. Er zit een groot verschil tussen de sites die simpelweg de ANP berichten copy/pasten en de kranten met journalisten die zelf iets uitzoeken.

nergens verstand van hebben valt wel mee : http://www.linkedin.com/p...2_*2_*2_*2_*2_*2_*2_*2_*2

Ik vermoed dat ze bij de Nederlandse overheid om ICT advies hebben gevraagd

Nee, dan was het project na uitgave van 40 miljoen gewoon gestopt.

Waarom gebruikt de NYT dan niet gewoon wel de juiste kop maar voor het artikel zelf Lorem Ipsum tekst?

Dat lijkt mij de makkelijkste oplossing.

Indexatie door de zoekmachines? NYTimes wil waarschijnlijk wél nog gevonden kunnen worden, vooraleer de klant betaald.

Dan geef je de Google spider wel de goede tekst en rest van de bezoekers niet.
Je kunt in het webmaster beheer paneel van google ook aangeven dat Google met een bepaalde username / wachtwoord inlogd, dit is o.a. voor forums zodat Google een complete en juiste indexatie kan maken.

Dan kan Google het niet meer lezen, en zullen ze dus minder hits krijgen. En dat is in strijd met het doel om meer abonnees te krijgen.

Iets beveiligen met een javascript overlay dit klinkt echt als een kleuter implementatie.

Security les 1: de client-side is altijd aan te passen.

edit:
+t

[Reactie gewijzigd door omnislash op 23 maart 2011 14:08]

en met een scripttaal waar je de broncode als gebruiker zonder enig probleem kan inzien, maakt het wel erg gemakkelijk om een beveiliging to omzeilen.
Waarom kunnen ze voor ict bedrijven/programmeurs niet zoiets als royeren in de advocatuur introduceren, dan zou dit bedrijf direct geroyeerd kunnen worden.
Danis het slechts een kwestie van tijd voordat alle/de meeste rotte appels uit de ict wereld verdwijnen, en zulke achterlijke miljoenen verslindende (falende) ict projecten tot het verleden behoren.

Tot de afdeling Marketing roept:

"maar... maar... dan kan Google onze site niet meer indexeren. En dan lopen de inkomsten terug. Mensen zijn toch niet technisch genoeg om het te omzeilen."

Aangezien die afdeling zelf geen verstand van IT heeft, begrijpen ze ook niet dat binnen de kortste keren via Twitter, Facebook en nog 100.000 blogs bekend is met welke gratis te downloaden Firefox add-on je de hele NYT kunt lezen.

[Reactie gewijzigd door tweakerbee op 23 maart 2011 15:19]

Ik kan niet geloven dat dit 40 tot 50 miljoen heeft gekost. Zulke simpele javascript kan een beetje programmeur binnen een dag voor elkaar krijgen. Misschien nog wat overhead erbij, maar dan mag het nog niet meer dan 2500 dollar kosten.

Ja, natuurlijk. Jij zet een complete payment infrastructuur, billing en customer care systemen in elkaar in een dag dat ook nog een beetje perfomance toont voor een paar miljoen gebruikers.

Waar kan ik je inhuren?

Sommige mensen onderschatten het werk wat bij zoiets komt kijken blijkbaar. Alsof iemand 50 miljoen over heeft voor een paar regeltjes code... Het zijn de systemen en licenties die aan de achterkant zitten die het zo duur maken. Waarschijnlijk zullen ze de gegevens niet in de gratis versie van MySQL opslaan...

Gratis mysql heeft er niets mee van doen. Daar kan je van alles prima in opslaan. Welke licentie voor een database kost pak'm beet 10 miljoen? Geen. En mocht je er een vinden zal hij weinig onder doen voor mysql.

De reden dat er slechts drie regels code hoefden te worden gebruikt is dat de website van de krant het Prototype-javascript-framework gebruikt, waarmee eenvoudig waarden aan elementen kunnen worden toegekend.

Ook als het Prototype framework niet gebruikt zou worden, zou de code slechts drie regels bevatten.

Precies wat ik dacht.
document.getElementById('overlay').style.display = 'none';
document.getElementsByTagName('body')[0].style.overflow = 'scroll';

Klaar?

_{Edit: Even de source opgezocht; Schijnbaar moesten er 2 elementen gehidden worden. Vandaar de 3 regels}

Het gros van de 40-50 miljoen dat eraan uitgegeven is zal inderdaad wel in het betalingssysteem zijn gaan zitten, maar dan nog is dat een enorm excessief bedrag..

Overigens denk ik niet dat er toekomst zit in paywalls, althans voorlopig niet. Er zijn genoeg alternatieven, waardoor men al snel de site zal laten vallen om naar de concurrent te gaan, die 'gewoon' overleeft op bijvoorbeeld advertenties. Al is het maar omdat het teveel moeite is de betaling te doen. Pas als 'alle' dergelijke sites van voldoende kwaliteit iets dergelijks gaan implementeren kan het een toekomst hebben. imho.

[Reactie gewijzigd door geez op 23 maart 2011 14:47]

De concurrent heeft alleen niet de artikelen van de NYT. Voor simpele headline scrapers is een gratis+ads model wel te doen, zodra je een paar honderd journalisten in dienst hebt die originel content produceren niet meer.

[Reactie gewijzigd door Dreamvoid op 23 maart 2011 15:51]

...
Zo'n betaal muur is een uurtje werk.
Prototype.js is zo easy in gebruik, die gasten zijn grof opgelicht xD
Ze hadden het beter via PHP kunnen laten uitvoeren, dan via JS.

Het javascript is de uiteindelijke visuele implementatie van de paywall. Uiteraard zit er ook PHP code bij...

Uiteraard zit er ook PHP code bij...

Of Perl, of Python, of C#, of Java... Er is meer dan PHP op de back end.

Als ik dit zo lees heb je hier niet eens javascript voor nodig, maar kun je dit ook prima doen met bijvoorbeeld een tool als firebug, of de IEdevtoolbar (die gewoon ingebakken is in IE8). Zet 't display styleattribuut op none en je bent er.

Simpeler zelfs - verwijder gewoon het overlay element in z'n geheel via door jou genoemde tools (of in Chrome de geïntegreerde dev tools). Klik > delete > klaar.

Vergeet niet dat het project niet enkel bestaat uit de Javascript. Erbij komt ook nog kijken de server-side code die alles moet bijhouden, wat betreft pageviews van gasten en leden, extra betaalsystemen, etc. Meeste reacties hier lijken te denken dat ze 40-50 miljoen hebben betaald voor wat Javascript. (die je in een uurtje in elkaar hebt geklopt)

[Reactie gewijzigd door Matazj op 23 maart 2011 14:21]

Er zit wel meer achter dan alleen dat javascriptje ja. Maar voor dit geld kan je 800-1000 programmeurs een jaar aan het werk zetten. Dat is gewoon volkomen absurd voor deze toepassing.

Daar heb je natuurlijk gelijk in, maar 40-50 miljoen? Nah, max een paar ton.

En NoScript dan? Blokkeert die hem niet?

Ik woon in Canada en kan je bij deze mededelen dat NoScript de betaalmuur niet eens laat zien. Ik heb al 50 artikelen "gelezen" en kan nog steeds lekker de online krant doorspitten zonder ook maar een betaalmuur te zien. :-)

wat te denken van eigen stijlbladen? Opera en Firefox hebben dat.
Even de class of ID van die overlay zoeken.
En dan zet je neer:

id#overlay_abonnees: display: none;

Klaar.

Inline style overruled externe css.

Nope, gebruikersinstellingen krijgen een nog hogere prioriteit dan inline styles. Zo kan je met gebruikers css bijvoorbeeld zelf wat dingen aan een site veranderen (zoals een paywall verwijderen...). Gebruikers css is ook dus puur iets van de webbrowser, net zoals de user JS in Opera die gebruikt wordt om bepaalde dingen in sites te verbeteren.

[Reactie gewijzigd door dcm360 op 23 maart 2011 16:26]