Development-round-up - Iteratie #16

En toen zat er alweer een iteratie op; deze keer hebben we onze tanden gezet in #16. Deze iteratie duurde weer eens ouderwets drie weken… Minus één dag dan, omdat we, net als de rest van Nederland, ook de verjaardag van onze koningin hebben gevierd. In de resterende tijd wisten we 104 tickets weg te werken en ook nu weer ging het overgrote deel van de tijd in Tweakers 7.0 zitten.

Zo veel tijd zelfs dat we eigenlijk maar een mager lijstje aan releasenotes voor de reguliere release kunnen presenteren. Naast wat kleine bugfixjes en tweaks hebben we onze aanpak van leechers iets beter afgesteld. Al een tijdje wordt geprobeerd om via het Tor netwerk onze Pricewatch te scrapen en in plaats van steeds meer exitnodes te blocken en daarmee bonafide gebruikers te duperen, hebben we onze strategie aangepast. Als normale gebruiker die via Tor surft, zul je hier geen last van hebben, maar we kunnen malafide gebruikers nu makkelijker onderscheppen.

Project Phoenix

Vorige keer waren we al begonnen om een deel van ons verkeer over de nieuwe loadbalancers en webservers te laten lopen. Intussen loopt ook de rest van het verkeer via deze machines; we draaien nu dus geheel op ons vernieuwde serverpark! Ook hebben we in de afgelopen weken onze backup-locatie al wat meer kunnen inzetten, zodat we zeker weten dat we geen vreemde dingen tegenkomen als die nodig is.

Tweakers 7.0

De afgelopen iteraties stonden, evenals de komende, vrijwel volledig in het teken van Tweakers 7.0 en hoewel we nog niets (willen) laten zien, kunnen we wel wat vertellen over de stand van zaken. In deze iteratie hebben we weer goede stappen gezet. Zo hebben we gewerkt aan de frontpage en begint deze al aardig vorm te krijgen. Daarnaast hebben we een goede start gemaakt met de site wide search en hebben we in de Pricewatch bijna het Telecom-gedeelte afgerond.

In totaal hebben we ondertussen de meeste listings heel aardig op orde en ook de Pricewatch is een eind op weg. Natuurlijk is er nog meer dan genoeg te doen, maar het begint nu ergens op te lijken

Overig

Verder kunnen we meedelen dat inmiddels alle developervacatures zijn vervuld en we dus op volle sterkte zijn; op 1 mei is Ray Burgemeestre begonnen als devver en ook Wouter de Wild, onze stagiair, blijft na zijn stage nog even hangen om ons team te versterken. Welkom beiden!

Reacties (19)

[Perkouw]

Al een tijdje wordt geprobeerd om via het Tor netwerk onze Pricewatch te scrapen en in plaats van steeds meer exitnodes te blocken en daarmee bonafide gebruikers te duperen, hebben we onze strategie aangepast. Als normale gebruiker die via Tor surft, zul je hier geen last van hebben, maar we kunnen malafide gebruikers nu makkelijker onderscheppen.

Voor mensen die net zoals ik niet weten wat scrapen precies inhoud, klik dan hier.

Web scraping (also called web harvesting or web data extraction) is a computer software technique of extracting information from websites. Usually, such software programs simulate human exploration of the World Wide Web by either implementing low-level Hypertext Transfer Protocol (HTTP), or embedding a fully-fledged web browser, such as Internet Explorer or Mozilla Firefox.

Verder weer leuk om te horen dat er veel gedaan is aan tweakers 7.0 en net zoals bij de vorige iteratie ga ik het nu ook weer zeggen; ik word nieuwsgierig!

[Reactie gewijzigd door Perkouw op 24 juli 2024 16:50]

[robvanwijk]

Vrij vertaald: iemand probeert een aanzienlijk deel van / een zo groot mogelijk deel van / de hele PW database te pakken te krijgen. Wat ie daar mee wii is een tweede, maar ik kan me voorstellen dat er partijen zijn die dat zeer interessante informatie vinden.

[WhiteDog]

Als je binnen dit en een paar maanden ergens een nieuwe prijsvergelijker ziet opduiken die start met een goedgevulde database hoef je niet al te ver te zoeken...

[robvanwijk]

Da's veel te opvallend; niemand is zo stom om dat te proberen. Ik zou eerder verwachten dat iemand "onder de tafel" webshops een abonnement aanbiedt op alerts als een concurrent onder hun prijs duikt of dat soort grapjes.

[Crim]

Dit zijn meesteal webshops die de prijzen van de concurrenten in de gaten houden.

[WhiteDog]

Voor de grap is een paar populaire producten op 2 € zetten en kijken welke shops eronder duiken? Nuja iemand zal er wel wat mee aankunnen. Deze gegevens zijn letterlijk goud waard.

Kan je met een betaald Pricewatch abonnement overigens prijzen van concurrenten opvragen / larts krijgen als er iemand onder je prijs gaat?

[AW_Bos]

Dus de hit-ratio voor TOR-nodes ligt zeker lager dan een IP buiten TOR, zodat TOR-gebruikers bij veel hits eerder een (tijdelijke?) IP-ban krijgen...?

[Reactie gewijzigd door AW_Bos op 24 juli 2024 16:50]

[marcop23]

Via deze URL kan je bekijken welke Tor exit nodes Tweakers.net kunnen bereiken:
https://check.torproject....List.py?ip=213.239.154.20

Dat zijn er, op het moment van schrijven, 784. Ik heb alleen geen idee hoeveel mensen nu echt Tor gebruiken, maar als dat 20 000 views per minuut zijn (ik heb echt geen idee of dat veel is) zijn het er zo'n 25 per minuut per exit node. Dat lijken me niet erg veel, in ieder geval niet genoeg om standaard te bannen.

Stel nu dat er een scraper is die 20 pagina's per seconde (1200/m) op kan halen om te scrapen, zijn dat maar <2 views per minuut per node extra. Daar kan je dus geen nodes om bannen.

Een alternatief zou het preventief bannen van anoniem pricewatchen kunnen zijn. IP's van Tor exit nodes kunnen dan niet de Pricewatch in, tenzij ze ingelogd zijn. Dat zal sowieso al deze problemen oplossen, maar dan worden er ook normale users gedupeerd. Voor iemand die Tweakers nog niet kent, en Tor gebruikt, kan de drempel om de Pricewatch te gebruiken dan groter worden.

[TheodoorDG]

Google heeft mij al enkele keren gevraagd een captcha in te vullen als ik een paar keer iets te snel zoek. Dat zou ook kunnen voor deze Tor-gebruikers. Als ze veel request doen een captcha sturen met uitleg waarom.

[ACM]

Deze manier was eenvoudiger uit te rollen en lijkt vooralsnog aardig effectief. Als ik de cijfertjes goed interpreteer zitten we nu op 0,01667% false positives en die konden - voor zover ik kon zien - "allemaal" met een refresh gewoon verder want blijkbaar was domweg hun sessie tussen twee bezoeken in verlopen geraakt.

[Reactie gewijzigd door ACM op 24 juli 2024 16:50]

[Moartn]

Zijn er daadwerkelijk mensen die sites als t.net via Tor bezoeken dan?

Begrijp me niet verkeerd: ik snap best dat Tor nuttig kan zijn in sommige situaties, maar ik kan me eigenlijk geen situatie bedenken waarin je een hele normale site als t.net via Tor zou willen bezoeken.

[ACM]

Ja, er komen ook legitieme gebruikers via Tor. Zelfs de enkeling die het een tijdje probeert (of vergat het daarna uit te zetten) willen we liever niet onnodig bannen.

[Radiodurans]

Mja, m'n browser (en enkele andere data-gevoelige apps) op m'n telefoon draait via orbot omdat ik geen behoefte heb mijn surfgedrag unencrypted de wereld in te slingeren. Op deze manier ben ik ook niet afhankelijk van mogelijk zwak geschreven apps die inlogdata onversleuteld communiceren.

Ik loste het Tweakers 'probleem' tot nu toe op door de Tweaker app te gebruiken en deze niet via de TOR proxy te laten lopen. Maar GoT kon ik dus niet bereiken, nu wel weer hopelijk, dank daarvoor!

[Reactie gewijzigd door Radiodurans op 24 juli 2024 16:50]

[Pixeltje]

Echt geen kans dat we een heeeeeel klein tipje van de sluier opgelicht krijgen mbt tweakers7.0? Hoe dan ook; weer lekker bezig met 104 tickets en ik ben erg benieuwd naar de nieuwe look en backend.

[zeef]

Nope.

[Pixeltje]

Darn

[CodeCaster]

Al een tijdje wordt geprobeerd om via het Tor netwerk onze Pricewatch te scrapen en in plaats van steeds meer exitnodes te blocken en daarmee bonafide gebruikers te duperen, hebben we onze strategie aangepast. Als normale gebruiker die via Tor surft, zul je hier geen last van hebben, maar we kunnen malafide gebruikers nu makkelijker onderscheppen.

http://gathering.tweakers...message/35625795#35625795

[RobbyTown]

Tweakers 7.0 op welke dag komt die ongeveer live?

[Freeaqingme]

Op een woensdag.