Prijsdalingen en -alerts - Development-iteratie #156

Onze developers hebben iteratie #156 opgeleverd, met daarin een upgrade van de prijsdalingen in de Pricewatch en verbeteringen in de prijsalerts.

Upgrade prijsdalingen

In augustus 2016 hebben we de Pricewatch Prijsdalingen geïntroduceerd. Deze pagina kan je zelf naar wens inrichten om de beste deal te vinden die aan jouw eisen voldoet. Zo kan je onder andere de categorie aanpassen, de daling in procenten of euro's bijstellen en de range van de prijshistorie aanpassen.

De prijsdalingen-pagina wordt tijdens acties van webwinkels veel bezocht en daarom vonden we het tijd worden om deze pagina een styling-upgrade te geven. We hebben onder andere de reviewscore van producten toegevoegd, de prijs beter te scannen gemaakt en kleine stylingverbeteringen doorgevoerd.

Prijsalert-verbeteringen

Ook zijn we begonnen aan het verbeteren van prijsalerts. Prijsalerts worden momenteel nog eenmalig verstuurd op basis van de door jou ingestelde prijs. Dat gaan we veranderen en voor die verandering hebben we deze iteratie de basis gelegd. We gaan in de toekomst bij prijsdalingen niet meer eenmalig, maar continu een notificatie sturen. Je hoeft dan niet meer telkens handmatig een nieuwe prijsalert in te stellen, maar ontvangt bij elke significante daling van de prijs opnieuw een notificatie.

Dit is nog niet actief voor iedereen; we testen deze aanpassing eerst met een groep testgebruikers. Heb jij prijsalerts actief en wil je hieraan meedoen? Stuur dan een persoonlijk bericht naar ikloon om toegevoegd te worden aan de groep testgebruikers.

Wel al voor iedereen zichtbaar is een aanpassing op de wenslijstpagina; hier hebben we het makkelijker gemaakt om prijsalerts te verwijderen.

Andere verbeteringen

• Onze developers hebben het mogelijk gemaakt om specificaties in de categorieën camera-accessoires, tablet-accessoires en controllers automatisch vanuit onze dataleverancier te importeren, zodat we van meer producten specificaties hebben.
• Om het malafide crawlers moeilijker te maken om de Pricewatch te indexeren, hebben we de criteria aangescherpt.

Reacties (27)

Stomme vraag: wat maakt een crawler van Pricewatch "malafide"?

Aanvullend op Kees' antwoord: niet-malafide crawlers zijn o.a. partijen als de grote zoekmachines zoals Googlebot en Bingbot. Die worden dan ook gewhitelist van die (extra) controles

Verder zijn er ook allerlei malafide crawlers die zich zo goed mogelijk proberen voor te doen als een gewone bezoeker, ipv netjes via hun "UserAgent" te melden dat ze een robot zijn en waar je meer informatie over ze kan vinden.

[Reactie gewijzigd door ACM op 21 mei 2019 15:25]

Aan UserAgent had ik nog niet gedacht, da's inderdaad een nettere manier.

Ja, Google doet bijvoorbeeld meestal deze (hun 'mobile first' crawler):
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

En Bing bijvoorbeeld dit:
Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

Beide dus netjes met een 'ik ben bot X' en een url naar waar je daar meer informatie kan vinden. De andere "nette" bots doen doorgaans ook zoiets.

Maar zo'n malafide kan doodleuk zoiets doen:
Mozilla/5.0 (Linux; Android 8.0.0; SM-G950F) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.83 Mobile Safari/537.36

Die zich daarmee voordoet als een Samsung Galaxy S8... Alleen kan die dan blijkbaar meer dan 1500 pricewatch-pagina's in een uur opvragen (plus nog eens 1500+ met een andere useragent vanaf hetzelfde ip)

[Reactie gewijzigd door ACM op 21 mei 2019 15:32]

Bedankt voor de info! Is het blokkeren van malafide crawlers erg moeilijk? Lijkt me een beetje als het dichten van Emmentaler kaas.

Ja, zeker met de huidige botnets die er blijkbaar voor in te zetten zijn... Vaak plaatsten we dan een automatisch blokkade in onze firewall pas ruim nadat een ip honderden requests had gedaan en daarna toch niet meer terug zou komen...

De nieuwe wijziging reageert een stuk sneller, waardoor we nu veel van de 'actieve' bots die we zien gelijk pakken. Helaas krijgen ook een paar gewone gebruikers de specifieke melding voor hun neus; maar zij kunnen die tijdelijk uitschakelen door een captcha in te voeren (of natuurlijk wat geduldiger te zijn ). En daarnaast kunnen ook die malafide crawlers nog wel een paar requests doen.

Het is natuurlijk afwachten of die crawler-makers weer iets nieuws verzinnen waarmee ze er helemaal geen last van ondervinden. Zolang een 'echte' bezoeker erbij kan, zal een malafide 'bezoeker' dat ook kunnen

[Reactie gewijzigd door ACM op 21 mei 2019 15:53]

Klinkt goed. Een crawler maakt natuurlijk in een korte tijd veel meer requests dan de gemiddelde gebruiker. En dan maar hopen dat captcha's voorlopig nog niet door bots opgelost kunnen worden.

Dat is dan in ieder geval een voordeel van ReCaptcha gebruiken, ze doen daar aardig wat onderzoek naar dat redelijk gebruiksvriendelijk houden en toch behoorlijk robot-proof. Maar we hebben ook wel meegemaakt dat er daadwerkelijk echte mensen - in China ofzo - de captcha's zitten op te lossen en dan alsnog spam posten

Of dat hier ook gaat gebeuren, geen idee...

Klopt, ik heb een aantal services voorbij zien komen waar je voor bijna niks handmatig captcha's op kan laten lossen door mensen. Zo zie je maar, zolang in sommige landen lonen laag genoeg blijven zijn er altijd "domme arbeid" manieren om technische blokkades te omzeilen.

Sites als priceapi[.]com die onze database scrapen en dan aan hun klanten die data doorverkopen scharen wij bijvoorbeeld onder malafide.

Ah, da's inderdaad niet netjes.

Gokje: iedere crawler die zonder toestemming van Tweakers de complete pricewatch indexeert.

Zou het ook mogelijk zijn een %-age in te kunnen voeren, voor de prijs van 2e-hands onderdelen? Het is zo zinloos om een melding te krijgen van gebruikte voorwerpen, die enkel een paar procenten onder de ingestelde minimum nieuwprijs duiken!?

Dat is een van de redenen om het nu eerst voor een testgroep te activeren. We hebben wat logica toegepast om alleen bij een significante daling van prijs een alert te sturen. Die logica stuurt bij een goedkoper product dus pas een alert bij een hogere procentuele daling dan bij een duurder product. Daarin willen we zoeken naar de juiste balans. Wil je meedoen in de test, laat het dan even weten?

Pro-tip: Laat de gebruiker afwijken van de standaardwaarde en zelf beslissen welk percentage significant voor hem is.

Het is inderdaad niet mogelijk om een aparte grens op te geven voor V&A aanbod. Wel kan je meldingen daarover uitzetten. Daanaast zijn prijzen voor tweedehands aanbod over het algemeen meer onderhandelbaar natuurlijk

Mede hierdoor en het niet kunnen uitsluiten van webshops alle alerts verwijderd. Het ontvangen van een prijsalert zou een blije bericht moeten zijn i.p.v. het tegenovergestelde.

Zijn er plannen om 'Wil je verder met je laatstgebruikte filters?' ook te implementeren op de prijsdalingen-pagina? Die handige optie van de Pricewatch mis ik bij de prijsdalingen.

De plannen zijn er nog niet. Komende tijd kijken we naar het inzetten van deze prijsdalingen in de website, we kunnen daarbij kijken naar jouw suggestie .

Ik houd me aanbevolen!

Hoe kom je op de deals pagina zonder /deals achter de link van pricewatch te typen?

Edit: nevermind, ik zocht naar 'deals' ipv prijsdalingen

[Reactie gewijzigd door joon op 21 mei 2019 15:30]

Staat onder andere op het Pricewatch-portaal direct onder het overzicht van categorieën

Goed bezig developers van Tweakers.net! We zijn blij met jullie inzet om de website steeds beter te maken!

Ziet er weer goed uit guys

Goed bezig! Net op tijd voor het vakantiegeld

De Verwijder knop is wel erg prominent aanwezig.

Nog geen webwinkelfilters op prijsdalingen? Dan is de hele functie helaas nog steeds compleet nutteloos.