Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Door , , 127 reacties

De engine in de toekomst

Onze site, code en engine kunnen altijd beter. De belangrijkste toepassing die nog niet gerealiseerd was bij de release van Tweakers 7, was de integratie van het forum. We willen namelijk dezelfde techniek gaan gebruiken om lijstjes forumtopics te kunnen presenteren, bijvoorbeeld als tab binnen een merkpagina. Die toont dan alle forumtopics die gekoppeld zijn aan het merk Kingston of producten van dat merk. Bovendien moet de zoektechniek die we voor veel andere onderdelen van de site hebben geïntroduceerd ook voor het forum gebruikt gaan worden. Omdat het hier gaat over tientallen gigabytes aan informatie, hebben we dit niet gelijk geprobeerd te integreren.

Dbadmin disk-grootte voor Topics en Messages

Op deze manier konden we eerst de basisideeën van de techniek goed in de praktijk testen. Bovendien zou het integreren van die functionaliteit onze overstapdatum weer weken of zelfs maanden uitgesteld hebben. Het is natuurlijk jammer voor degenen die al heel lang wachten op een betere zoekmachine in het forum, maar hij is eindelijk in ontwikkeling. Op het moment van schrijven is er zelfs al een goed werkende opzet, die we nu verder uitwerken :)

Forumtab van TPlink voor Tweakers 7

Daarnaast is het de bedoeling dat je de forumtopics ook bij de algemene zoekresultaten gaat vinden. Ook dit is geen triviale uitbreiding; dus ga er maar vanuit dat we de nieuwe forumzoekmachine eerst in gebruik nemen en dat we de geïntegreerde zoekfunctie pas in een latere iteratie uitbreiden.

Verder zullen we natuurlijk nog kijken naar andere onderdelen van de site die hier nog niet in opgenomen zijn en daar wel baat bij hebben. Momenteel vallen onder andere de Meuktracker, onze banensectie en wat andere kleinere delen nog (deels) buiten de boot. Ook die stonden eerder wel op het programma, maar zijn uiteindelijk uitgesteld om het Tweakers 7-project een gezonde einddatum te kunnen geven.


Door Arjen van der Meijden

- Lead Developer

In oktober 2001 begonnen met als voornaamste taak het technisch beheer van het forum. Daarna doorgegroeid tot senior developer en softwarearchitect. Nu lead developer, met een leidinggevende taak binnen het team van programmeurs en systeembeheerders van Tweakers.

Lees meer over

Moderatie-faq Wijzig weergave

Reacties (127)

Leuk om eens wat meer van de achterkant van tweakers te lezen. Dit soort artikelen mogen vaker van mij voorbij komen
Leuk en goed artikel, wat dieper ingaand op de techniek, dat is toch iets waarmee Tweakers zich kan onderscheiden! Goed dat jullie de ontwikkelingen in de techniek ook op jezelf betrekken, compliment :).
Grappig om te zien wat er allemaal wel niet met tomcat kan. Ik had ooit mijn website in tomcat draaien op een thin client met 100mb ram op damn small linux. En dan zie je nu dat tomcat de engine is van iets als tweakers.net draait. Uiteindelijk ben ik maar over gegaan naar een VPS omdat mijn derby database te zwaar werd om naast tomcat te draaien en ik sql lite niet aan de praat kreeg.

[Reactie gewijzigd door Leejjon op 16 november 2012 15:38]

Volgensmij draaien ze geen Tomcat, ze draaien Apache.
Tomcat, the horror.

[Reactie gewijzigd door xzaz op 16 november 2012 16:39]

Moderne tomcat's (5.5+) hebben bij ons altijd goed gedraaid. Overigens wel met een vrij eenvoudige en standaard configuratie. Wellicht heb jij ervaringen met oudere versies of complexere opstellingen... Maar in onze ervaring is het absoluut geen horror.
Wat mij betreft is Pricewatch al tijden de gouden standaard voor productvergelijking. Hebben jullie er weleens aan gedacht de engine te verhandelen? E-commerce sites, kleintjes maar ook hele grote (bol, amazon, google shopping) hebben veel beroerdere vergelijkingsmogelijkheden...
Ik meende dat de T.net crew meegewerkt had aan (?) vergelijk.nl of iets dergelijks, een soort losse pricewatch-site voor consumentenelectronica.
Leuk artikel. En de keuze voor Java, en dan in het bijzonder de JVM, is best goed denk ik. Bij ons zien we echt een enorme performance verbetering nu de website van PHP naar een JVM-gebaseerde oplossing is omgebouwd (als in: er is ongeveer een 10e van de oorspronkelijke hoeveelheid hardware nodig). Alleen zou ik oppassen om Java standaard als de taal voor alles te gebruiken. Wij hebben nu een gemengde oplossing waarbij delen in Scala zijn geschreven en andere delen in Java. Behalve voor concurrency heeft Scala nog een hele berg andere verbeteringen die zeer interessant zijn - zeker voor toepassingen zoals beschreven in het artikel hier. Het omgaan met data (Lists, Sets, Trees, etc.) is echt zoveel makkelijker in Scala dat het voordeel van iets mindere IDE-support snel gecompenseerd wordt. En dan moet daarbij opgemerkt worden dat IDE's (in ieder geval ntelliJ) steeds betere support heeft voor Scala. Ook automatische tests zijn vaak een stuk beter leesbaar in Scala dan in Java. En het grootste voordeel is dat je Scala en Java in principe gewoon door elkaar kunt gebruiken (wij doen dat bij meerdere services). Performance, de mogelijkheid om met grote hoeveelheden data om te gaan, etc. is voor Scala exact gelijk als voor Java, aangezien het uiteindelijk gewoon naar JVM bytecode compileert.
Op zich een terechte vraag, mogelijk omdat momenteel het aantal mensen wat Scala beheerst nog vele malen kleiner is dan de Java community, wat qua onderhoudbaarheid op de langere termijn een probleem kan vormen. Daarbij zijn een flink aantal features die Scala nu biedt ook al aangekondigd voor Java 8 [1], dus beide talen groeien naar elkaar toe. Of misschien moet je wel zeggen dat alle talen momenteel aan het kijken zijn hoe ze makkelijker om kunnen gaan met grote aantallen cores en de bijbehorende concurrency.

[1] http://www.infoq.com/articles/java-8-vs-scala
Ik ben de laatste tijd erg fan van Scala, het heeft de beste tool van java naar mijn mening mee: de JVM :) Java is helaas naar mijn mening te ver onder de rok van oracle geschoven, en ze vernieuwen helaas niet. Scala doet dat wel en op een functioneel programmeerbare manier wat prachtig is (maar wel moeilijk).
Het ontbreekt alleen aan fatsoenlijke bibliotheken voor scala, maar dat zal wel snel gaan veranderen. Verder kan java en scala door elkaar gebruikt worden.

Ik ben verder ook benieuwd naar de mening dat Scala niet verticaal schaalbaar is?
Waar kan ik hier meer over lezen? En ik kan me niet voorstellen dat Java meer verticaal schaalbaar is.
Als je dat er uit leest dan heb je me verkeerd begrepen of ik het verkeerd opgeschreven :P
Mijn punt is juist omgekeerd; je ziet best vaak opmerkingen dat Scala heel sterk in horizontaal schalen is en dat dan beter zou kunnen dan Java.
Maar er is domweg een eindigheid in het aantal resources, of je nou heel veel horizontaal of verticaal doet, je zal ergens in gaan leveren. Hoe meer je je belasting horizontaal uitsmeert, hoe minder je er verticaal van doet (oftewel, response tijden nemen toe), althans, zodra je je resources 100% belast zijn natuurlijk.

Je kan in die gevallen eigenlijk alleen nog maar winst boeken door minder werk per request te doen of door de administratieve overhead te beperken :P
Zeker een interessant artikel om te lezen. Wat mij betreft had het zelfs nog wel ietsje technischer gemogen. Des noods onder aparte kopjes, zodat minder geinteresseerde lezers het kunnen skippen. Desalniettemin is het een mooi verslag van de architectuur en overwegingen.
Ik denk dat dit juist is waar de "echte" tweaker van houdt.
De technisch mindere (zoals ik) onder ons heeft genoeg artikelen die we wel super kunnen lezen
Ik wilde net posten dat zelfs minder technisch onderlegden hier met wat rustig lezen uit zouden komen. ;)

Maar ik vraag me af waar het mis gaat als ik naar de blogs ga. Daar moet ik opnieuw inloggen (?) en krijg dan "Ongeldig token" terug, zonder ingelogd te zijn. Als ik terug huppel naar de frontpage werkt alles, en ben ik ingelogd.
Schoonheidsfoutje ergens?
Ik begrijp helemaal dat soms DIY de beste oplossing is :)

Ooit was ik aan het hobbien ( hier niet mee te vergelijken) om een zoekmachine te bouwen, met als speciale eis dat je oneindig (zonder performance verlies) moest kunnen pagineren.

De dataset bevatte ongeveer 4.5 miljoen artikelen (inmiddels >5M)

Zelfs met de Enterprise Editie van SQL Server was het niet te doen, goede full-text engine, maar niet daarvoor. Oracle had misschien gekund omdat deze wel bitmap indexes ondersteund, maar daar had ik geen licenties voor liggen.

Uiteindelijk zelf via GDI+ een zoekengine geschreven.. :P werkt als een trein.

http://search-geenstijl.thruhere.net/
Oracle had misschien gekund omdat deze wel bitmap indexes ondersteund, maar daar had ik geen licenties voor liggen.
Oracle kun je gewoon downloaden en gebruiken om mee te hobbien.

http://www.oracle.com/tec...tion/downloads/index.html

Volgens mij hoef je pas te betalen op het moment dat je het commercieel gaat gebruiken.
Gaat de output van de nieuwe engine ook veranderen? Gaat er bijvoorbeeld gebruik gemaakt worden van http://schema.org/?
Schema.org staat los van de output van de engine. Uiteindelijk kan de data die uit de engine komt worden gebruikt, maar dat kon natuurlijk ook als het direct uit MySQL zou komen. Ook wordt er op Tweakers al gebruik gemaakt van schema.org in oa de pricewatch :)
Er was me al een paar dagen geleden iets opgevallen aan de pricewatch. Zag er zeer overzichtelijker uit en er waren meer producten. Prima gedaan, zou ik zeggen, want pricewatch was hiervoor erg bar slecht.
uhhh... deze engine staat al een jaar of wat online voor de pricewatch en is nu 'slechts' uitgebreid naar de rest van de site. 8)7

Op dit item kan niet meer gereageerd worden.



Nintendo Switch Google Pixel Sony PlayStation VR Samsung Galaxy S8 Apple iPhone 7 Dishonored 2 Google Android 7.x Watch_Dogs 2

© 1998 - 2016 de Persgroep Online Services B.V. Tweakers vormt samen met o.a. Autotrack en Carsom.nl de Persgroep Online Services B.V. Hosting door True