Afronding BenchDB en https/http2 - Development-iteratie #87

We hebben onze 87e sprint voltooid. Een bijzondere iteratie, omdat we twee grote projecten hebben afgerond waaraan we in de afgelopen maanden hebben gewerkt: de vernieuwde BenchDB en de overgang naar https.

BenchDB

Tweakers reviewt een groot aantal producten. Onze reviews zijn altijd gebaseerd op objectieve meetgegevens, die we eigenhandig in ons testlab hebben vergaard, ongeacht de productsoort. Meetgegevens stellen ons namelijk in staat onze subjectieve bevindingen te onderbouwen met harde data. Alle gegevens die we vergaren met deze tests, willen we kunnen bewaren, vergelijken, terugvinden en uiteindelijk mooi kunnen presenteren, zodat we ze met gebruikers kunnen delen. De tool die we daarvoor hebben gemaakt, de benchmarkdatabase, was dusdanig verouderd dat een volledige refactor noodzakelijk was.

Na meer dan 140 afgeronde tickets, maanden van keihard werken en nog veel meer ontwikkeluren is het dan zover. Het moment is aangebroken dat we de BenchDB-refactor officieel afronden. Deze totaal vernieuwde tool stelt de redactie in staat om alle resultaten van producttests goed te beheren en mooi weer te geven in grafieken, zodat we die als onderbouwing bij reviews en als aanvullende informatie bij producten kunnen tonen.

Femme heeft de originele BenchDB twaalf jaar geleden haastig in een periode van enkele weken geschreven. Nadien zijn er nog enkele uitbreidingen zoals de weergave van grafieken in gehackt. Omdat sommige logica voor de BenchDB hergebruikt moest worden, was het noodzakelijk om de oude code door te spitten. Geen makkelijke klus, aangezien de logica in procedurele code stond van rond de vijfduizend regels per bestand. De BenchDB is nu herschreven naar objectgeörienteerde code die volgens een model-viewer-controller-structuur is opgebouwd in het Symfony-framework.

Een van de laatste functies die omgebouwd moesten worden, was het samenstellen van indices en het berekenen van indexgetallen. De redactie kan deze functionaliteit gebruiken om de resultaten van verschillende tests samen te vatten in een gewogen en geïndexeerd gemiddelde, zodat het vergelijken van de prestaties van producten makkelijker wordt. In het verleden gebruikten we prestatie-indices alleen voor storagebenchmarks. In de nieuwe BenchDB is het beheer gebruikersvriendelijker gemaakt zodat de functionaliteit nu ook eenvoudig voor andere productcategorieën ingezet kan worden.

De samenstelling van een denkbeeldige prestatie-index

Https en http/2

In 2014 schreven we al een artikel over de overweging om over te gaan op https en zoals te lezen was in een uitgebreid achtergrondartikel, hebben we in de afgelopen week de overstap gemaakt. Een weloverwogen keuze en een groot project, waarbij naast het product- en developmentteam bijna elke afdeling binnen Tweakers betrokken is geweest.

Na de succesvolle release van vorige week, zien we de eerste effecten. Door de release van https kunnen de meeste browsers nu ook gebruikmaken van het http/2-protocol. Direct na de release om half tien, is in onderstaande grafiek te zien wat het effect is geweest van de release op het aantal ssl-requests voor http/1, en http/2.

Abonnementen

Verder zijn we de strijd aangegaan met onze technical debt op het onderdeel abonnementen. Daarmee maken we het in de toekomst ook mogelijk om maandelijkse betalingen te doen.

Reacties (52)

Lees ik de grafiek nu goed als ik concludeer dat na de lifegang het aantal requests voor http/2 omlaag is gegaan? Of gaat het hier om ms?

Dank voor het delen! Mooie resultaten weer .

[Reactie gewijzigd door Eagle Creek op 22 juni 2016 08:23]

De grafiek loopt over een tijdsperiode van 1 dag, van 6 uur 's ochtends 14 mei tot 6 uur 15 mei en geeft het aantal requests per seconde weer. Daarin zie je dus dat er gewoon heel veel http/2 requests gedaan worden (en wat minder http/1). In de nacht loopt dat (uiteraard) terug omdat er dan relatief gezien meer 'robots' zijn (die in het algemeen via http/1 werken).

Het is een grafiek van het aantal requests over een dag. Je ziet in de grafiek dat veel tweakers na 23.00u slaperig worden en dan helaas stoppen met het bezoeken van de site .

Ook grappig om te zien dat de meeste requests overdag zijn, onder werktijd (voor velen dan)

Dat is ook nogal inherent aan mijn werk

IT info come with an It Job.
Keep learning, keep informed.


of op zijn Frans :
Les excuses sont faites pour 's'en servir.
Les imbéciles pour les croire

Dan begint de dataverwerking van de hersenen van de tweakers. De inhoud van de cache wordt verwerkt, welke data is verandert, welke data mag weg, welke data moet snel beschikbaar blijven en welke data mag er gearchiveerd worden. Daarna wordt de cache geleegd en zal de tweakers weer wakker worden en nieuwe data gaan vergaren.

Je ziet in de grafiek dat veel tweakers na 23.00u slaperig worden

Welnee, dan gaan ze juist aan de slag!

[Reactie gewijzigd door torp op 21 juni 2016 15:27]

Dit komt natuurlijk doordat er na 23:00 vrijwel nooit nieuwsberichten worden geplaatst, waardoor er weinig reden is om na 23:00 nog Tweakers te bezoeken. Tegen die tijd switchen we over naar een andere categorie websites .

Volgens mij juist flink omhoog... Rond 09:00 is het bijna 0 en om 09:30 schiet het omhoog naar 700
De dip die je later in het grafiek ziet (vanaf 01:00 zo'n beetje) is wellicht te verklaren omdat er dan een hoop tweakers op één oor liggen.

Wat ik overigens wel raar vind in het grafiek is dat voor 09:00 de groene lijn http1 requests ook heel laag liggen. Terwijl die aan het einde van het grafiek een stukje hoger ligt op hetzelfde tijdstip. Of lag tweakers.net eruit op 14-06-2016 tot +- 09:30?

Edit:
Ah, duidelijk. De groene lijn is ook SSL (dus HTTPS) verkeer. Daar had ik even overheen gelezen. Het is dus volkomen logisch dat de groene lijn voor 09:30 ook op 0 ligt, immers was HTTPS toen nog niet beschikbaar.

Een interessantere grafiek zou zijn waarin je kunt zien wat de impact van de release op HTTP (niet-SSL) verkeer is geweest (zoals @Sthomkop hieronder suggereert).

Edit 2:
Is aan dit grafiek dan wel te concluderen dat er een hoop meer modernere browsers (die via HTTP/2 praten) worden gebruikt om tweakers.net te benaderen dan verouderde browsers (die via HTTP/1 praten)? Of begrijp ik dat ook verkeerd?

[Reactie gewijzigd door Nilltris op 21 juni 2016 15:13]

Toen bezocht iedereen de site nog via http, https is pas om 09:30 'gereleased'

De lijn ligt volgens mij laag omdat het alleen gaat om http/1 SSL requests (dus HTTPS zeg maar). Het zou wel interessant zijn om de data van niet-SSL requests te zien als vergelijking.

Rood = aantal http/2 requests per tijdseenheid (minuut?).
Groen = HTTP 1.x requests per tijdseenheid.
Rond half 10 is alles online gegaan, rond 18:00 is Nederland aan het eten en vanaf een uur of tien gaat de Tweaker naar bed

Totale grafiek is 14 juni, 24 uur in totaal.

[Reactie gewijzigd door bartvb op 21 juni 2016 14:13]

Zo zie je maar weer dat zelfs onder het eten iedereen nog op Tweakers zit!

Niet iedereen eet rond dezelfde tijd natuurlijk

Was ook niet serieus bedoeld natuurlijk maar je kan wel duidelijk zien dat er een dipje is tussen 17:00 en 19:00 wat toch een redelijk normale tijd is om te eten

Of om naar huis te rijden van het werk... Ik denk dat autorijden of fietsen een nog belangrijkere reden is dan eten wat betreft niet tweakers bezoeken. Maar eten speelt ongetwijfeld ook mee.

Onder het rijden kun je prima lezen

Rood is http/2, groen is http/1.1

Het gaat om half negen 's ochtends, niet 's avonds.

Wat wordt er bedoelt met die laatste regel over abonnementen?

Zo'n moeilijke zin is het toch niet? Blijkbaar kun je straks ook maandelijks je tweakers abonnement betalen in plaats van per jaar zoals het nu is. Zie ook; https://tweakers.net/aboshop/

Zeker wel.

Verder zijn we de strijd aangegaan met onze technical debt op het onderdeel abonnementen.

Wut?? Technical debt op het onderdeel...? Dit betreft onzes inziens een stukje 2.0-usercommunicatie naar de mensen toe waarmee op het readability traject geen targets worden gemanaged.

Een onnodig indirecte, verhullende / verkapte zin met jargon waarvoor ik in mijn werk zeker billenkoek zou krijgen - en geven.

De tweede zin legt vervolgens uit wat er echt bedoeld wordt. De eerste kan gemist worden.

"Verder hebben we het nu technisch mogelijk gemaakt om het abonnementsgeld in maandelijkse termijnen te betalen."

[Reactie gewijzigd door Ro-Maniak2 op 21 juni 2016 14:37]

Helemaal met je eens, dit had best wat netter of duidelijker verwoord mogen worden. Máár;

Bruce Lee zei ooit;
"Adapt what is useful, reject what is useless, and add what is specifically your own."

De eerste zin over technical debt is snapte ik in eerste instantie ook niet. Dus ging ik naar de volgende zin waarmee het gevolg van de eerste zin wordt uitgelegd. Daardoor snap ik de eerste zin ook en daarmee het hele kopje.

Je bent het toch wel met me eens dat het al met al, zeker voor een tweaker, best een begrijpelijk stukje tekst is?

Nou ik vind mezelf een behoorlijke tweakerT, maar wat technical debt is... geen idee eerlijk gezegd. Equity die gestructureerd is als debt? Structurele intercompany leningen die een technisch doel dienen? ...?

[Reactie gewijzigd door Ro-Maniak2 op 21 juni 2016 17:56]

Ik zal happen, technical debt is programmeur jargon. In een typische codebase weten programmeurs wat de technische mankementen zijn. Programma code die op zich werkt, maar slecht in elkaar steekt. Als je hier niets aan doet, dan heb je in feite een technische schuld, een technical debt.

Het probleem met technical debt is dat het lastig te verkopen is. Stel je voor, ik stap naar mijn opdrachtgever en zeg: we hebben 2 maanden nodig om de codebase weer gezond te maken. Je krijgt er geen enkele nieuwe feature voor terug maar wel even afrekenen graag.

En toch is het iets wat je moet doen, want als je deze schuld te veel laat groeien, wordt al het toekomstig werk ook veel duurder door de slechte onderhoudbaarheid.

Technical debt in de context van de zin die Tweakers gebruikt slaat werkelijk helemaal nergens op, dus de verwarring is te verwachten.

Technische achterstand => achterhaalde code?

Code kan allerlei mankementen hebben, ook al werkt de code op zichzelf functioneel gezien wel:

- niet gedocumenteerd
- slechte onderhoudbaarheid
- niet compliant met standaarden
- niet secure
- slechte performance
- etc

Al die zaken dragen bij aan de technische "schuld".

Ok wist ik dus echt niet: interessant, dank. Geeft wel aan dat het zoals je al zegt idd jargon is en dus de vraag of je het dan moet opschrijven, zijn denk ik ondertussen veel lezertjes incl. ikke die geen ICTer zijn.

Nee, op dit moment is het nog niet mogelijk maar in de toekomst kan je mogelijk het abonnementsgeld per maand betalen

Technical debt is vaktaal van programmeurs. Niets mis mee en zeker niet billenkoek waardig.

Maar krijg jij billenkoek op je werk?

[Reactie gewijzigd door keesdewit op 21 juni 2016 23:31]

Ik ben een onregelmatige tweakers bezoeker, had geen idee dat er abonnementen bestonden voor de site. Dan valt zon zin toch wel wat meer uit het niets.

Dat er nu een jaarbedrag afgetikt moet worden en dat het in de toekomst mogelijk is maandelijkse betalingen te doen.

Waarom is het SSL certificaat zo kort geldig? ‎dinsdag ‎13 ‎september ‎2016 08:17:00

Grappig om te zien dat jullie een gratis CA (Let’s Encrypt) hebben uitgekozen. Ligt daar nog een motivatie aan ten grondslag?

Certificaten van Let's Encrypt zijn maar 90 dagen geldig. Zie hier voor uitleg waarom: https://letsencrypt.org/2015/11/09/why-90-days.html.

Dat wist ik nog niet. Hopelijk hebben ze bij Tweakers het vernieuwen geautomatiseerd, want om de 90 dagen handmatig vernieuwen vraagt om een keer vergeten te worden.

Jep, zie het achtergrondartikel: reviews: Tweakers stapt over op https

Het is jammer dat mod_http2 voor Apache nog zo onstabiel is en aparte workers buiten de MPM heeft. Ook is er nog geen goede integratie in cPanel met Nginx om .htaccess helemaal overbodig te maken.

Daarom gebruiken wij voor http/2 (en https terminatie) software van Brocade.

Ah ja, die luxe heb ik helaas niet. Het is dus even wachten op een goeie implementatie

Weer een hele mooie update!

Fijn dat de benchmark resultaten nu ook weergeven worden onder producten, maar wordt het op termijn ook mogelijk deze resultaten direct te vergelijken bij product vergelijker? Als ik daar nu ga kijken dan staat dat er nog niet bij, zou een logisch stap zijn lijkt me?

We hebben nu een eenvoudige weergave gemaakt van testresultaten op de spectab. Het is de bedoeling om er in de toekomst nog het een en ander aan te verbeteren met uiteindelijk hopelijk ook de mogelijkheid om testresultaten te vergelijken.

Ok. Bedankt voor je reactie. We wachten de toekomst af dan!

Mooie update!.

Komt er voor de abonnementen ook een variant om custom css te krijgen?
Ik reageer te weinig, de combi geen advertenties en custom CSS is mij wel een tientje waard.

Groeten Jos

Die komt niet, want dat is er al
Je krijgt alle zogenaamde 'karma features' als je een abonnement neemt en custom CSS is er daar een van.

Let wel op dat dit onderdeel is van het Plus-abonnement en niet van Donateur, dat kost dan dus wel wat meer dan een tientje (maar je krijgt ook mee dan alleen de custom css).

[Reactie gewijzigd door ACM op 21 juni 2016 15:36]

Dat is dan blijkbaar veranderd. Heb hier namelijk wel eens meer om gevraagd.

Over grafiekjes gesproken, is het niet leuk - aangezien jullie toch al grafana oid draaien - om die grafieken ook te publiceren? Lijkt mij toch wel leuk om de stats te kunnen zien

Je kunt er al een heleboel opvragen: https://tweakers.net/stats

Gave iteratie wederom. Keep up the good work

Het was misschien veel werk om HTTPS te gebruiken maar dan heb je gelijk ook wat. Alles lekker modern: HTTP2, OCSP Stapling etc. Tweakers is hier nu echt ontzettend snel!

Mooie update en fijn dat we weer op de hoogte gesteld worden!