900.000 pakketjes bezorgen op één dag vereist veel agility

Brieven bezorgen was bijna een eeuw lang de corebusiness van PostNL en zijn voorlopers.
Dat landschap is totaal veranderd. Niet alleen willen klanten snel pakketjes versturen en ontvangen, en alles online kunnen volgen, ze willen bij vlagen ook heel veel pakketten bestellen, zoals rond sinterklaas en kerst.

Vrijwel alle software in de keten van PostNL is volgens eigen specificaties gebouwd. Door de veelheid aan applicaties ontstonden problemen. Daarom besloot PostNL de hele ict-infrastructuur door te lichten. Hiervoor ging het bedrijf in zee met ict-dienstverlener Schuberg Philis, die het de opdracht gaf een deep dive te doen in de hele digitale pakketomgeving. PostNL wilde 'geen mooiweerverhaal', maar de naakte waarheid over de gezondheid van de systemen in het distributieproces.

In het kader van een duurzame groei en ontwikkeling had PostNL al stappen gezet op het terrein van logistieke infrastructuur en personeelsbeleid. Een aantal jaar geleden was het applicatielandschap gefragmenteerd. Er is toen gekozen voor een beweging naar de publieke cloud. Deze beweging leek een goede keus, totdat het bedrijf steeds meer ging outsourcen en het niet altijd meer duidelijk was door welke applicaties eventuele problemen ontstonden.

Applicaties

Voor het onderzoek naar de applicaties die PostNL gebruikte, stelde Schuberg Philis een team samen. Samen met PostNL verkende een team van de ict-dienstverlener welke applicaties een kritisch onderdeel zijn van het logistieke proces. Hierdoor was Schuberg Philis in staat om de belangrijkste applicaties te identificeren voor nader onderzoek. Bij de scan heeft Schuberg Philis zich per applicatie afgevraagd of het hiermee zelf, gezien de honderd-procent-uptimegarantie, live zou gaan. PostNL zat wat infrastructuur betreft al op Amazon Web Services en dat wilde het graag zo houden. Schuberg Philis heeft op kritieke punten als monitoring, beschikbaarheid, schaalbaarheid en beveiliging een categorisering gemaakt. Zo kon per applicatie een schatting worden gemaakt van de kwaliteit, flexibiliteit en stabiliteit.

Het volgende doel van het team was: rust creëren in het ict-landschap van PostNL, zodat PostNL straks zelf weer de teugels in handen kon nemen. Op dit moment bevindt het project zich nog grotendeels in deze breathe-fase en gaat het via continuous integration & continuous delivery, of ci/cd, langzaam maar zeker naar de interessantste fase voor ontwikkelaars: de innovatiefase.

Forumtopic Schuberg Philis

@meekoh is een forumtopic begonnen over Schuberg Philis. Heb je vragen over dit soort projecten of hoe het is om bij Schuberg Philis te werken, neem dan een kijkje op Ervaring werken bij Schuberg Philis.

Om een beter beeld te krijgen van de werkzaamheden van het Schuberg Philis-team bij PostNL, sprak Tweakers met twee mission critical engineers uit het team: Mark Reijn (mreijn) en Tony Abidi (tonyynot). Mark is binnen het team tech lead en het technisch aanspreekpunt voor PostNL. Tony is mission critical engineer en gespecialiseerd in publicclouddiensten.

Honderdprocentsgedachte

"We hebben de applicaties doorgelicht met een honderdprocentsgedachte in het achterhoofd", vertelt Mark. "Het bleek dat de applicaties tijdens drukke periodes niet automatisch konden upscalen, maar dat dit handmatig moest gebeuren. Dan heb je vaak al uren last van te veel volume en ben je te laat."

Het Schuberg Philis-team migreerde de applicaties naar een vernieuwde infrastructuur die alle bouwblokken bevat om te kunnen innoveren. Deze actie vond eind 2017 plaats, vlak voor de piekmomenten Black Friday, sinterklaas, kerst en Nieuwjaar.

"In het afgelopen jaar hebben we een aantal kritische applicaties gemigreerd en ingezet, iets wat we nu met een druk op de knop kunnen", zegt Mark. "Het doel is dat we ook alle tests automatiseren en de kwaliteit van de software zichtbaar maken."

"De hele releasecyclus is nu zo geoptimaliseerd dat het mogelijk is om binnen vijf minuten nieuwe apps vrij te geven en eventueel binnen datzelfde tijdsbestek terug te gaan naar de oude app, iets wat PostNL heel wendbaar maakt", zegt Tony.

Stateless

Het doel van het team is de applicaties stateless te laten worden, waardoor er verscheidene naast elkaar kunnen draaien, zoals een nieuwe en een oudere versie van dezelfde applicatie. "In dat geval is het ook makkelijk om ab-tests te doen en de kwaliteitslat steeds een stukje hoger te leggen", zegt Mark. Als voorbeeld geeft hij applicaties waaraan Tony werkt en die allemaal nog state hebben, ofwel applicaties die geïsoleerd informatie vasthouden zonder die te delen met andere applicatieservers. Vanuit de expertise van Schuberg Philis probeert het team de klant ertoe over te halen om applicaties schaalbaar en wendbaar te maken om vervolgens in de innovatiefase terecht te komen.

"Het is belangrijk dat niet alleen te doen voor nieuwe applicaties, maar ook voor oude", vult Tony aan. "Zo kunnen we autoscaling, rolling deployments en canary releases doen. Bij een canary release geef je bijvoorbeeld eerst een percentage van de gebruikers toegang tot de nieuwe applicatieversie en blijf je errors volgen in je logs. Langzaam vergroot je het aantal gebruikers tot de oude applicatie niet meer wordt gebruikt."

Cases

In dit artikel bespreken we een van de complexe ict-vraagstukken waar Schuberg Philis dagelijks mee te maken heeft. Maar er zijn er natuurlijk nog veel meer. Op deze pagina hebben we alle informatie omtrent Schuberg Philis voor je verzameld.

Schuberg Philis zorgt ervoor dat de hele cyclus wordt verkort door zoveel mogelijk van het proces te automatiseren. Het echte werk komt daarna, want pas dan is er ruimte om samen met de klant verder te innoveren. Met PostNL is overeengekomen dat er elke dag wordt gereleased en getest. Dat gebeurt onder andere door alles cloud native te maken via de twelve-factor-apps.

"Het verschil met vroeger, toen je nog applicaties op fysieke machines ergens bij moest installeren, kan dan ook niet groter zijn", zegt Mark. Tony doet zelfs uit de doeken nooit fysiek een server te hebben aangeraakt, behalve misschien een Raspberry Pi. Hij is dan ook van de generatie die opgroeide met een veelheid aan clouddiensten, zoals AWS.

Teams

Het brengt het gesprek op werken bij Schuberg Philis zelf, een plek waar technici centraal staan. Door de platte organisatie is er geen behoefte aan functieprofielen, maar ontstaan de rollen organisch. Op basis van kwaliteit en ervaring worden teams gevormd, waarbij ook ruimte ontstaat voor jong talent.

Mark was voordat hij bij Schuberg Philis kwam, actief als zzp’er en is er in gesprek met Schuberg Philis toe overgehaald om in dienst te treden. Daarvan heeft hij nooit spijt gehad. "Ik voelde me niet opgesloten en er is ook geen middle manager die iets van je vindt. Mijn naaste collega is Tony en we beoordelen elkaar in het team. Je bespreekt ook van alles met elkaar. Stel je wil een certificaat halen, dan helpt je team je dat doel te halen."

"Ik had verschillende gesprekken voordat ik binnenkwam, zowel over het technische gedeelte als over mijzelf", zegt Tony. "Je komt hier niet binnen als je alleen technisch heel goed bent; je moet ook in de cultuur passen."

De teams zijn niet alleen divers in expertise, maar ook in leeftijd. Tony is met dertig de benjamin van de groep. Hij leerde bij Schuberg Philis veel van de oudere generatie, die nog wel fysiek servers onderhoudt. Aan de andere kant leert die generatie weer van Tony. "Mensen zijn ook echt lang in dienst", zegt hij. "Sommigen werken hier al sinds de oprichting in 2003."

Persoonlijke workshop

Schuberg Philis is expert op het gebied van complexe ict-projecten. Kamp jij of kampt jouw organisatie met een ict-uitdaging, stuur dan een e-mail naar [e-mail]. Wie weet maak jij kans op een persoonlijke workshop van een van de Schuberg Philis-experts bij jou op kantoor.

Schuberg Philis-meet-updiner

Dit artikel is onderdeel van een artikelenreeks in samenwerking met Schuberg Philis. Binnenkort houden we het Schuberg Philis-meet-updiner, waarbij je op kantoor een kijkje in de keuken kunt krijgen. Ben je nieuwsgierig geworden en wil je een uitnodiging ontvangen voor dit evenement, vul dan onderstaande poll in.

Wil jij een uitnodiging voor het Schuberg Philis-meet-updiner?

Poll

Ja, stuur mij een uitnodiging voor het toekomstige Schuberg Philis-meet-updiner!
Nee, ik ben niet geïnteresseerd.

De opties zijn uitgeschakeld omdat de deelname gesloten is

Wat vind je van dit artikel?

Geef je mening in het Geachte Redactie-forum.

Reacties (97)

BTW: interessant om te lezen dat PostNL AWS gebruikt. Betekent dit dan dat wanneer AWS eruit ligt, de PostNL pakketjes status (jouwpostnl) weer in de top tien van allestoringen terecht komt?

Het hele artikel is trouwens wel kandidaat voor een buzzword bingo!
ff snel wat uit het artikel gevist:

agile
corebusiness
deep dive
outsourcen
scan
uptimegarantie
breathe-fase
continuous integration & continuous delivery
mission critical engineers
tech lead
publicclouddiensten (één woord)
upscalen
stateless
ab-tests
autoscaling
rolling deployments
canary releases
cloud native
twelve factor apps
middle manager
BINGO!
Dat had imho toch wel iets Nederlandser gemogen.

Ik mag hopen dat ze dat soort kritische processen opvangen, eventueel met andere AWS datacenters.
Staat wel al onze data in Amerika! Kom je (bijna) niet onderuit aangezien een aantal grote datacenters sowieso weer van Equinox zijn, maar goed.

Uuhm je data staat nog steeds in de EU hoor. Bovendien is een AWS region bij voorbaat opgebouwd uit meerdere datacenters die enkele kilometers uit elkaar liggen. Maargoed, multi region doen we ook voor onze klanten. Weet niet of ze dat bij het PostNL team ook doen.

Amazon is een bedrijf waarvan het hoofdkantoor in Amerika staat, dus de Patriot Act (de reden dat je geen data in Amerika wilt opslaan) is geldig en staat naar alle waarschijnlijkheid boven onze AVG/GDPR voor een Amazon. Dus ja, je data staat in de EU, maar dat betekent lang niet alles.

Ik heb geprobeerd een toezegging te krijgen van ze omtrent de zwaarte van de wetgeving, welke leidend is, maar men wilt geen definitief antwoord geven. Daar haal ik mijn antwoord dan wel uit. Jammer, want ik zou graag de S3 bucket gebruiken.

Ik snap wel dat ze geen definitief antwoord willen geven, er lopen immers nog rechtszaken hierover. Dat kan dus nog veranderen. Aan de andere kant cloud providers zullen er alles aan doen om dit te voorkomen( kijk maar naar MS met hun region in Duitsland), anders verliezen ze een hoop klanten. AWS bied juist extra opties als het aankomt op dingen als GDPR. Maargoed de public cloud providers moeten het allemaal hebben van vertrouwen. Er is ze ook veel aan gelegen om te zorgen dat dit vertrouwen blijft, zonder dat een of andere overheid meespiekt.

Aan de andere kant hoe erg vind je het als encrypted data waarvan jij de key hebt, mogelijk kan worden ingezien in encrypted vorm door de VS?

Dat ligt dan aan het proces, is de data ooit ontsleuteld aanwezig op (een van) de server(s) van Amazon?

Neem als voorbeeld wachtwoord authenticatie, volgens mij is het vrij standaard om het wachtwoord in plain text (via https) naar de server te versturen om serverside te laten valideren of een vorm van een hash overeenkomt met de opgeslagen hash.
Mag je proces nog zo goed in elkaar zitten en je een hash variant gebruiken die niet te kraken valt in combinatie met wachtwoorden die in geen enkele regenboog tabel voorkomen. Vrij nutteloos als je gewoon mee kunt kijken / code kunt aanpassen op een server waar het wachtwoord gehashed wordt om te kunnen vergelijken.

Dan komt het er dus al snel op neer dat je Amazon alleen kunt gebruiken voor data opslag en het serveren van een deel van je statische bestanden, waarbij je via alternatieve route zult moeten valideren dat deze zijn wat je verwacht dat ze zijn.

Nee onze data staat nooit onversleuteld in AWS, noch wanneer het onderweg is.

Dus alles is ten alle tijden encrypted, suc6 met het kijken naar mijn encrypted data

Moet je wel zorgen dat je encryption key niet ook op een AWS server staat, anders kunnen ze het alsnog ontsleutelen

Nu vind ik outsourcen, upscalen en continuous integration niet echt buzzwords, moet ik zeggen. Stateless werken is ook al een tijd lang de norm, net als ab-tests. Autoscaling is niet zozeer een buzzword als 1 van de USP's van AWS, Azure en vergelijkbare diensten.

De rest is ongeveer meer buzz dan een rivier in de weilanden met 25+ op de thermometer.

Maar als je in plaats van die woorden ook 'uitbesteden' en 'opschalen' kan gebruiken, waarom dan niet?

Omdat in de praktijk ook vrijwel altijd de Engelse termijn gebruikt worden omdat in alle grote bedrijven de voertaal Engels is op IT gebied door de enorme hoeveelheid import medewerkers die massaal uit Oost Europa of India ingevlogen worden.

A/B tests is toch geen buzzword? Tenminste ik ervaar het niet als een overhyped woord. Hoe zou je het ander noemen?

@Sjenker helemaal mee eens!

Dit is ook een Advertorial en is per definitie geen objectief artikel. Een trend die je bij andere websites ziet en nu blijkbaar ook bij tweakers.

Advertorial? Bedoel je misschien “advertentie”?

Dit item stuur ik op voor de nominatie 'jeukwoord van het jaar 2018'.. genoeg keus

Mijn god, dit krijg je als een "moderne" manager een verhaaltje moet gaan maken. Een lulverhaal doorspekt met trendy Engelse woordjes waardoor het enigszins interessant doet overkomen. Ieder zichzelf respecterend mens prikt er zo doorheen gelukkig. Ik vraag mij echt af of ze nu de Tweakers gemeenschap onderschatten of gewoon blind zijn voor de realiteit.

Veel bedrijven hebben last van Agile, Scrum, Lean, Digital, Orchestrating, Disruptions etc.

[Reactie gewijzigd door Videopac op 3 juli 2018 11:57]

Maar zij die de juiste methodologie voor hun bedrijf kiezen en adequaat toepassen hebben er baat bij.

Ik heb de manager gevonden !

Helaas kan ik je geen -1 geven voor deze grove belediging.

Sterker nog, je hoeft er niet eens doorheen te prikken. Boven de titel van het artikel wordt al aangegeven dat het een advertorial is. Dan weet je bij voorbaat natuurlijk al dat hippe termen en trendy Engelse woorden voorbij gaan komen.

"Behendigheid" in de titel gebruiken, kan zó niet meer in 2018

Onnodig gebruik van Engelse tekst zorgt voor onduidelijkheid.

[Reactie gewijzigd door Videopac op 3 juli 2018 10:16]

Hi @Videopac! Ik snap dat het onduidelijkheid kan overkomen, alleen zitten we in een international team waardoor wij heel vaak engles termen gebruiken.

Als de audience targetted noun-set van Tony exemplarisch is voor de hele quality chain begrijp ik waarom een kaart uit Groningen langer naar Zwolle onderweg is dan een koelkast uit Aken.

De moedertaal van Tony is ook niet Nederlands, dus om daar nou persoonlijk over te vallen...beetje kansloze reactie

Vroeger bestond er zoiets als maatwerk, in dit geval: iedereen in zijn eigen taal bedienen.
Maar ondanks al die hippe termen krijgen wel alleen maar meer eenheidsworst door de strot geduwd.

Door wijziging bovenstaande reactie niet meer relevant.

[Reactie gewijzigd door Joepla op 3 juli 2018 10:30]

Even iets geks gedacht maar zou er niemand bij Tweakers zijn die bovenstaande tekst heeft gelezen en heeft geopperd dat deze overdosis van marketing BS en hippe woorden misschien niet helemaal goed zou vallen bij de meeste Tweakers?

Daarom is het ook een advertorial, dat is toch bij voorbaat al een verkapte vorm van reclame?

Je zou toch denken dat je een reclame interessant maakt voor de doelgroep. Als je wil dat het veel besproken wordt dan is dat bij deze gelukt door de tekst maar zoals iemand anders al zei lijkt een wat meer technische benadering de tweaker toch wat meer aan te spreken.

Ik ben het met je eens dat bepaalde delen van het artikel zeker anders hadden gekund.
Maar wat zou je technisch willen lezen dan? Als je dat kunt aangeven, kunnen @tonyynot, @DennusB of ikzelf ook beter inhoudelijk reageren. In plaats van te zeiken over de schrijfstijl

Correct: dit soort content moet je eerst tegen iemand aanhouden, sparren en dan borgen. Na eea geleveld te hebben uiteraard.

zeker, na het borgen kan je het dan zorgeloos aanvliegen.

Oh is het tegenwoordig sparren? Ik ben dan hopeloos ouderwets, ik wil dat er iemand even op kan schieten...

Zodat we deze opportunity als prio kunnen dichtfietsen, bedoel je?

Zelden hier een topic gezien waar het voor 99% NIET over het onderwerp gaat
Heb het idee dat het marketingbudget beter op een andere manier had kunnen worden verbrandt...
En... wie durft het aan om op 'Ja' in de uitnodiging te klikken?

HA! Als prio 1 zeker? Ik merk al dat jij duidelijk resultaatgericht te werk gaat.

Mag je nog wel ergens een klap op geven?

De balk 'advertorial' gemist die boven de titel van het 'artikel' staat?

die heb ik zeker gezien! Het ging me over de aard van de advertorial, niet of het wel duidelijk genoeg was voor mij dat het een reclame is.

En dan zijn de bezorgers hier 9/10 alsnog buiten hun tijdvak. Denk dat de ze toch beter eens bij de concurrenten kunnen gaan kijken hoe ze het doen, die hebben daar nooit last van.

Statement als "nooit" maken jouw bijdrage ongeloofwaardig.

Nee hoor, heb zelf nog niet meegemaakt dat bijvoorbeeld een UPS buiten zijn tijdvak aankwam, sterker nog, die specifieren het pas zodra het zeker is, die van PostNL zijn soms wel eens van 08.00 - 18.00.

Daarnaast, je mist compleet het punt van mijn opmerking.

Off-topic: Nou UPS en met name DHL zijn hier toch wel de koning in het missen van hun tijdsslot in de regio Zaanstreek

Misschien dan eens met PostNL contact opnemen om te laten uitzoeken waarom ze bij jou "nooit" op tijd zijn. Bij mij zijn ze vrijwel altijd op tijd, waarmee ik bedoel... over het algemeen binnen de tijdspanne, geregeld eerder en zelden erna.


Kijk ik juist naar de concurrenten, dan moet ik toegeven dat ik juist daar pertinent niet over te spreken ben. De uitschieter daarin is DPD die het tot op heden heeft weten te presteren om "NOOIT" bij mij te bezorgen en de bezorger als reden opgeeft dat mijn adres/huisnummer niet bestaat en als het al bestaat er niemand thuis was. Frappant want het adres en huisnummer ligt in een doodnormale woonwijk in Dordrecht en dat al voor de duur van 33/34 jaar en er is "altijd" wel iemand thuis wanneer zendingen worden verwacht.

Naar wat ik heb begrepen word dit voorspeld op basis van in het verleden uitgevoerde bezorgingen en dus niet op basis van wat er die dag bezorgd moet worden, waardoor er nogal een verschil kan ontstaan. Reden voor mij ook om steeds vaker gewoon bij een PostNL punt te laten bezorgen zodat ik het kan ophalen wanneer ik dat wil

PostNL is de enige die hier een time slot van 2 uur afgeeft en zich daar ook vrijwel altijd aan houdt. De anderen geven een slot van 4 uur of meer af. Ja zo kan ik het ook

Daarom dus deze advertorial, om (goedkoop) mee te denken in oplossingen, in plaats van problemen.

'Als we maar in elke zin een buzzword stoppen dan klinkt het vast erg slim wat we doen'

Zou het juist knapper vinden om er gewoon een normaal leesbaar verhaal te maken

'Als we maar in elke zin een buzzword stoppen dan klinkt het vast erg slim wat we doen'

Zou het juist knapper vinden om er gewoon een normaal leesbaar verhaal te maken

Ik dacht al dat het aan mij lag, nu heb ik even een breathe-fase nodig na het lezen van dit hippe stukkie.
Toegegeven, bij de laatste twee alinea's heb ik de honderdprocentsgedachte maar laten varen en ben direct doorgegaan naar de conclusie..

Oke, leuke kop. Maar we vergeten even dat een groot deel van het process van allerlei paketdiensten door een ander Nederlands bedrijf wordt gemaakt (nou ja tegenwoordig misschien japans).

Veel van deze systemen worden/zijn door Vanderlande gemaakt. Maar hier krijg je een of ander lulverhala alsof postnl alles zelf heeft gedaan met een of andere ICT'er. Zo simpel is het niet.

Overigens kudo's voor het track en trance systeem en herrouteringsysteem van postnl. Dat is het enige systeem wat werkt.

Kan je tracken wat je wilt, maar als een pakket gewoon NIET wordt afgeleverd en dat wordt doodleuk in het tracksysteem als afgeleverd gemarkeerd, gaat er toch iets erg fout. En natuurlijk ligt het nooit aan postnl...

Ik zeg niet dat er geen fouten gemaakt worden. Maar met de andere heb ik erg slechte ervaringen. En geen duidelijke tracking.

Mijn god, je zal bij een bedrijf werken waar de manager wat nieuwe woorden heeft geleerd, en die bij elke zin probeert uit te kramen, ik zou me kapot lachen en snel een andere baan zoeken.

Er zijn bij ons geen managers. Alle personen die geïnterviewd zijn voor deze artikelen zijn gewone engineers net als ikzelf.

Dat is grappig.
Ik neem aan dat je met 'bij ons' het bedrijf Schuberg Philis bedoelt.
Als ik op https://schubergphilis.com/team kijk dan zie ik daar (gelukkig maar) toch zeker een stuk of 20 managers tussen staan, althans: op basis van hun functienaam.

Jep, die zijn er om de klant te managen niet ons.

Volgens mij zeggen de gebruikte termen (deels) wel degelijk iets over professionaliteit.

Neem bijvoorbeeld continuous integration & continuous delivery.
Een goede CI/CD implementatie >>>>> via ftp je bestandjes naar server pushen.
Ik heb in ieder geval al heel wat bedrijven gezien waar een nieuwe release uitrollen veel te veel onnodig werk is, downtime vereist en slecht ongedaan gemaakt kan worden.

Blijkbaar nog niet genoeg agility. Alle pakketjes die wij thuis bezorgd hebben gekregen de afgelopen weken zijn te laat bezorgd. Gewoon uit het niets; zending vertraagd. Zelfs bij prioriteit bezorging (tegen extra betaling) werd de bestelling vertraagd bezorgd.

Ook als je op Twitter kijkt zie je genoeg mensen met exact dezelfde klachten.

Is dit artikel het marketing apparaat van PostNL aan het werk?

Er zijn natuurlijk ook andere bedrijven die hier aan werken met PostNL om van alles te verbeteren in de dienstverlening. Shuberg is vooral de beheerpartij :-P

Wat een vreselijke tekst. Maar aan de commentaren te lezen, ben ik niet de enige die er jeuk van krijgt.

Neem bv dit stukje:
Samen met PostNL verkende een team van de ict-dienstverlener welke applicaties een kritisch onderdeel zijn van het logistieke proces. Hierdoor was Schuberg Philis in staat om de belangrijkste applicaties te identificeren voor nader onderzoek

Dus eerst werden de kritieke applicaties geïdentificeerd. En daardoor waren ze in staat de belangrijkste applicaties te identificeren. Kennelijk zijn volgens Schuberg Philips niet alle kritische applicaties ook echt belangrijk. Rare analyse van die gasten hoor.

Volgens mij klopt dat stukje gewoon hoor. Nog steeds niet hoe ik het zou verwoorden.
Maar zoals ik hem lees:
Kritisch ? nader onderzoek : negeren;

Dat negeren doen zij alleen wanneer je eerst bepaald dat de applicatie niet kritisch is.