Met een nieuwe data-cloudomgeving gebaseerd op AWS heeft Aegon zich losgemaakt van de beperkingen van legacy-systemen. Tijdens de Developers Summit (2-5 juni) vertellen enkele betrokken IT’ers hoe Aegon data uit verschillende bronnen in realtime naar de cloud kan synchroniseren vervolgens onder meer voor financiële risicoanalyses gebruikt.
De financiële dienstverlening is de afgelopen jaren onherkenbaar veranderd. En de ontwikkelingen gaan nog steeds in razendsnel tempo door. Denk aan de maatschappelijke gevolgen van vergrijzing, maar ook aan de verschuiving van face-to-face financieel advies naar online tooling waarmee consumenten zelf verder kunnen komen. Het doel van Aegon is om mensen te helpen verder vooruit te kijken en financiële zekerheid te krijgen. De strategie bij Aegons IT is dat dit zoveel mogelijk ‘data-driven’ wordt ingestoken.
:strip_exif()/i/2004376690.jpeg?f=imagenormal)
Met het cloud-data-lake kan Aegon data in realtime uit legacy-mainframesystemen halen, maar ook uit bedrijfsapplicaties en meer. “We zijn de afgelopen jaren steeds meer een data-driven company geworden”, vertelt sr. capability manager Jasper Buschgens. “Tegelijkertijd staan nog altijd veel enterprise-applicaties en onze klantendatabase in mainframe-omgevingen. Om bijvoorbeeld data-analyses en modelvalidaties te kunnen uitvoeren, wil je data uit deze systemen realtime, veilig en accuraat in een omgeving hebben waarin je ermee kunt werken.” Jasper ziet dat veel bedrijven query’s rechtstreeks op de onderliggende databases uitvoeren. “Dat zorgt voor extra belasting op die systemen. Het lost het probleem van datasynchronisatie tussen de verschillende systemen niet op en is ook niet de veiligste oplossing.”
Data ontsluiten en publiceren
Datawarehousing was het alternatief, maar architecten bij Aegon maakten een grotere stap door een data-lake te ontwerpen in AWS. “Het data-lake is een grote kopie van al onze kerndatabases. Om data te ontsluiten en te mogen gebruiken, moet elke gebruiker precies aangeven welke data hij nodig heeft, voor hoe lang en waarvoor. Dit in verband met de privacywetgeving in de AVG.”
Op basis van deze eisen ontsluit een team bij Aegon datasets. “Soms is dat permanent, bijvoorbeeld voor de Aegon-app waarmee klanten bankgegevens en hun pensioenwaarde kunnen inzien. Het kan ook tijdelijk zijn, bijvoorbeeld wanneer onze marketingafdeling een data-analyse wil uitvoeren. De datasets voor deze toepassingen worden als brokken gegeven, kunnen eindig zijn en zijn alleen benaderbaar voor het vooraf bepaalde doel.”
De cloud-data-lakeoplossing voorziet in een verantwoorde data-publication, maar ook in data-ingestion. Hoe krijg je de juiste data uit applicaties, transformeer en verrijk je hem waar nodig en zorg je dat hij altijd up-to-date is? “Stel, iemand geeft een adreswijziging door en deze is nog niet gerepliceerd in het data-lake, maar je start wel een marketingcampagne waarbij de oude data nog wordt gebruikt. Dat is niet ideaal natuurlijk. Nog pijnlijker is het als het bijvoorbeeld gaat om verouderde data van een klant die al is overleden.” Het op orde krijgen en houden van data is onder andere het werkterrein van de data-engineers. “Je moet velden combineren en controleren of data uniform is. Vervolgens kun je hem verrijken met informatie uit onder meer pensioensystemen. We werken ook veel met keywords, metadata en zoekcriteria om data te matchen. We kunnen daarmee zowel gestructureerde als ongestructureerde data hanteren.”
Kijkje onder de motorkap - Tweakers Developers Summit
Tijdens de Developers Summit verzorgt Jasper samen met twee medewerkers uit de devops-teams op 2 juni een talk in de devops-track van het event.
Data-engineer Sushma Chakravadhanula zal hierbij een rol spelen, net als Bram de Mooij die de data gebruikt op de Finance-afdeling van Aegon. “We laten echt de details van het systeem zien, dus wat er onder de motorkap zit. Daarbij zullen Sushma en Bram code demonstreren en ingaan op de gebruikte technologieën en methodologieën.” Jasper hoopt dat developers enthousiast worden door het verhaal, maar ook een boodschap meekrijgen. “Verzekeraars en banken zijn van nature misschien wat conservatief. We hebben een imago van mainframes, legacy en achterstallige technologie. Maar dat is enkel het beeld aan de buitenkant en in ieder geval bij Aegon niet terecht. Wij omarmen zoveel mogelijk moderne technologieën en oplossingen zodat we onze klanten optimaal bedienen. Met ons data-lake hebben we verschillende prijzen gewonnen en dit is maar één van de projecten waar we aan werken.”
Hoewel het platform enkele jaren geleden is opgeleverd, gaat de ontwikkeling nog altijd door. Vijf devops-teams werken continu aan de cloud-data-lake. “We kijken onder meer hoe we efficiënter met data om kunnen gaan en hoe we veiliger en sneller kunnen publiceren. Tegelijkertijd zijn er verschillende applicaties die worden uitgefaseerd of gemigreerd. We moeten wel zorgen dat data daaruit beschikbaar blijft.” Elk kwartaal definiëren gebruikers uit de business een wensenlijst via zogeheten PI-events. “Deze punten krijgen prioriteit, maar daarna is het aan de teams hoe ze het oplossen. Dat kan bijvoorbeeld door het maken van nieuwe datasets, maar het komt ook voor dat een vraag zo uniek is dat ze met een andere taal gaan werken. Bij data-lake wordt veel gebruikgemaakt van Python, maar het kan in sommige gevallen ook interessant zijn om in R te programmeren. We geven developers deze ruimte.” De laatste sprint (van twee weken) in elk kwartaal (PI-event) is overigens helemaal een ‘feestje’ voor developers. “Dat is een innovatiesprint waar developers bij het data-lakedomein in principe zelf invulling aan mogen geven. Ze mogen dan bouwen of doorontwikkelen aan wat ze willen of nuttig vinden, op hun eigen manier.”
Data-lake 2.0 op komst
Inmiddels worden de contouren van het traject ‘Data-lake 2023’ duidelijk, meldt Jasper. “De teams onder leiding van productmanager Gerrie Minnaard kijken nu hoe dit vorm krijgt en zullen dit platform mogelijk grotendeels herbouwen. Feitelijk gaat het om een soort Data-lake 2.0. We zitten nu in de designfase.” De lessen die zijn opgedaan bij het bouwen van het eerste data-lake worden meegenomen naar het nieuwe traject. “Van Gerrie, die medeverantwoordelijk was voor de bouw van het data-lake, heb ik begrepen dat het heel belangrijk is geweest dat we dit met zijn allen zouden doen of helemaal niet. Er was en is geen ruimte voor eigenaren van applicaties om data op een andere manier te ontsluiten. Dit was een designprincipe dat met hand en tand is verdedigd en waar het managementteam van Aegon volledig achter staat. Daardoor hebben we nu de kracht van een compleet data-lake.”
Benieuwd geworden naar het data-lake en wil je een kijkje nemen in de code? Of wil je meer weten over de analyses die Aegon draait met realtime data, ontsloten uit mainframesystemen? Ontdek het tijdens de Developers Summit, een digitaal event van 2 tot en met 5 juni. Kijk hier voor meer informatie over het programma en om je ticket te registreren.
Dit artikel is geen redactioneel artikel, maar een advertorial en tot stand gekomen dankzij Aegon en Tweakers Partners. Dit is de afdeling binnen Tweakers die verantwoordelijk is voor commerciële samenwerkingen, winacties en Tweakers-events zoals Meet-ups, Developers Summit, Testfest en meer. Kijk hier voor een overzicht van alle acties en events. Mocht je ideeën met ons willen delen over deze vorm van adverteren, dan horen wij dat graag. Hierover kun je met ons in gesprek via [Discussie] Reclame algemeen].
/u/105114/firefox_wall2.png?f=community){kind=small}
:strip_exif()/u/107011/Motrax.gif?f=community){kind=small}
:strip_icc():strip_exif()/u/72715/Monkey.jpg?f=community){kind=small}