'Onverklaarbaar hoge piek in pintransacties oorzaak van storing'

De verstoring van het pinverkeer op 24 september, waarbij pinnen een half uur lang onmogelijk was, is volgens betalingsverwerker Equens veroorzaakt door een 'onverklaarbare hoge piek' in het aantal pintransacties op zijn betalingsnetwerk.

Dit zou blijken uit de voorlopige resultaten van een onderzoek van Equens naar de storing, zo meldt ISPam.nl. De landelijke storing zou zijn opgetreden door een een korte maar 'onevenredig zware belasting' van de systemen bij Equens. Er zou sprake zijn geweest van een 'oneigenlijke opeenhoping' van pintransacties die door de systemen niet verwerkt konden worden.

Opvallend genoeg zou uit het onderzoek ook zijn gebleken dat de storing niet te wijten zou zijn aan de systemen en het betalingsnetwerk van Equens, ondanks dat het bedrijf toegeeft dat de firma de plotselinge piekbelasting niet aankon. Ook wees Currence, verantwoordelijk voor het betalingsverkeer in Nederland, kort na de storing op het netwerk van Equens als veroorzaker van de problemen. De betalingsverwerker stelt echter dat zijn infrastructuur er op is ingericht op extra hoge volumes aan te kunnen, bijvoorbeeld de pieken die elk jaar optreden tijdens de feestdagen.

Equens, die een uptime van 99,98 procent garandeert, zegt dat het de monitoring van het pinnetwerk heeft geïntensiveerd. Ook is het onderzoek naar de precieze oorzaak van de landelijk storing nog niet voltooid, maar het bedrijf geeft aan dat het onzeker is of de werkelijke reden ooit achterhaald zal worden. Equens kon niet zeggen of de storing uit zichzelf was opgelost, of dat de handelingen van het bedrijf verantwoordelijk waren voor de oplossing.

Reacties (92)

beetje een doemcenario, maar tegenwoordig zijn we zowat allemaal afhankelijk van on-line betalingen en ff pinnen...
ik denk als het voor langer tijd uit zou vallen dat wij met zijn allen een flink probleem hebben.
eten kopen, brandstof voor de auto, of even een rekening betalen zal dan onmogelijk worden op langer duur....
ik vind dat wij er een eetje te veel afhankelijk zijn geworden van dit.

Dit is een paar jaar geleden onderzocht: PIN is niet zo belangrijk.
Stel dat vanwege terroristische aanslagen, dijkdoorbraken en vliegtuigrampen het PIN-verkeer eens een keer 24 uur uitvalt (puur theoretisch natuurlijk! ;-)

Als het algemene leven dan niet al te zeer ontregeld zou zijn, dan zouden veel mensen contant geld ophalen bij een geldautomaat van hun bank (eigen netwerk) en alsnog boodschappen kunnen doen. Idem vor 48 uur uitval.

Als echter de girale verkeersstromen (denk: salarisbetalingen) stil komen te liggen, heeft dat veel meer impact op de Nederlandse economie.

Als het algemene leven dan niet al te zeer ontregeld zou zijn, dan zouden veel mensen contant geld ophalen bij een geldautomaat van hun bank (eigen netwerk) en alsnog boodschappen kunnen doen. Idem vor 48 uur uitval.

Als echter de girale verkeersstromen (denk: salarisbetalingen) stil komen te liggen, heeft dat veel meer impact op de Nederlandse economie.

De PIN-storing van vorige week trof dan óók het internetbankier-systeem en de geldautomaten van de ING. Ik denk dat dat toch wel een aardige stagnatie heeft opgeleverd in het economisch verkeer. (Goh, de pinterminals doen het niet, ff flappen tappen.... crap.)

Het is natuurlijk wel één van de meest waarschijnlijke manieren van cyberterrorisme: Economische sabotage. Overigens ook de meest humane, want er worden weinig levens direct mee in gevaar gebracht, net zoals met een landelijke staking.

Het internetbankierssysteem ?

Geheimpje: dat bestaat niet. Iedere bank zijn eigen systeem, waarmee (alleen) hun klanten kunnen internetbankieren. Eens per x tijd (1 minuut > x < 15 minuten) worden de transactie's verzameld en via equens naar een collegabank gestuurd ter verrekening. (Vrijwel) tegelijkertijd worden de transacties naar het mainframe verstuurd voor afrekening.

Pinautomaten hebben per bank een eigen systeem die op dezelfde manier als met internetbankieren de boel met het mainframe verrekenen. Saldocontrole bij gastgebruik (opname via een pinautomaat van een andere bank) gaat via Equens en de verrekening ook (eens per x tijd), maar banken kunnen die controle bij noodgevallen tijdelijk uitzetten.

Pinnen gaat via Equens maar de verrekening/debitering gaat net zoals bij internetbankieren/pinautomaten eens per x tijd naar desbetreffende banken.

In principe heeft een storing bij het internetbankieren van één bank dus helemaal niets te maken een storing (bij dezelfde bank) van pinautomaten of van het pinverkeer.

Het zijn drie aparte betalingssystemen met eigen hard- en software.

Bij problemen met pinterminals is het nog steeds mogelijk om flappen te tappen bij je eigen bank. En zodra de banken de storing als ernstig/langdurig hebben geclassificeerd dan is gastgebruik ook weer mogelijk.

Het internetbankierssysteem ?

Ik bedoelde dan ook zowel het internetbankiersysteem als de geldautomaten van de ING.

Ik had het over de verstoring van ING van afgelopen weekend. Als ik dan zeg HET internetbankieren, bedoel ik uiteraard HET internetbankiersysteem van ING.

Mag ik je er even op wijzen dat je je toen gewoon cash kon afhalen bij andere banken in NL? En dat je ook gewoon kon pinnen in de winkels? Het enige wat echt onbereikbaar was, was volgens mij internetbankieren.

We zijn even afhankelijk van pintransacties als we 70 jaar geleden waren van contant geld. Buiten de crisis in Duitsland net daarvoor waren er toen ook geen problemen met het feit dat er maar één betalingsmethode bestaat die algemeen geaccepteerd wordt.

Een robuust en onkraakbaar systeem (wat pin overigens nog niet is) zou denk ik minder problemen geven dan contant geld, wat gestolen en ontraceerbaar kan worden gemaakt en met (relatief) gemak kan worden vervalst.

Als een centrale, onafhankelijke organisatie een totaaltelling kan maken, kan vervalsing een ontzettend moeilijke opdracht worden. Uiteraard zijn digitale systemen ook niet perfect veilig, maar ze zijn vaak wel veiliger dan briefgeld, zelfs in huidige vorm al.

Misschien hebben kwaadwillenden geprobeerd pintransacties uit te voeren die niet correct / ongeautoriseerd waren? Of erger nog een DoS aanval?
Als het netwerk de piek niet aankon, terwijl het daar wel op is ingericht moet er zeer goed gekeken worden naar de bron van die extra transacties om herhaling te voorkomen.

Of hebben ze zelf een test uitgevoerd

Ik gok dat "het netwerk" slechts een vage kreet van een woordvoerder is en dat de daadwerkelijke netwerkinfrastructuur niet de bottleneck is geweest.

wel vreemd dat een piekbelasting alles kan doen uitvallen. zou alles niet gewoon trager moeten gaan, maar nog wel moeten werken?

overigens, kunnen ze niet gewoon zien waar die piek vandaan komt? alsin, geografisch, welke pinautomaten ineens zoveel gebruikt werden?

wel vreemd dat een piekbelasting alles kan doen uitvallen. zou alles niet gewoon trager moeten gaan, maar nog wel moeten werken?

Ligt maar net aan de implementatie van het systeem. Als er veel transacties gaande zijn zal het systeem die proberen tegelijkertijd af te handelen. Omdat er zoveel tegelijk afgehandeld worden, gaan alle afhandelingen langzaam. Omdat een afhandeling langzaam gaat wordt hij afgebroken. Dit kan ook als er veel transacties in de 'wachtrij' staan - ik geloof nooit dat een pinautomaat vijf minuten gaat wachten op antwoord van de server of bevestiging van de betaling, dat is niet alleen ongebruiksvriendelijk, maar zou ook zomaar een beveiligingslek kunnen zijn (bijvoorbeeld als het signaal onderschept wordt en er een computer de beveiliging probeert te ontcijferen, wat even kan duren).

Dus ja, een maximale tijd tussen het starten en afronden van een pintransactie zou ik wel als beveiliging toevoegen aan zo'n systeem.

Als de systemen op 100% draaien en 1 begeeft het krijg je een domino-effect. Het kan dus wel degelijk

De vraag is nu wel of die enorme piek aan pintransacties per ongeluk heeft plaatsgevonden (bijvoorbeeld door een enorme batch-flush van een server die moeilijk aan het doen was) of dat er meer achter zit, zoals een boel creatieve hackers die het betalingsverkeer wilden lamleggen en mogelijk onderscheppen.

Skimmers hebben al bewezen dat het PIN-systeem verre van feilloos is. Dus een hack die hogerop gepleegd is zou me eerlijk gezegd weinig verbazen.

Het betalingssysteem?

Ook hier geldt dat het niet één systeem is. Iedere bank heeft zijn eigen systeem die onderling een soort van telexberichten versturen. Met een vaste inhoud en vanaf vaste adressen en vaste lijnen.

Equens speelt hier geen enkele rol in. Zelfs niet als tussenstation.

Het betalingssysteem?

Ook hier geldt dat het niet één systeem is. Iedere bank heeft zijn eigen systeem die onderling een soort van telexberichten versturen. Met een vaste inhoud en vanaf vaste adressen en vaste lijnen.

Equens speelt hier geen enkele rol in. Zelfs niet als tussenstation.

Toch gaan alle PIN-betalingen eerst via Equens, omdat het anders moeilijk wordt om (betrouwbaar) een enkele standaard te hanteren tussen verschillende banken. Equens geeft dan opdracht aan de betalende bank en de ontvangende bank om een transactie uit te voeren.

Hoe het precies in elkaar steekt maakt voor de argumentatie ook niet erg veel uit: Het hele 'systeem' van betalingen en transacties tussen banken (of dat nu één fysiek systeem is of een conceptueel netwerk bestaande uit verschillende betalingsmethoden) is nog altijd te saboteren.

Aan de andere kant wordt fysiek geld ook vervalst.

Wat is makkelijker? En dat is ook maar relatief!

hmmmm vreemdt eerste wat in mij op kwam clubje kwaad willende die met opzet een soort transactie (buffer) overflow maakte om te kijken of ons/het systeem er tegen op gewassen zou zijn?

en dat dus blijkt van niet waardoor ze het misschien in de toekomst lam zouden kunnen leggen
geen pin = geen geld = chaos?

wel erg doomsday ding maar goed zeker ook omdat ze beweren dat hun systeem er tegen op zou moeten kunnen?

edit : p.s. zie wel dat hier op tweakers er veel met de zelfde gedachte rondt lopen das dan wel weer cool

[Reactie gewijzigd door copywizard op 28 oktober 2010 16:48]

Gooi dan je schelpjes en kraaltjes verzameling nog maar even niet weg...

OT: als ooit iets dergelijks een aantal dagen aanhoudt dan hebben we inderdaad een ernstig probleem. Een goede beveiliging is dan zeker ook nodig. Boeven en terroristen zijn ook al niet meer digibeet helaas.

Toch knap dat Currence weet waar het aan ligt terwijl dat eigenlijk uitsluitend en papieren organisatie is en Equens (technische organisatie) aangeeft dat dit niet het geval is.

Weten is ook een groot woord, maar ik denk dat ze door dingen uit te sluiten in ieder geval weten dat zij het zelf niet waren, en dan blijft m.i. Currence over

Toch knap dat Currence weet waar het aan ligt terwijl dat eigenlijk uitsluitend en papieren organisatie is en Equens (technische organisatie) aangeeft dat dit niet het geval is.

Is Equens dan de nieuwe naam van Interpay? Want volgens mij was die verantwoordelijk voor het afhandelen van PIN-transacties. Hoe het dan met Mastercard- of Maestro-betalingen zit weet ik dan weer niet zeker.

Mastercard routeert de Maestro/Mastercard transacties af (o.a. van alle nieuwe EMV terminals in NL)

Klopt, Equens is een fusie van Interpay en een Duitse partij. Equens is de enige die PIN-transacties afhandelt/switcht.
Ook voor Mastercard en Maestro biedt Equens mogelijkheden voor het afhandelen van transacties, maar daar is Equens alleen een schakel in of het wordt geheel door een andere partij gedaan.

moeten er dan niet meer servers worden aangeschaft?

Lees het hele artikel dan zie je dat ze genoeg capaciteit hebben voor een overflow. het probleem lag hem waarschijnlijk bij een opstapeling van betalingen.

Het is een software probleem dus. Ik heb ook wel eens dat mijn computer opeens een minuut of zo stopt, om dan vervolgens verder te gaan of er niets aan de hand is (vooral bij bepaalde grote softwarepaketten heb ik daar last van). Maar dan krijg je dus wel een piek ja.

Het gaat om ongewone hoge piek. Het wil nog niet zeggen dat het daarom direct te maken heeft met te weinig server capaciteit. Je meer kunnen denken aan een virus aanval of iets in die richting...

Er hebben hier overduidelijk mensen zich in zitten dekken. Overbelasting my ass.

Gewoon human failure.

Er hebben hier overduidelijk mensen zich in zitten dekken. Overbelasting my ass.
Gewoon human failure.

En de bron voor deze 'overduidelijke' conclusie?

"onzeker is of de werkelijke reden ooit achterhaald zal worden" ,"Onverklaarbaar hoge piek", "Equens kon niet zeggen of ...".
Computers saboteren geen onderzoek, mensen wel. 24 september is op geen enkele manier een bijzondere dag. Er moet dus een reden zijn waarom het aantal pintransacties zo hoog leek te zijn. Bij wie werd er geprobeerd om geld af te schrijven? Bij wie werd er daadwerkelijk geld afgeschreven? Waren die afschrijvingen allemaal terecht? Juist bij een financieel systeem als dit moet je achteraf de rechtmatigheid van elke transactie kunnen bewijzen. Waar zijn die logfiles heen? Wie heeft die vernietigd?

So true!

Nee, er moeten geen extra servers worden aangeschaft, hooguit meer CPU's.
Google maar eens op HP NonStop Kernel systemen (Voorheen Tandem) om een idee te krijgen van de infrastructuur bij banken, verzekeraars en Equens.

De prijs van 1 CPU is een bedrag van 5 cijfers om een idee te geven.

Als ik na een tijdje één keer het probleem krijg dat mijn psu het gevraagde piekvermogen van 600 Watt niet aan kan (bij wijze van spreken), koop ik ook niet direct een nieuwe voeding. Omdat het één keer is voorgekomen weetje nieuwe servers kosten veel geld!

Ik denk dat het minder geld kost om een servertje of 10 aan te schaffen dan om een uur lang down te zijn, in het geval van Equens/Currence.

yup, en die 10 servers in een datacenter te plaatsen, en de 100 megabit lijntjes ernaartoe, en de onderhoudskosten, en de......
het is toch ietsje meer dan thuis een extra servertje van 200 euro neerpoten hoor waar je je adsl lijntje kunt sharen en geen huurkosten hebt voor de plaats en/of onderhoudskosten...
dit is toch allemaal ietsje pietsje professioneler, en daardoor een 100-voud duurder

100 Megabit????
Het is geen SOHO-servertje die wat bestandjes deelt....
Ik denk eerder dat de servers minimaal aangesloten zijn met 1Gbit links...
Dat minmaal maal twee per server voor de redunantie mocht één netwerkkaart defect raken.

Nee hoor. Misschien een glaslijn hier of daar, maar de rest is allemaal ISDN/dial-up. Er hoeven geen grote bestanden te worden overgepompt. Een transactie is in totaal maar een paar kb groot, meer niet. Glas wordt hooguit gebruikt voor replicatie van databases.

Fout: Een uur lang down is goedkoper dan een geheel nieuw park HP Nonstop hardware neer te zetten. Het is geen standaard wintel servertje wat daar draait.

Als je even met me mee-rekent: Een uur down-tijd is alsnog een uptime van 99,988%. Dat is nog binnen de SLA die ze zichzelf hebben opgelegd (99,8%).

Ik ben het wel met een aantal mensen hierboven eens dat het een Human Failure is. Volgens mij heeft de netwerkafdeling gewoon vrolijk overdag zitten fröbelen, in plaats van zich te houden aan het service-window. Ga mij niet vertellen dat je de oorzaak niet boven kan halen.

Volgens mij heeft de netwerkafdeling gewoon vrolijk overdag zitten fröbelen, in plaats van zich te houden aan het service-window. Ga mij niet vertellen dat je de oorzaak niet boven kan halen.

Beet je op Tweakers rondhangen in de baas zijn tijd. En vervolgens 'ikke niet weten' spelen. Tijd voor een beoordelings- en een functioneringsgesprek.

Zozo 99.8% garantie ... dan resten er dus nog 17.02 uur downtime dit jaar

Nope, slechts 105 minuten totaal per jaar:

(365x24x60) / 100 x 0,02 = 105 minuten.

Dus volgens mij is die garantie nu al minstens 10x overschreven met afgelopen storing.
Excuus, ik was in de war met ING internetbankieren dat er toen meer dan een dag uit lag.

[Reactie gewijzigd door Anoniem: 364852 op 29 oktober 2010 02:50]

Nope, slechts 105 minuten totaal per jaar:

(365x24x60) / 100 x 0,02 = 105 minuten.

Dus volgens mij is die garantie nu al minstens 10x overschreven met afgelopen storing.

Uit het artikel: "De verstoring van het pinverkeer op 24 september, waarbij pinnen een half uur lang onmogelijk was".

De vorige keer dat ik het uitrekende was een half uur 30 minuten. Kijkt me dat we nog anderhalf uur aan downtime 'over' hebben.

105 minuten - 30 minuten = 75 minuten, dus 1 uur en een kwartier...

lezen is ook een vak, 99.98% uptime betekent een downtime van 2 uur jaarlijks

Wat mooi is toch? Slechts 0.02% down, voor zo'n complex en weidverspreid systeem? Was alles maar zo... Internet, telefoon, televisie, electriciteit, etc... Mocht alles slechts 2u per jaar haperen, zou ik een blije burger zijn.

Mijn Internet, telefoon & electriciteit hebben ook een dergelijke uptime hoor.. Televisie is een ander verhaal.. Maar dat ligt niet aan Canal Digitaal. Ik heb nog nooit gehoord dat Canal Digitaal 'plat' ligt. Dus in principe 100% uptime. (wat merkwaardig knap is voor zo'n ingewikkelde vorm van het overbrengen van data).

PLan die 2 uur dan tussen 4 en 6 uur smorgens op 1 Januari.... lig ik te knorren en heb er geen last van...

Nee, 99,98%

Klinkt eerder alsof iets terecht kwam in een soort buffer en de buffer opeens werd geleegd en werd omgezet naar daadwerkelijke transacties.

Dat zou de "op een hoping" kunnen verklaren bijvoorbeeld.

Nu heb ik natuurlijk totaal geen idee hoe dit hele informatie systeem in elkaar zit, maar goed

Oftewel een soort pin DDoS?

Eerder een pin flood. Een DDoS is toch wel wat meer dan enkel overbelasten van een netwerk.

niet echt.
het enige verschil is dat het bij een DDoS met opzet gaat, en hier is dat niet helemaal zeker.

een DDoS is wanneer met opzet een dienst onbeschikbaar gemaakt vanuit meerdere locaties.
behalve het opzet gedeelte, is de rest al zeker het geval aangezien te veel pin verkeer het pinsysteem onbereikbaar maakte.

Een DDoS is per definitie niet met opzet. Denk maar eens aan een Tweet die miljoenen mensen tegelijk willen zien, dan spreek je ook van een DDoS.

Nee, dan spreek je van het Slashdot effect.

Nee, dan spreken we van afjkaskfasldf.

blablabla we weten wat iedereen bedoelt. Kunnen we nu weer verder? dank u.

per definitie niet -> niet per definitie

Denk maar eens aan een Tweet die miljoenen mensen tegelijk willen zien, dan spreek je ook van een DDoS.

Juist niet, dat heet gewoon overbelasting (of in het geval van Twitter, een fail whale). DDoS is per definitie opzet, het staat tenslotte voor distributed denial of service. Met andere woorden, je bent er opzettelijk naar uit om de dienstverlening te verstoren.

Zoiets dacht ik ook aan bij het lezen van het bericht, of een soort hackactie om achter meer info te komen. Zal de echte reden wel aan het licht komen is mijn vraag dan, gezien de gevoelige aard van dit probleem?