U gebruikt een oude versie van Internet Explorer. Deze website is geoptimaliseerd voor IE9 en hoger.
NL   EN  
 

Security

Een DDoS aanval met grote gevolgen
De avond valt. Een DDoS aanval. Wat nu? Lees hieronder hoe de dreiging wordt afgewend en de aanval afgeslagen wordt. Of bekijk eerst bovenstaande film en ga naar de ‘korte versie’ versie voor het vervolg daarop.


Onze Projecten
21 juli 2013


De zon gaat onder in Utrecht…..


De Control Room, die de ICT dienstverlening 24/7 bewaakt, krijgt een DDoS melding binnen. Dit is verdacht. Alarm!


Tegelijkertijd druppelen berichten van klanten binnen via Twitter en email: Internetbankieren werkt niet meer. En juist ’s avonds wordt dit veel gebruikt.


Het alarm gaat. De Integraal Bewaker van de Control Room voert de procedure uit, die hoort bij dit alarm. Hij belt het Security Operations Center (SOC). De SOC Specialist, die dit incident oppakt, voert een eerste analyse uit om oorzaak, oorsprong, impact en risico te bepalen, zodat adequaat reageren mogelijk wordt. Tooling, expertise en analyse wijzen uit, dat het  inderdaad om een DDoS aanval gaat. Er wordt onmiddellijk gemitigeerd. De dreiging is gelukkig weggenomen. Maar de dienstverlening ondervindt nog veel problemen.


De dienstverlening blijft down, ook nu de DDoS is gestopt. Functieherstel moet as soon as possible plaatsvinden. Dat is de opdracht voor de korte termijn. De stand-by SOC Specialist schaalt op naar Escalatiecoördinatie. En het SOC MT neemt de operationele leiding van de SOC Specialist over.  


Escalatiecoördinatie gaat op basis van de eerste analyse op zoek naar de impact op de infrastructuur en de applicaties. Mogelijk ligt deze in de technische infrastructuur. Deze indicatie vraagt inderdaad om een Calamiteiten Management Team (CMT). Daarom wordt er een CMT ingericht. Dit schakelt specialisten vanuit de hele Rabobank in: de Control Room, het SOC, Escalatiemanagement met o.a. vertegenwoordigers van woordvoering en de Rabobank-dienstverlening, plus alle specialisten van de betreffende ICT-omgeving. Deze specialisten worden ingezet om de mogelijke impact op de technische infrastructuur weg te nemen en te zorgen voor herstel.
 

De specialisten worden opgeroepen. Collega IT-ers weten, nu de SOC Coördinator belt, dat er iets aan de hand is. Telefoons gaan in huizen, bioscopen, restaurants, sportscholen. ICT specialisten haasten zich naar het Bestuurscentrum van de Rabobank in Utrecht. Sommige specialisten werken vanuit huis met behulp van remote access faciliteiten, conference calling e.d. Je voelt de positieve spanning en iedereen is bloedserieus en volledig paraat.


De warroom, het epicentrum voor dit soort calamiteiten, wordt in gebruik genomen. Daar zijn allerlei faciliteiten zoals spiders en video om snel en goed te kunnen overleggen.


Het kernteam (Calamiteiten Oplos Team COT) komt bij elkaar. Dit team bestaat uit de Voorzitter van het CMT, de Coördinator SOC en 10 specialisten uit diverse disciplines. Crisisberaad! De hoogste prioriteit is het herstel van de dienstverlening. Nu de dreiging van de aanval is weggenomen, moet de situatie zich meteen normaliseren. Maar dit gebeurt niet.... Er moet worden gezocht naar oorzaak en gevolg. En daarna naar een structurele oplossing. Het systeem blijft helaas down: volledig functieverlies. Er moet nu in- en extern officieel worden gecommuniceerd dat Internetbankieren er uit ligt.


De communicatie intern: er is vastgesteld dat er een DDoS aanval op Internetbankieren heeft plaatsgevonden. De dreiging is inmiddels weggenomen, maar de dienstverlening blijft down. Het betreft Internetbankieren voor onze klanten. Oorzaak en oplossing moeten worden gevonden om te zorgen voor verder herstel. Dit gaat misschien enkele uren duren. Teams staan gescheduled. Over een uur meer informatie.


Communicatie extern informeert de klanten van de Rabobank via social media, rabobank.nl en woordvoering. De boodschap is: ‘Helaas hebben we momenteel een technische storing. We werken hard aan de oplossing. Onze excuses voor het ongemak’. Klanten krijgen deze storingsmelding te zien op de website.


Het Calamiteiten Oplos Team (COT) gaat in de warroom aan het werk.



Het team start met een reconstructie van hetgeen is voorgevallen. Hierbij worden tijdstippen, data, logging en impact naast elkaar gezet en vergeleken. Hiervoor worden specifieke hiërarchische procedures en protocollen gevolgd en rapportages gedraaid. Want de vraag is: waarom houden de problemen aan de technische infrastructuur aan, terwijl de directe dreiging van de DDoS bijna onmiddellijk is weggenomen. 


Meeting, die ieder uur plaatsvindt, met het CMT aangevuld met woordvoering en Rabobank-dienstverlening om een update te geven van de status en de verwachting voor het herstel van alle functies.


De risico’s zijn geminimaliseerd. Internetbankieren wordt uit de lucht gehouden. De specialisten kijken op basis van de beschikbare informatie en feiten welke zaken uitgesloten kunnen worden. En wat doet het wel, wat doet het niet. Zien ze iets dat afwijkt van de normale situatie. Iets dat de verstoringen verklaart. Een echte puzzel. Netwerkcomponenten, appliances en security tooling worden keer op keer herstart. Ook wordt er geschakeld tussen de datacenters. Noodzakelijk voor het opsporen van de oorzaak.


Het tweede team wordt opgeroepen om dienst te doen vanaf 02.00 uur. Collega’s, die al geïnformeerd waren via de reguliere interne kanalen, staan te trappelen om aan de puzzel te werken.


De tweede shift meldt zich in de warroom. Dit tweede team kijkt twee uur mee met het eerste en neemt daarna de werkzaamheden van de eerste 10 collega’s over. Mooi, want 20 IT-ers weten meer dan 10.


Stukje bij beetje worden mogelijke oorzaken van de verstoringen afgevinkt. Die oorzaken ontstaan vanuit een combinatie van expertise, ervaring en onderbuikgevoel. Het resultaat van deze intensieve klus is: twee concrete opties. Daarop gaan we ons volledig focussen.  


Het tweede team start met de officiële dienst. Maar niet voordat er een zorgvuldige overdracht heeft plaatsgevonden. Het eerste team gaat naar huis. Fijn, dat ze het probleem al heeft weten te reduceren tot twee mogelijke oorzaken!
De derde shift van specialisten wordt opgeroepen, sommigen zijn moeilijk wakker te krijgen, anderen nemen voor de eerste ringtone op.


Na zeven uur nog steeds geen definitieve oplossing: de druk neemt toe. Tienduizenden klanten wereldwijd kunnen niet online bankieren. De business voelt de druk van de wereld.  


Pizzadozen liggen verspreid. Het team werkt geconcentreerd en vaak in overleg met elkaar samen aan de oplossing.


Het derde team komt binnen en gaat naast de specialisten zitten. Maar het werk geven ze nog niet uit handen, want het lijkt erop, dat…


De oplossing is gevonden en in de maak! De oorzaak is een component in de technische infrastructuur, die door capaciteitsbeperkingen de plotselinge toename in de verkeersstroom niet aan kan, zolang deze niet geleidelijk wordt opgebouwd. En de oplossing: de verkeersstroom geleidelijk opbouwen en voorzichtig op regulier niveau brengen. Testen is helaas niet mogelijk, want de situatie kan niet worden gesimuleerd. De spanning neemt toe. Gaat het werken?


De nieuwe dag voor de meeste Nederlandse klanten begint. Communicatie informeert de klanten, dat Internetbankieren helaas nog niet mogelijk is. De pers haakt in, het bericht verspreidt zich snel.


Ja, het werkt! Het functieherstel vindt langzaam plaats. Het derde team gaat na de overdracht aan de slag. Het tweede neemt afscheid, best wel moe maar met een goed gevoel. Aan het derde team de taak om het werk af te ronden. De systemen weer live zetten is toch de kroon op je werk bij zo’n aanval.


12e en laatste meeting met het CMT. Internetbankieren kan om 10.00 uur weer veilig worden aangeboden. Grote opluchting bij de business en het team.


De oplossing is definitief geïmplementeerd en effectief bevonden. Alle dienstverlening is weer in de lucht en werkt naar behoren.  


Informeren van klanten en de pers via o.a. social media en de website dat Internetbankieren weer mogelijk is.


Echt even een hoera moment: ook in de praktijk 100% functieherstel.
Het systeem is beschermd voor een volgende aanval. Na 13 uur spanning, hard ploeteren en puzzelen is de dienstverlening weer in tact. De situatie wordt nog wel gemonitord en in de gaten gehouden gedurende een periode om te zorgen, dat deze onder controle blijft. In de warroom is het harde werken te zien. Het hele team is opgelucht en trots: er is met hart en ziel gewerkt. En ondanks dat het even duurde voordat er een oplossing werd gevonden, voelt het toch weer als een overwinning.


Het laatste team rondt alles af: alle acties worden gelogd, de commando’s opgeslagen, verslagen gemaakt, voert reflectie op de organisatie uit en stelt een actieplan op. Alles om ervan te leren. Moe en voldaan duikt de laatste shift het bed in.

Gelukkig is deze aanval overwonnen!

ICT-er bij de Rabobank. It's different.


Onze Projecten
27 maart 2013

Het team start met een reconstructie van hetgeen is voorgevallen. Hierbij worden tijdstippen, data, logging en impact naast elkaar gezet en vergeleken. Hiervoor worden specifieke hiërarchische procedures en protocollen gevolgd en rapportages gedraaid. Want de vraag is: waarom houden de problemen aan de technische infrastructuur aan, terwijl de directe dreiging van de DDoS bijna onmiddellijk is weggenomen.  


Meeting, die ieder uur plaatsvindt, met het CMT aangevuld met woordvoering en Rabobank-dienstverlening om een update te geven van de status en de verwachting voor het herstel van alle functies.


De risico’s zijn geminimaliseerd. Internetbankieren wordt uit de lucht gehouden. De specialisten kijken op basis van de beschikbare informatie en feiten welke zaken uitgesloten kunnen worden. En wat doet het wel, wat doet het niet. Zien ze iets dat afwijkt van de normale situatie. Iets dat  de verstoringen verklaart. Een echte puzzel. Netwerkcomponenten, appliances en security tooling worden keer op keer herstart. Ook wordt er geschakeld tussen de datacenters. Noodzakelijk voor het opsporen van de oorzaak.


Het tweede team wordt opgeroepen om dienst te doen vanaf 02.00 uur. Collega’s, die al geïnformeerd waren via de reguliere interne kanalen, staan te trappelen om aan de puzzel te werken.


De tweede shift meldt zich in de warroom. Dit tweede team kijkt twee uur mee met het eerste en neemt daarna de werkzaamheden van de eerste 10 collega’s over. Mooi, want 20 IT-ers weten meer dan 10.


Stukje bij beetje worden mogelijke oorzaken van de verstoringen afgevinkt. Die oorzaken ontstaan vanuit een combinatie van expertise, ervaring en onderbuikgevoel. Het resultaat van deze intensieve klus is: twee concrete opties. Daarop gaan we ons volledig focussen.  


Het tweede team start met de officiële dienst. Maar niet voordat er een zorgvuldige overdracht heeft plaatsgevonden. Het eerste team gaat naar huis. Fijn, dat ze het probleem al heeft weten te reduceren tot twee mogelijke oorzaken! De derde shift van specialisten wordt opgeroepen, sommigen zijn moeilijk wakker te krijgen, anderen nemen voor de eerste ringtone op.


Na zeven uur nog steeds geen definitieve oplossing: de druk neemt toe. Tienduizenden klanten wereldwijd kunnen niet online bankieren. De business voelt de druk van de wereld.  


Pizzadozen liggen verspreid. Het team werkt geconcentreerd en vaak in overleg met elkaar samen aan de oplossing.


Het derde team komt binnen en gaat naast de specialisten zitten. Maar het werk geven ze nog niet uit handen, want het lijkt erop, dat….


De oplossing is gevonden en in de maak! De oorzaak is een component in de technische infrastructuur, die door capaciteitsbeperkingen de plotselinge toename in de verkeersstroom niet aan kan, zolang deze niet geleidelijk wordt opgebouwd. En de oplossing:  de verkeersstroom geleidelijk opbouwen en voorzichtig op regulier niveau brengen. Testen is helaas niet mogelijk, want de situatie kan niet worden gesimuleerd. De spanning neemt toe. Gaat het werken?


De nieuwe dag voor de meeste Nederlandse klanten begint. Communicatie informeert de klanten, dat Internetbankieren helaas nog niet mogelijk is. De pers haakt in, het bericht verspreidt zich snel.


Ja, het werkt! Het functieherstel vindt langzaam plaats. Het derde team gaat na de overdracht aan de slag. Het tweede neemt afscheid, best wel moe maar met een goed gevoel. Aan het derde team de taak om het werk af te ronden. De systemen weer live zetten is toch de kroon op je werk bij zo’n aanval.


12e en laatste meeting met het CMT. Internetbankieren kan om 10.00 uur weer veilig worden aangeboden. Grote opluchting bij de business en het team.


De oplossing is definitief geïmplementeerd en effectief bevonden. Alle dienstverlening is weer in de lucht en werkt naar behoren.  


Informeren van klanten en de pers via o.a. social media en de website dat Internetbankieren weer mogelijk is.


Echt even een hoera moment: ook in de praktijk 100% functieherstel.
Het systeem is beschermd voor een volgende aanval. Na 13 uur spanning, hard ploeteren en puzzelen is de dienstverlening weer in tact. De situatie wordt nog wel gemonitord en in de gaten gehouden gedurende een periode om te zorgen, dat deze onder controle blijft. In de warroom is het harde werken te zien. Het hele team is opgelucht en trots: er is met hart en ziel gewerkt. En ondanks dat het even duurde voordat er een oplossing werd gevonden, voelt het toch weer als een overwinning.


Het laatste team rondt alles af: alle acties worden gelogd, de commando’s opgeslagen, verslagen gemaakt, voert reflectie op de organisatie uit en stelt een actieplan op. Alles om er van te leren. Moe en voldaan duikt de laatste shift het bed in.

Gelukkig is deze aanval overwonnen!

IT-er bij de Rabobank. It's different.

Bekijk onze vacatures
Ben je net zo ambitieus als wij? En wil je werken als IT-er bij een werkgever die het anders doet? Bekijk dan hier onze vacatures.


Onze Projecten
28 maart 2013

Beheerders
Beheerder is verantwoordelijk voor het inrichten en beheren van één of meerdere complexe geautomatiseerde systemen volgens afgesproken service levels. Het pro-actief monitoren, wijzigingen doorvoeren, incidenten en problemen oplossen en vastleggen. Betrokken beheer functies:

Technisch Applicatiebeheerder
Draagt zorg voor de technische inrichting en operationeel houden van applicaties, oplossen incidenten, doorvoeren van changes. Kijkt wanneer dit verantwoord is, werkt mee aan testplannen en technisch accepteren van testresultaten.

Functioneel Applicatiebeheerder
Verantwoordelijkheid ligt bij de beschikbaarheid en de performance van applicaties. Beheer, dus zorgen voor continuïteit, oplossen van incidenten, meewerken aan testen van nieuwe en gewijzigde applicaties, actief meewerken aan incidentreductie.

Netwerkbeheerder
Primaire verantwoordelijkheid ligt bij het beschikbaar houden van de infrastructuur (netwerken, routers, switches), oplossen van incidenten en doorvoeren van wijzigingen.

Integraal Bewaker
Bewaakt 24/7 de infrastructuur en systemen van de Rabobank vanuit de Control Room. Door allerlei schermen, maar ook Social Media in de gaten te houden. Bij verstoringen wordt er geschakeld met de juiste afdelingen om tot een oplossing te komen. 's Nachts en in weekenden (telefonisch) eerste aanspreekpunt bij problemen.

Escalatiemanager
De verbindende factor tussen alle betrokken afdelingen binnen de Rabobank: ICT, Business, Communicatie.

Infra Services Specialist
Is een Specialist op netwerken, heeft een helikopterview over alle specialismen binnen de Infrastructuur. Sparringpartner van het management.

Security Operations Specialist
Signaleert, controleert en analyseert security incidenten. Controleert ‘hoge’ bevoegdheden, blokkeert  ongeautoriseerde handelingen. Onderzoekt infrastructuur op kwetsbaarheden rapporteert en adviseert hierover.