Non-VoIP Nortel PBX telefoonswitch gered
The Situation
De weerman zei: "Kleine kans op overstromingen"
In de nacht van 20 juni 2013 werd medewerkers van het Stadhuis van Calgary verteld dat een overstroming misschien tot stroomuitval zou kunnen leiden. Hoewel niemand verwachtte dat het Stadhuis zou worden overspoeld, bestond wel de mogelijkheid dat het zou gebeuren.
Kelly Brown is een Telecom Engineer voor spraak- en video-oplossingen in de stad Calgary. Als onderdeel van het proces voor het managen van kritieke callcenters, riep ze twee technici op om te kamperen in de kelder, voor het geval dat de stroom in het gebouw zou uitvallen. Ze bracht ook een back-upcentrum in Calgary op de hoogte.
In de kelder van het stadhuis bevond zich een non-VoIP Nortel PBX telefoonswitch die meer dan 12.000 analoge of digitale lijnen bediende, LRT, 20+ callcenters, personeelsmanagement en voicemail, samen met een GUI-applicatie voor het programmeren van de telefoonswitch.
"De volgende ochtend meldden de technici rond 08:00 dat er water de kelder binnenkwam", aldus Brown. "Nadat we ons securityteam hadden gewaarschuwd, hebben de technici de harde schijven van de telefoonswitch en de belangrijkste toepassingen verwijderd, ze in antistatische zakken verpakt en mee naar boven genomen."
Toen het beveiligingspersoneel haar eindelijk toestemming gaf om naar het eerste platform te gaan halverwege de keldertrap, zag Brown dat het water ongeveer anderhalve meter diep was. De volgende dag stond het ongeveer op 2 meter diep.
"Na drie dagen lang pompen lag onze focus op het herstel van de basis telefoonservice", zei ze. "We hadden nog niet eens gekeken naar de toepassingen. Ik dacht niet dat we nog iets in de kelder konden herstellen, want het water was zo vies en diep."
Een van de technici haalde de resterende schijfeenheden op en verpakte ze in wat hij voorhanden had, namelijk standaard, doorzichtige plastic - geen antistatische - zakken met papieren borden in een poging om het vocht te absorberen.
Het ging om 49 schijven in totaal - 30 kleine profielschijven en 19 schijven van normale grootte, variërend in capaciteit van 9GB tot 100GB.
The Solution
Op juli 4 verwees Firstonsite Restoration Brown naar LWG Consulting, die haar doorverwezen naar Ontrack voor de mogelijkheid om de gegevens uit de nat geworden schijven te herstellen. De eerste reeks schijven is bij Ontrack binnengekomen op 18 juli.
"In de analysefase werd door Ontrack geïdentificeerd of de gegevens herstelbaar waren, waarmee ze mij lieten beslissen of we die gegevens wilden herstellen", aldus Brown. "Van de 16 verschillende systemen hebben we twee noodrestauraties gedaan en op de rest zijn standaard restauraties uitgevoerd. De mensen van Ontrack waren zeer goed in het verstrekken van gedetailleerde rapporten over elke schijf, hoeveel bestanden ze gevonden hadden en hoeveel ze hadden hersteld. "
Slechts één applicatie is niet volledig hersteld. Stadstechnici waren in staat om een back-up te gebruiken om de kleine bestanden die ontbraken alsnog te herstellen.
De technici ontving de eerste set van de gerestaureerde schijven op 23 juli. De belangrijkste toepassingen hadden een hogere prioriteit en waren binnen enkele dagen weer in bedrijf na ontvangst van de herstelde gegevens van Ontrack.
The Resolution
"Het gekke is dat we nog steeds niet volledig zijn hersteld", zei Brown. "We hebben enkele toepassingen niet hersteld, omdat we in de eerste plaats al niet blij waren met die toepassingen."
De stadscommunicatie herstellen vereiste een flink gegoochel tussen een restauratie op grote schaal en de restauratie van business units. In het proces van het heropbouwen van de 12.000 lijnen hebben inventieve stadstechnici oproepen voor de centrale lijnen zoals het zwembad, parken, en andere nummers van stadsfaciliteiten, omgeleid naar mobiele telefoons.
Om de operatie naar een hoger plan te tillen, waren updates aan de infrastructuur nodig. Vanuit het stadhuis werden 40 externe locaties aangesloten via glasvezelkabel of T1. Deze moesten allemaal worden verbonden met de nieuwe locatie. Een verbinding met de Calgary Parking Authority moet nog voltooid worden.
"We waren net bezig om al onze kritische applicaties geografisch redundant te maken - dus als we één voorziening verliezen moet de andere in staat zijn het onmiddellijk over te nemen", zei Brown. "We hebben ook een nieuw proces voor back-ups en we rouleren nu de media tussen verschillende locaties."
Van dit voorval kunnen we verschillende belangrijke lessen leren...
- Natuurrampen komen voor, dus zorg ervoor dat u een back-up en herstelplannen klaar hebt voordat u ze daadwerkelijk nodig hebt.
- Zelfs na dagenlange onderdompeling in vuil water, zijn uw gegevens te herstellen door mensen met de juiste kennis en ervaring.
- Toegewijde medewerkers kunnen uw restauratietijd verkorten.
"De mensen werkten heel lange dagen", merkte Brown op. "Het was een behoorlijke ervaring. Als het aan mij lag had ik 2013 overgeslagen en was vanaf 2012 rechtstreeks naar 2014 doorgegaan."