Succesvolle data recovery

Hard disk

Server recovery en RAID recovery

Niet opgemerkte kapotte harde schijf

Een Raid 5 storagesysteem met tien drives had al drie maanden een kapotte harde schijf zonder dat dit bekend was. Toen een tweede schijf kapot ging, crashte de server, waardoor de data niet meer beschikbaar was. Gelukkig probeerde de klant niet eerst zelf de drives terug online te zetten, omdat dit alle data zou kunnen beschadigen, maar nam contact op met Ontrack. Onze data recovery experts bouwden de array opnieuw op, waardoor een totale recovery mogelijk was.

Data niet meer toegankelijk bij uitbreiding van de opslag van RAID 6 van 57 TB tot 90 TB

Een data recovery geval, dat zou hebben geleid tot een nationale crisis in Denemarken, gaat over het aldaar ook zeer populaire TV-programma X Factor. Bij de uitbreiding van de opslagcapaciteit van 57 TB tot 90 TB van een storage systeem met 34 harde schijven, geconfigureerd in software RAID 6, gaat het fout en verschijnt een foutmelding. De data was niet langer toegankelijk. Het voorval gebeurde 4 dagen voordat de uitzending live moest. Het was onmogelijk om het TV-programma opnieuw opnemen. Ingenieurs van Ontrack Data Recovery waren gelukkig in staat om de grote hoeveelheid gegevens binnen de vier dagen te herstellen.

Per ongeluk verkeerde schijf verwijderd

Een IT medewerker in een ziekenhuis probeerde een kapotte harde schijf in een raid array te vervangen, maar verwijderde per ongeluk een harde schijf uit een andere array waar kritische SQL servers van het ziekenhuis op gehost werden. De array liep schade op als gevolg van meerdere reparatiepogingen door de server admin. Het ziekenhuis vroeg Ontrack om hulp. Door middel van remote data recovery kon Ontrack de database terughalen.

De volgende recovery lagen werden doorlopen:

• Raid recovery tools om de originele Raid configuratie opnieuw op te bouwen
• VMFS recovery tools om schade aan het bestandsysteem te repareren en VMDK bestanden te kopiëren
• NTFS recovery tools om het NT bestandssysteem te repareren en SQL bestanden te kopiëren
• MS SQL recovery tools om de tabellen naar een nieuwe database te halen

Virtuele systemen - VMWare

Per ongeluk verwijderde virtuele machines

Een organisatie verwijderde per ongeluk tijdens een test project alle 38 virtuele machines van twee arrays. Door middel van remote data recovery kon Ontrack op afstand verbinding maken met het bedrijf om de verwijderde bestanden terug te halen en naar een nieuwe array te kopiëren.

Groot en complex Raid systeem met daarop VMware corrupt geraakt

Om onduidelijke redenen was de metadata van het RAID systeem corrupt geraakt. De betreffende HP EVA SAN 8400 bevatte 150 harde schijven met daarop 134 LUNs, met vraid1 en vraid 5. Daarop draaide VMware en NTFS filesystemen. Met de zelf ontwikkelde tools herstelden de data recovery engineers de 67TB aan data.

Probleem in de cloud

Een bedrijf dat cloud computers verhuurt, koppelde per ongeluk een virtueel opslagvolume los in de cloud omgeving. Dit is vergelijkbaar met het lostrekken van een kabel uit een operationeel volume. Toen het volume weer werd vastgekoppeld gaf Windows aan dat het volume leeg was, waardoor het niet gevonden kon worden. Met de remote recovery service van Ontrack konden de ingenieurs het beschadigde cloud opslagvolume repareren. Hierdoor was het bedrijf na vier uur weer helemaal operationeel.

Snel initialiseren van VMFS volumes

Twintig VFMS volumes werden snel geinitialiseerd op een back up server. Terwijl de virtuele machines en esx server bleven draaien, stopte de back-up server ermee. Een reboot van de ESX brengt het gevaar van downtime en gegevensverlies met zich mee. Ontrack kon de verwijderde virtuele disks herbouwen en 100 procent van de data terughalen binnen 24 uur. Lees meer over VMware recovery.

Per ongeluk verwijderde virtual disk

Een internet beveiligingsbedrijf verwijderde een virtuele disk, maar realiseerde zich later dat er twee belangrijke SQL databases op stonden, waar geen back-up van was. Aangezien VMFS alle verwijzingen naar de verwijderde bestanden wist, moest de ontbrekende VMDK in de vrije ruimte van het volume gezocht worden. Zoals de meeste VMDK bestanden, was dit bestand gefragmenteerd op het VMFS host volume. Het recovery proces:

• De zichtbare bestanden afschermen.
• Zoeken naar alle fragmenten van het NTFS volume met behulp van interne NT structuren.
• Alle fragmenten voor het gewenste volume in een nieuw VMDK bestand monteren.NTFS recovery tools gebruiken om de bestanden uit te pakken. Verdere reparatie was niet nodig, de SQL bestanden konden weer worden gemount.

LUN beschikbaar gesteld aan ander systeem

Een  LUN met actief VMFS werd (per ongeluk) toegankelijk gemaakt voor een fysieke Windows 2003 server. Windows formatteerde de LUN als NTFS en schreef er data naar toe, bovenop het VMFS volume. De klant kon de WMFS LUN via een Windows server toegankelijk maken voor een remote data recovery. De engineers van Ontrack konden de kritieke SQL database veilig stellen.

440 Virtuele machines moedwillig gewist en alle back ups overschreven

Van een HP BladeCenter – 3Par SAN met 28 LUNs (28 DataStores), 440 VMDKs, 1000+ snapshots werden na een fusie door een ontevreden werknemer alle virtuele machines gewist en de LUN’s met de back ups overschreven door nullen. Exchange, SQL, Oracle, File Servers alles weg. De Back ups zeker. Complicerende factor was het feit dat er geen documentatie van het system was en de inhoud van de VMDK’s onbekend. Gedurende het project wijzigden de prioriteiten constant. Doormiddel van remote data recovery waarbij meerdere machines werden aangesloten op de SAN en met een team Ontrack engineers uit de wereld werd 24/7 aan de case gewerkt. Binnen 3 weken waren alle virtuele machines en snapshots gered.

Herstellen virtuele machines van het vSAN opslagsysteem

Hoewel de software pas in maart 2014 op de markt was, was  het Ontrack in augustus 2014 al gelukt voor een klant in Nederland data van verschillende harde schijven te herstellen die beheerd werden door VMware Virtual SAN. Bij de initiële Virtual SAN-herstelpoging zorgden fouten in twee SSD's van de Virtual SAN voor een uitval van tweederde van het opslagsysteem. Meer over deze VMware vSAN recovery

Faulty SSD memory lets a virtual machine disappear in a new vSAN system. VMware vSAN/ VMware EXSi recovery case. (English)

Virtual planning data lost by wrong moving of data MS HyperV environment on DELL Equallogic PS61x0-X SAN

Remote data recovery on DELL Equallogic

Citrix Zen Server volumes weg na upgrade naar nieuwe versie en rollback

Een upgrade van een Citrix Zen Server met 25 virtual disks en 2 RAID 10 iSCSI Arrays gaf niet de verwachtte performance een rollback zorgde ervoor dat de volumes niet meer te benaderen waren. De klant presenteerde de iSCSI LUNs aan een remote data recovery machine. Ontrack found extract and decoded the correct LVM (linux volume manager). Voor elke VM werd een virtuele RAID configuratie gemaakt. De RAW data werd eruit gehaald en in een nieuwe VHD file gezet.

HP Server en storage

Data gered na overstroming computerruimte

Voor het betreffende HP EVA SAN 6000 systeem werd een JIT team samengesteld en een oplossing ontworpen. Zo slaagde Ontrack er in om 56 van de 80 hard drives te recoveren van de zeer complexe RAID oplossing. Samen was dit 86% van alle data, inclusief de belangrijkste SQL database, 20 databases en 350.000 losse bestanden.

Four terabytes of data recovered from flood damaged HP EVA SAN

Groot en complex Raid systeem met daarop VMware corrupt geraakt

Om onduidelijke redenen was de metadata van het RAID systeem corrupt geraakt. De betreffende HP EVA SAN 8400 bevatte 150 harde schijven met daarop 134 LUNs, met vraid1 en vraid 5. Daarop draaide VMware en NTFS filesystemen. Met de zelf ontwikkelde tools herstelden de data recovery engineers de 67TB aan data.

Teveel disken kapot van HP lefthand

Van een HP lefthand systeem bestaande uit 2 DAE’s met 8 schijven haperde tegelijkertijd diverse schijven van 1 DAE. Ongelukkigerwijs was in het verleden overgegaan van network-raid1 naar network-raid0 met diverse LUN’s en 20 vmdk’s. De combinatie van het veilig stellen van erg veel RAW data van de haperende schijven door de ervaren cleanroom specilisten en diepgaande kennis van en speciale eigen tooling voor lefthand maakte het mogelijk om de data toch nog veilig te stellen.

3 disken is ook teveel voor een HP MSA P2000 G3 met 8 drives in een RAID 6 configuratie

Onze klant haalde per ongeluk 2 schijven uit de RAID 6 array getrokken denkende dat dat mogelijk was bij een RAID 6. En toen ging een derde schijf onderuit. Gevolg de hele RAID offline. Gelukkig konden we ondanks de degraded disks, dankzij het herstel van veel RAW data van de defecte schijf in de cleanroom en het geluk dat er niets meer was weggeschreven nadat array down was gegaan.

Stroomuitval in datacenter bijna fataal voor SQL database op een HP ProLiant

Na stroom uitval begon bij reboot checkdisk te draaien op een HP ProLiant met 8 x 300GB Drives in RAID 5. Na dit proces gaf SQl database Size 0 aan. De schijven werden uit de server gehaald en aan een windows host gekoppeld. Met Remote Data Recovery werd de RAID array virtueel opgebouwd om handmatig de SQL database file records te herstellen. Extracted row data van de opnieuw gebouwde database werd in nieuwe database geimporteerd.

440 Virtuele machines moedwillig gewist en alle back ups overschreven

Van een HP BladeCenter – 3Par SAN met 28 LUNs (28 DataStores), 440 VMDKs, 1000+ snapshots werden na een fusie door een ontevreden werknemer alle virtuele machines gewist en de LUN’s met de back ups overschreven door nullen. Exchange, SQL, Oracle, File Servers alles weg. De Back ups zeker. Complicerende factor was het feit dat er geen documentatie van het system was en de inhoud van de VMDK’s onbekend. Gedurende het project wijzigden de prioriteiten constant. Doormiddel van remote data recovery waarbij meerdere machines werden aangesloten op de SAN en met een team Ontrack engineers uit de wereld werd 24/7 aan de case gewerkt. Binnen 3 weken waren alle virtuele machines en snapshots gered.

NetApp

3 kapotte schijven is ook voor NetApp FAS teveel

Bij een klant met een NetApp FAS storage system met 16 schijven, gebruik makend van Raid DP, ging een harde schijf kapot. Deze werd vervangen en een rebuild werd gestart. Tijdens dit proces ging nog een schijf kapot. Ook deze werd vervangen en nummer 3 ging kapot toen de rebuild op 58% was. Dat was teveel en het array ging down. 14 NetApp volumes in gebruik als NFS shares waren in gevaar. De Ontrack engineers maakten een zo goed mogelijke image van alle harde schijven. Door de schade aan de schijven was niet alle RAW data te herstellen. Met de zelf ontwikkelde tool om de Netapp RAID DP controller te emuleren was men, ondanks de ontbrekende RAW data op disk niveau, toch in staat om de data terug te halen. 7TB en meer dan 30 mlijoen files werdend hersteld.

Crypto virus infecteert een CIFS share op een NetApp FAS

Door een onoplettende gebruiker werd een CIFS share op een NetApp FAS geïnfecteerd Dit werd pas opgemerkt toen de snapshot retention period verlopen was. Het systeem 2 weken an de infectie nog steeds in gebruik en de consistency points waren weg. WAFl en de Ontrack tooling maakte het mogelijk om terug te gaan in de tijd. Meerdere checkpoints werden gevonden en gemerged. Zo werden 120.000 files veilig gesteld.

3 volumes verwijderd van NetApp NAS - FAS 3240

NetApp NAS - FAS 3240 met 2 filers (op verschillende sites). Het betrof 4 aggregates (13TB elk), 8 raid groups (RAID-DP) en 7 volumes (In elke filer, 56 drives x (560GB 520byte FC), 4 RAID groups, 2 aggregates). 3 volumes waren vernietigd. Het meeste kon worden teruggehaald door Netapp, maar er ontbrak nog 10 uur en 10TB aan data. De Ontrack engineers werkte onsite door alle lagen; van disk naar aggregate, volumes, consistency checks op data en recovery. In13 dagen was alle ontbrekende dat hersteld.

Verschillende LUN’s van NetApp Filer per ongeluk verwijderd

Een werknemer verwijderde per ongeluk een aantal LUN’s van een NetApp Filer. Kritische data was een Email Archive Database van 4.3TB met meer dan 100 miljoen gearchiveerde E-Mails. De relevante dat stond op aggregates met een grootte van respectievelijk 19TB en 120TB. Een grote puzzel die ook nu weer werd opgelost door de Ontrack specialisten.

Netapp snap mirror probleem

Hier betrof het een FAS 3170, 71 HDD, RAID DP, 2 Aggregates, 2 Volumes met een Snap Mirror sync van DR to Prod . Naar het bleek waren DR Volumes out of date by ~28 days. Ook hier warden alle lagen doorlopen van toiegang tot individual disken, virtual rebuilt van RAID group, Virtual rebuild Aggregate, Virtual rebuilt Volume, consistency checks op data en recovery. Net zoals bij de meeste projecten van deze omvang was enige aanpassing van de eigen ontwikkelde tooling vereist om tot dit resultaat te komen.

Host side Per ongeluk verwijderd

Van een Netapp FAS 6280, 384 disks, RAID DP, met 4 Aggregates, 4 Volumes werd per ongeluk host side verwijderd. Honderden Terabytes en vele miljoenen Bestanden leken verloren Gelukkig wisten de Ontrack specialisten de data te herstellen.

Dell server - storage

2 stroomstoringen teveel voor een Dell Equallogic

Twee stroomstoringen kort achter elkaar zorgden voor digitaal dood en verderf. De eerste stroomstoring duurde lang en was funest voor de SAN-switch, waardoor er geen data meer heen en weer werd gestuurd. ‘De SAN’s bleken niet meer correct “in sync” en omdat de VM’s in eerste instantie nog functioneerden ontdekte ik het probleem pas enige tijd later. De tweede stroomstoring was korter en beschadigde de LUN-setup. Uiteindelijk bleek alle data niet meer benaderbaar.

Ontrack is onze redding geweest.

Data van LUN verdwenen na mislukte SAN copy

Van EMC VNX 5300 47 FC LUNs (105 drives) 1 Pool Over 500 VMs (20TB) werden Bad blocks reported door de SAN. Een SAN copy werd uitgevoerd om de data veilig te stellen. 14 LUN’s bleven problemen houden of mistten data. Met behulp van remote data recovery werden LUN’s hersteld.

Twee schijf kapot tijdens rebuild en backup op dezelfde array

Twee Dell EqualLogic PS6000 array members met 32 harde schijven geconfigureerd als 2 Raid 50 members met 14TB usable space. Op het SAN systeem draaide 20 virtual machines met daarop veel websites. De backups stonden op andere volumes maar wel op dezelfde array. Een van de RAID’s had een defecte disk en tijdens de rebuild naar een spare ging een tweede schijf onderuit. Vele pogingen werden ondernomen om het systeem te laten rebuilden.

In eerste instantie werd een fysieke recovery gedaan waarbij de kapotte harde schijf zover gerepareerd wordt dat er image kan worden gemaakt op identieke harde schijven. Parallel werden alle schijven ge-imaged zodat de nul situatie was vastgelegd. In sommige gevallen werkt dat maar nu moesten de engineers een laag hoger. Het dynamische mapping systeem dat 15MB page over de array verspreid werd onderzocht en toegevoegd aan de recovery tool set. Met deze tools kon de data page puzzel worden opgelost en de data hersteld.

Recovery from highly specialized EMC Isilon big data storage

EMC Isilon recovery case

Virtual planning data lost by wrong moving of data MS HyperV environment on DELL Equallogic PS61x0-X SAN

Remote data recovery on DELL Equallogic

Double disk failure on EMC NX4 SAN RAID5 System with 48 hard drives. All patient-data rescued

EMC NX4 SAN recovered