Ciemna strona danych

Podobnie jak wszechświat wypełniony jest ciemną materią, o której właściwie nie wiemy nic, poza tym, że gdzieś tam jest, tak i w świecie danych istnieją ciemne dane (ang. dark data), o których analitycy wiedzą prawie tyle samo. A wielu z nich nawet mniej – bo często nie uświadamiają sobie ich istnienia, ani potencjału, który w nich drzemie. Postanowiliśmy więc podjąć się wyzwania i rzucić trochę światła na zagadnienie ciemnej strony danych.

Specjaliści z International Data Corporation, firmy analityczno-doradczej,  specjalizujacej się w strategicznym wykorzystaniu nowoczesnych technologii, oszacowali, że nawet do 90% wszystkich danych to ciemne dane. A czym one konkretnie są? Otóż terminem tym określa się wszystkie dane, które są przetwarzane i gromadzone w trakcie procesów operacyjnych przedsiębiorstwa, a następnie archiwizowane bez jakiejkolwiek sensownej strukturyzacji. W dużym uproszczeniu ciemne dane to ogromny zbiór nieskatalogowanych danych, które z tego powodu, są bardzo trudne do przeanalizowania i wykorzystania, na porzykład do biznesowych celów firmy.

Jednym ze źródeł ciemnych danych są np. archiwa taśmowe. Warto zgłębić problematykę ciemnych danych, najlepiej w rytmach albumu Pink Floyd Dark Side of the Moon.

Jak powstają ciemne dane? Otóż są one wynikiem niedbałości, braku perspektywicznego myślenia w procesach przetwarzania i archiwizowania danych, a często także braku odpowiedniej wiedzy. Tylko pozornie ciemne dane są bezwartościowymi śmieciami, efektem ubocznym procesów informatycznych, które jedynie ze względów prawno-proceduralnych należy przechowywać. Dla doświadczonego analityka mogą być one bowiem kopalnią bardzo cennych informacji – o klientach, a także o procesach zachodzących w przedsiębiorstwie. Jednak nieodpowiednie ich przechowywane, nie tylko utrudnia ich wykorzystanie, ale także może doprowadzić do sytuacji, w której ryzyko i koszty ich przetwarzania, przewyższą potencjalne korzyści.

Jak więc ograniczyć odsetek ciemnych danych w archiwach przedsiębiorstwa? Przede wszystkim należy przemyśleć kwestię ich katalogowania i opisywania. Większość danych, które uzyskujemy, może zostać wtłoczona w funkcjonalne struktury organizacyjne, które później umożliwią nam powrót do nich, analizę i czerpanie z nich profitów. Podstawowa zasada, której zawsze powinniśmy przestrzegać, jest dosyć prosta – powinniśmy wiedzieć, jakie dane posiadamy i jak uzyskać do nich dostęp, w jak najkrótszym czasie. Jeśli tę zasadę zignorujemy – cenne informacje trafią w czarną dziurę, pełną chaotycznej masy bezużytecznych danych.