Nie istnieje jedna definicja data processing, która w pełni i dokładnie wyjaśnia jej cel i konstrukcję. Przeglądając internet, można znaleźć różne podejścia do tego tematu, w zależności od punktu widzenia. Opis będzie inny, jeśli pochodzi od firmy sprzedającej oprogramowanie do tego celu, a inny, gdy pochodzi od firmy zajmującej się bezpieczeństwem danych. Często zdarza się, że ktoś już wykonuje data processing, ale jeszcze tego tak nie nazywa.
Oczywiście są też elementy, gdzie definicje się pokrywają, ponieważ niektóre etapy i cele tego procesu są takie same, niezależnie od środowiska, w którym są wykorzystywane. Jednak ogólnie rzecz biorąc, data processing pojawia się wtedy, gdy dane są pobierane z różnych surowych źródeł i przekształcane w formę czytelną i możliwą do analizy. Czasami data processing rozumiane jest także jako część information processing.
Podsumowując powyższe rozważania cytatem z „Data Processing and Information Technology” Carla Frencha: Data Processing to „zbieranie i manipulacja elementami danych w celu uzyskania znaczącej informacji”.
Dlaczego data processing staje się tak popularne?
Obecnie dane otaczają nas nieustannie. Sami generujemy ich ogromne ilości – przez telefony, zegarki, urządzenia domowe czy jakiekolwiek inne urządzenie z procesorem.
Wszystkie te dane, lub ich część, mogą być gromadzone i przechowywane do późniejszego wykorzystania. Może to być na potrzeby machine learning, analiz, ulepszania systemów, bezpieczeństwa lub innych zastosowań. Ponieważ z natury te informacje mogą być bardzo wrażliwe, np. osobiste lub medyczne, ich przetwarzanie rodzi wiele wyzwań prawnych. Dlatego ważne jest, by rozumieć różne sposoby data processing w zależności od rodzaju przetwarzanych informacji.
Musimy brać pod uwagę szeroką gamę źródeł danych, które różnią się wielkością, częstotliwością zmian, typem dostępu, formatem/schema oraz sposobem przetwarzania.
Aby mieć ogólny pogląd, jak często spotykamy się z data processing, warto wspomnieć, że praktycznie każda odwiedzana strona internetowa wykonuje jakiś rodzaj data processing – czy to własnymi algorytmami, czy przez podmioty trzecie, np. Google.
Nie ma wątpliwości, że data processing jest potrzebne i szeroko stosowane, ale dlaczego? Co zyskujemy poza ogromem przetwarzanych i przechowywanych danych? Możemy pomóc Ci wykorzystać dane na swoją korzyść. Sprawdź nasze usługi data science i dowiedz się, jak Twoja firma może skorzystać z naszej wiedzy.
Narzędzia do data processing
Technologiczny stack do data processing może być zbudowany z wielu narzędzi działających na różnych etapach przetwarzania lub może to być jedna aplikacja obsługująca wszystkie poziomy – od surowych danych po wynik końcowy. Jednym z najbardziej znanych narzędzi pod względem end-to-end capability i łatwości obsługi dla użytkownika końcowego jest Power BI od Microsoft. Ma wiele konektorów do surowych źródeł danych, dobre możliwości przetwarzania i bardzo intuicyjne moduły prezentacji.
Jednak wybierając oprogramowanie do data processing spełniające potrzeby biznesowe, ważne jest przeprowadzenie dobrego researchu rynku, bo obecnie wybór takich rozwiązań jest ogromny. Aby to zrobić, niezbędne jest najpierw zdefiniowanie potrzeb i oczekiwań wobec wyników przetwarzania oraz parametrów wejściowych wspomnianych wcześniej.
Etapy data processing
Data processing to procedura, która może składać się z kilku etapów, z których niektóre są zawsze wykonywane, a inne mogą być pominięte.
Etapy data processing:
- Collection
Pierwszy, najbardziej podstawowy krok to zebranie danych z różnych źródeł. Mogą to być pliki płaskie, bazy relacyjne, urządzenia IoT, chmury itd. Dane te często są nieustrukturyzowane, nadmiarowe, źle sformatowane, niekompletne lub uszkodzone, przez co trudne do użycia. Ten etap jest bardzo ważny, bo od niego zależą kolejne kroki. Jeśli dane zostaną dodatkowo uszkodzone na tym etapie, później może być niemożliwe ich naprawienie. - Preparation
Po zebraniu danych zwykle wymagają one czyszczenia, w szczególności deduplikacji i kontroli jakości. Ten etap odpowiada za usunięcie większości śmieci i błędów z zaimportowanych danych. Dopiero potem można przejść do bardziej zaawansowanych procesów. - Input storage
Dane przygotowane w poprzednim kroku mogą być teraz przeniesione do początkowego storage, gdzie mogą być dalej analizowane i przetwarzane. Ten krok często jest pomijany, ale dobrą praktyką jest przechowywanie wyczyszczonych danych na wypadek konieczności ponownego uruchomienia procesów – wtedy nie trzeba ich czyścić ponownie. - Processing
Najbardziej zaawansowany i kluczowy etap. Dane przygotowane wcześniej mogą być teraz przetwarzane przez różne narzędzia i procesy. To tutaj algorytmy i machine learning mogą pokazać pełnię swoich możliwości. Może to być też realizowane bardziej tradycyjnie przez data scientists, którzy opisują procedury przetwarzania danych. Obie drogi muszą zakończyć się zorganizowanym wynikiem gotowym do analizy. - Analyzing
Po przetworzeniu dane są dostępne w bardziej czytelnej formie i mogą być dalej analizowane np. przez data scientists, a następnie prezentowane w atrakcyjnej i informacyjnej formie, np. jako wykresy czy raporty. W tym kroku ujawnia się pełna wartość całego procesu. Na podstawie tych wyników firmy mogą podejmować kluczowe decyzje lub usprawniać swoje procesy. - Storage
Te wysoce funkcjonalne, końcowe dane muszą być bezpiecznie przechowywane, a jednocześnie łatwo dostępne. Obecnie najpopularniejszym storage jest oczywiście chmura.
Można zapytać: „Po co wdrażać tak kosztowny proces tylko po to, by pokazać kilka wykresów?”. To pytanie mogło być zasadne kilka lat temu, ale dziś dostęp do tych informacji i możliwość ich analizy daje nieograniczone możliwości firmom i rządom w zdobywaniu przewagi w wielu dziedzinach. Zwłaszcza że większość naszego życia i biznesu przenosi się do online, a ten trend będzie się utrzymywał przez długi czas.
Analityka big data w czasie rzeczywistym definicja i korzyści
