Funkcjonalności warstw architektury referencyjnej Big Data

W moim ostatnim poście omówiliśmy analizę problemu biznesowego i podstawowe kroki do zaprojektowania Architektury Big Data. Dzisiaj opowiem o różnych warstwach w architekturze Big Data i ich funkcjonalnościach.

Logiczne warstwy architektury referencyjnej Big Data

Główną ideą architektury Big Data jest udokumentowanie właściwych podstaw architektury, infrastruktury i aplikacji. Dzięki temu firmy mogą na co dzień efektywniej wykorzystywać big data.

Jest tworzony przez projektantów/architektów big data przed fizycznym wdrożeniem rozwiązania. Tworzenie architektury big data zazwyczaj wymaga zrozumienia biznesu/organizacji i jej potrzeb w zakresie big data. Zazwyczaj architektury Big Data określają komponenty sprzętowe i programowe, które są niezbędne do realizacji rozwiązania Big Data. Dokumenty architektury Big Data mogą również opisywać protokoły udostępniania danych, integracji aplikacji i bezpieczeństwa informacji.

Więcej informacji:  Przewodnik dla początkujących po analizie Big Data

Wiąże się to również z łączeniem i organizacją istniejących zasobów w celu zaspokojenia potrzeb związanych z dużymi danymi.

Warstwy logiczne architektury referencyjnej są następujące:

• Identyfikacja źródła danych: Wiedza o tym, skąd pochodzą te dane.

Profilowanie źródeł jest jednym z najważniejszych kroków przy podejmowaniu decyzji o architekturze lub big data. Polega na identyfikowaniu różnych systemów źródłowych i kategoryzowaniu ich na podstawie ich charakteru i typu.

Punkty, które należy wziąć pod uwagę przy profilowaniu źródeł danych:

1. Zidentyfikuj systemy źródeł wewnętrznych i zewnętrznych.
2. Założenie wysokiego poziomu dla ilości danych pozyskiwanych z każdego źródła
3. Zidentyfikuj mechanizm używany do pobierania danych – push lub pull
4. Określ typ źródła danych – baza danych, plik, usługa sieciowa, strumienie itp.
5. Określ rodzaj danych – ustrukturyzowane, częściowo ustrukturyzowane lub nieustrukturyzowane

• Strategia i pozyskiwanie danych : proces wprowadzania danych do systemu.

Pozyskiwanie danych polega na ekstrakcji danych z wyżej wymienionych źródeł. Dane te są przechowywane w magazynie, a następnie przetwarzane w celu dalszego przetwarzania na nim.

Punkty do rozważenia:

1. Określ częstotliwość, z jaką dane będą pozyskiwane z każdego źródła
2. Czy istnieje potrzeba zmiany semantyki danych?
3. Czy przed pozyskiwaniem wymagana jest weryfikacja lub przekształcenie danych (przetwarzanie wstępne)?
4. Segreguj źródła danych na podstawie trybu przetwarzania — wsadowego lub w czasie rzeczywistym

• Przechowywanie danych : obiekt, w którym będą faktycznie przechowywane duże dane.

Powinna istnieć możliwość przechowywania dużych ilości danych dowolnego typu i możliwość skalowania w zależności od potrzeb. Powinniśmy również wziąć pod uwagę liczbę operacji IOPS (operacji wejściowych i wyjściowych na sekundę), które może zapewnić. Rozproszony system plików Hadoop to najczęściej używana platforma przechowywania danych w świecie Big Data, inne to magazyny danych NoSQL – MongoDB, HBase, Cassandra itp.

Rzeczy do rozważenia przy planowaniu metodologii przechowywania:

1. Rodzaj danych (historyczne lub przyrostowe)
2. Format danych (ustrukturyzowane, częściowo ustrukturyzowane i nieustrukturyzowane)
3. Wymagania dotyczące kompresji
4. Częstotliwość przychodzących danych
5. Wzorzec zapytania o dane
6. Konsumenci danych

• Przetwarzanie danych : narzędzia umożliwiające analizę dużych zbiorów danych.

Wielokrotnie wzrosła nie tylko ilość przechowywanych danych, ale także ich przetwarzanie.

Wcześniej często używane dane były przechowywane w dynamicznych pamięciach RAM. Ale teraz jest przechowywany na wielu dyskach na wielu maszynach połączonych przez sieć ze względu na samą objętość. Dlatego zamiast zbierać porcje danych do przetwarzania, moduły przetwarzania są przenoszone do big data. W ten sposób znacznie redukując I/O sieci. Metodologia przetwarzania jest oparta na wymaganiach biznesowych. Na podstawie umowy SLA można ją podzielić na Batch, w czasie rzeczywistym lub Hybrid.

1. Przetwarzanie wsadowe  — wsadowe zbiera dane wejściowe przez określony czas i uruchamia na nim przekształcenia w zaplanowany sposób. Ładowanie danych historycznych jest typową operacją wsadową
2. Przetwarzanie w czasie rzeczywistym — Przetwarzanie w czasie rzeczywistym obejmuje uruchamianie przekształceń w miarę pozyskiwania danych.
3. Przetwarzanie hybrydowe — jest to połączenie potrzeb przetwarzania wsadowego i przetwarzania w czasie rzeczywistym.

• Zużycie/wykorzystanie danych : Użytkownicy/usługi wykorzystujące analizowane dane.

Ta warstwa zużywa dane wyjściowe dostarczane przez warstwę przetwarzania. Różni użytkownicy, tacy jak administrator, użytkownicy biznesowi, dostawcy, partnerzy itp., mogą wykorzystywać dane w różnych formatach. Wyniki analizy mogą zostać wykorzystane przez silnik rekomendacji lub procesy biznesowe mogą zostać uruchomione na podstawie analizy.

Różne formy wykorzystania danych to:

1. Eksportuj zestawy danych — mogą istnieć wymagania dotyczące generowania zestawów danych stron trzecich. Zestawy danych można generować za pomocą eksportu do gałęzi lub bezpośrednio z HDFS.
2. Raportowanie i wizualizacja — Różne narzędzia do raportowania i wizualizacji łączą się z Hadoop za pomocą połączenia JDBC/ODBC z Hive.
3. Eksploracja danych — naukowcy zajmujący się danymi mogą budować modele i przeprowadzać głęboką eksplorację w środowisku piaskownicy. Piaskownica może być oddzielnym klastrem (zalecane podejście) lub oddzielnym schematem w ramach tego samego klastra, który zawiera podzbiór rzeczywistych danych.
4. Zapytania Adhoc – Zapytania Adhoc lub Interactive mogą być obsługiwane za pomocą Hive, Impala lub Spark SQL.

Przeczytaj także:  Big Data: przyszły koszmar?

Warstwy funkcjonalne architektury Big Data:

Mógłby być jeszcze jeden sposób definiowania architektury, tj. poprzez podział funkcjonalności. Ale kategorie funkcjonalności mogą być zgrupowane w logicznej warstwie architektury referencyjnej, więc preferowaną architekturą jest ta wykonana przy użyciu warstw logicznych.

Warstwy w oparciu o Funkcjonalności są następujące:

1. Źródła danych:

W tej kategorii należy wymienić wszystkie źródła, z których organizacja otrzymuje dane i które mogą pomóc organizacji w podejmowaniu przyszłych decyzji. Wymienione tutaj źródła danych są niezależne od tego, czy dane są ustrukturyzowane, nieustrukturyzowane czy częściowo ustrukturyzowane.

1. Ekstrakcja danych:

Zanim będziesz mógł przechowywać, analizować lub wizualizować swoje dane, musisz je mieć. Ekstrakcja danych polega na przekształceniu czegoś, co nie ma struktury, na przykład strony internetowej, w ustrukturyzowaną tabelę. Po uporządkowaniu możesz nim manipulować na różne sposoby, korzystając z narzędzi opisanych poniżej, aby uzyskać szczegółowe informacje.

1. Przechowywanie danych:

Podstawową koniecznością podczas pracy z big data jest zastanowienie się, jak je przechowywać. Częścią tego, w jaki sposób Big Data zyskało rozróżnienie jako „WIELKIE”, jest to, że stało się to zbyt duże dla tradycyjnych systemów. Dobry dostawca przechowywania danych powinien oferować infrastrukturę, na której można uruchamiać wszystkie inne narzędzia analityczne, a także miejsce do przechowywania i odpytywania danych.

1. Czyszczenie danych:

Wstępnie niezbędny krok, zanim zaczniemy faktycznie wydobywać dane w celu uzyskania wglądu. Dobrą praktyką jest zawsze tworzenie czystego, dobrze ustrukturyzowanego zestawu danych. Zestawy danych mogą mieć różne kształty i rozmiary, zwłaszcza gdy pochodzą z internetu. Wybierz narzędzie zgodnie z wymaganiami dotyczącymi danych.

1. Eksploracja danych:

Eksploracja danych to proces odkrywania spostrzeżeń w bazie danych. Celem eksploracji danych jest podejmowanie decyzji i przewidywanie danych, które masz pod ręką. Wybierz oprogramowanie, które daje najlepsze prognozy dla wszystkich rodzajów danych i pozwala tworzyć własne algorytmy do wydobywania danych.

1. Analityka danych:

Podczas gdy eksploracja danych polega na przeszukiwaniu danych w poszukiwaniu wcześniej nierozpoznanych wzorców, analiza danych polega na rozbiciu tych danych i ocenie wpływu tych wzorców w czasie. Analytics polega na zadawaniu konkretnych pytań i znajdowaniu odpowiedzi w danych. Możesz nawet zadawać pytania o to, co wydarzy się w przyszłości!

1. Wizualizacja danych:

Wizualizacje są jasnym i łatwym sposobem przekazywania złożonych spostrzeżeń dotyczących danych. A najlepsze jest to, że większość z nich nie wymaga kodowania. Firmy zajmujące się wizualizacją danych ożywią Twoje dane. Częścią wyzwania dla każdego analityka danych jest przekazanie spostrzeżeń z tych danych reszcie Twojej firmy. Narzędzia mogą pomóc w tworzeniu wykresów, map i innych podobnych grafik na podstawie wglądu w dane.

1. Integracja danych:

Platformy integracji danych są spoiwem między każdym programem. Łączą różne wnioski narzędzi z innymi Oprogramowaniem. Możesz udostępniać wyniki swoich narzędzi wizualizacyjnych bezpośrednio na Facebooku za pomocą tych narzędzi.

1. Języki danych:

Nadejdą chwile w Twojej karierze danych, kiedy narzędzie po prostu nie będzie w stanie tego zrobić. Podczas gdy dzisiejsze narzędzia stają się coraz potężniejsze i łatwiejsze w użyciu, czasami lepiej jest po prostu samemu je zakodować. Istnieją różne języki, które pomagają w różnych aspektach, takich jak obliczenia statystyczne i grafika. Te języki mogą działać jako dodatek do oprogramowania do eksploracji danych i statystycznego.

Kluczową rzeczą do zapamiętania przy projektowaniu Architektury Big Data są:

• Dynamika użytkowania : W artykule przedstawiono szereg scenariuszy, które należy wziąć pod uwagę przy projektowaniu architektury – forma i częstotliwość danych, rodzaj danych, rodzaj przetwarzania i wymagane analizy.
• Mnóstwo technologii:  Rozprzestrzenianie się narzędzi na rynku doprowadziło do wielu nieporozumień dotyczących tego, czego i kiedy używać. Istnieje wiele technologii oferujących podobne funkcje i twierdzących, że są lepsze od innych.

Wiem, że myślałbyś o różnych narzędziach do wykorzystania, aby stworzyć w pełni dowodowe rozwiązanie Big Data. Cóż, w moich nadchodzących postach na temat Big Data omówię kilka najlepszych narzędzi do realizacji różnych zadań w architekturze Big Data .