Funkcjonalności warstw architektury referencyjnej Big Data
Przeczytaj blog, aby w najprostszy sposób poznać różne warstwy w architekturze Big Data i ich funkcjonalności.
Serwer Graylog to gotowy do zarządzania pakietem oprogramowania do zarządzania logami typu open source. Zbiera dzienniki z różnych źródeł i analizuje je w celu wykrycia i rozwiązania problemów. Serwer Greylog to w zasadzie połączenie Elasticsearch, MongoDB i Graylog. Elasticsearch to bardzo popularna aplikacja typu open source do przechowywania tekstu i zapewniająca bardzo zaawansowane możliwości wyszukiwania. MongoDB to aplikacja typu open source do przechowywania danych w formacie NoSQL. Graylog zbiera dzienniki z różnych źródeł i udostępnia internetowy pulpit nawigacyjny do zarządzania i przeszukiwania dzienników. Graylog zapewnia również interfejs API REST dla konfiguracji i danych. Zapewnia konfigurowalny pulpit nawigacyjny, za pomocą którego można wizualizować metryki i obserwować trendy za pomocą statystyk polowych, szybkich wartości i wykresów z jednej centralnej lokalizacji.
W tym samouczku nauczysz się instalować Graylog Server na Ubuntu 16.04. Ten przewodnik został napisany dla Graylog Server 2.3, ale może również działać na nowszych wersjach. Nauczysz się także instalować Java, Elasticsearch i MongoDB. Zabezpieczymy również instancję MongoDB i skonfigurujemy zwrotny serwer proxy Nginx dla internetowego pulpitu nawigacyjnego i interfejsu API.
W tym samouczku użyjemy 192.0.2.1
jako publicznego adresu IP serwera i graylog.example.com
nazwy domeny wskazanej na serwerze. Zastąp wszystkie wystąpienia 192.0.2.1
swoim publicznym adresem IP Vultr i graylog.example.com
rzeczywistą nazwą domeny.
Zaktualizuj system podstawowy, korzystając z przewodnika Jak zaktualizować system Ubuntu 16.04 . Po zaktualizowaniu systemu przejdź do instalacji Java.
Elasticsearch wymaga Java 8 do uruchomienia. Obsługuje zarówno Oracle Java, jak i OpenJDK, ale zawsze zaleca się używanie Oracle Java, jeśli to możliwe. Dodaj repozytorium PPA Oracle Java:
sudo add-apt-repository ppa:webupd8team/java
Zaktualizuj metadane repozytorium APT:
sudo apt update
Zainstaluj najnowszą stabilną wersję Java 8, uruchom:
sudo apt -y install oracle-java8-installer
Po wyświetleniu monitu zaakceptuj umowę licencyjną. Jeśli Java została zainstalowana pomyślnie, powinieneś mieć możliwość zweryfikowania jej wersji.
java -version
Zobaczysz następujące dane wyjściowe.
user@vultr:~$ java -version
java version "1.8.0_144"
Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)
Ustaw JAVA_HOME
i inne wartości domyślne, instalując oracle-java8-set-default
. Biegać:
sudo apt -y install oracle-java8-set-default
Uruchom echo $JAVA_HOME
polecenie, aby sprawdzić, czy zmienna środowiskowa jest ustawiona, czy nie.
user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-oracle
Jeśli nie otrzymałeś danych wyjściowych pokazanych powyżej, być może trzeba się wylogować i zalogować ponownie do powłoki.
Elasticsearch to rozproszona, skalowalna i wysoce dostępna aplikacja do przechowywania dzienników i przeszukiwania ich w czasie rzeczywistym. Przechowuje dane w indeksach, a przeszukiwanie danych jest bardzo szybkie. Zapewnia różne zestawy interfejsów API, takie jak HTTP RESTful API i natywny API Java. Elasticsearch można zainstalować bezpośrednio za pośrednictwem repozytorium Elasticsearch. Dodaj repozytorium APL Elasticsearch:
echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list
Zaimportuj klucz PGP użyty do podpisania paczek. Zapewni to integralność pakietów.
wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
Zaktualizuj metadane repozytorium APT.
sudo apt update
Zainstaluj pakiet Elasticsearch:
sudo apt -y install elasticsearch
Po zainstalowaniu pakietu otwórz domyślny plik konfiguracyjny Elasticsearch.
sudo nano /etc/elasticsearch/elasticsearch.yml
Znajdź następujący wiersz, usuń komentarz i zmień wartość z my-application
na graylog
.
cluster.name: graylog
Możesz uruchomić Elasticsearch i włączyć automatyczne uruchamianie w czasie uruchamiania:
sudo systemctl enable elasticsearch
sudo systemctl start elasticsearch
Elasticsearch działa teraz na porcie 9200. Sprawdź, czy działa poprawnie, uruchamiając:
curl -XGET 'localhost:9200/?pretty'
Powinieneś zobaczyć dane wyjściowe podobne do poniższych.
[user@vultr ~]$ curl -XGET 'localhost:9200/?pretty'
{
"name" : "-kYzFA9",
"cluster_name" : "graylog",
"cluster_uuid" : "T3JQKehzSqmLThlVkEKPKg",
"version" : {
"number" : "5.5.1",
"build_hash" : "19c13d0",
"build_date" : "2017-07-18T20:44:24.823Z",
"build_snapshot" : false,
"lucene_version" : "6.6.0"
},
"tagline" : "You Know, for Search"
}
Jeśli wystąpią błędy, poczekaj kilka sekund i spróbuj ponownie, ponieważ Elasticsearch potrzebuje czasu na zakończenie procesu uruchamiania. Elasticsearch jest teraz zainstalowany i działa poprawnie.
MongoDB to darmowy serwer bazy danych NoSQL typu open source. W przeciwieństwie do tradycyjnej bazy danych, która używa tabel do organizowania swoich danych, MongoDB jest zorientowana na dokumenty i używa dokumentów podobnych do JSON bez schematów. Graylog używa MongoDB do przechowywania konfiguracji i meta informacji. Można go zainstalować bezpośrednio za pośrednictwem repozytorium MongoDB. Zaimportuj klucz GPG użyty do podpisania paczki. Zapewni to autentyczność pakietów.
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 0C49F3730359A14518585931BC711F9BA15703C6
Teraz utwórz plik repozytorium:
echo "deb [ arch=amd64,arm64 ] http://repo.mongodb.org/apt/ubuntu xenial/mongodb-org/3.4 multiverse" | sudo tee /etc/apt/sources.list.d/mongodb-org-3.4.list
Zaktualizuj metadane repozytorium APT.
sudo apt update
Zainstaluj pakiet MongoDB:
sudo apt -y install mongodb-org
Uruchom serwer MongoDB i włącz go, aby uruchamiał się automatycznie.
sudo systemctl start mongod
sudo systemctl enable mongod
Pobierz i najnowsze repozytorium dla serwera Graylog.
wget https://packages.graylog2.org/repo/packages/graylog-2.3-repository_latest.deb
sudo dpkg -i graylog-2.3-repository_latest.deb
sudo apt update
Zainstaluj pakiet Graylog:
sudo apt install graylog-server
Serwer Graylog jest teraz zainstalowany na twoim serwerze. Zanim zaczniesz, musisz skonfigurować kilka rzeczy.
Zainstaluj pwgen
narzędzie do generowania silnych haseł.
sudo apt -y install pwgen
Teraz wygeneruj silne hasło tajne.
pwgen -N 1 -s 96
Wyjdziesz podobny do:
[user@vultr ~]$ pwgen -N 1 -s 96
pJqhNbdEY9FtNBfFUtq20lG2m9daacmsZQr59FhyoA0Wu3XQyVZcu5FedPZ9eCiDfjdiYWfRcEQ7a36bVqxSyTzcMMx5Rz8v
Ponadto wygeneruj 256-bitowy skrót dla hasła admin
użytkownika root :
echo -n StrongPassword | sha256sum
Zastąp StrongPassword
hasło, które chcesz ustawić dla admin
użytkownika. Zobaczysz:
[user@vultr ~]$ echo -n StrongPassword | sha256sum
05a181f00c157f70413d33701778a6ee7d2747ac18b9c0fbb8bd71a62dd7a223 -
Otwórz plik konfiguracyjny Graylog:
sudo nano /etc/graylog/server/server.conf
Znajdź password_secret =
, skopiuj i wklej hasło wygenerowane za pomocą pwgen
polecenia. Znajdź root_password_sha2 =
, skopiuj i wklej przekonwertowany 256-bitowy skrót SHA hasła administratora. Znajdź #root_email =
, odkomentuj i podaj swój adres e-mail. Odkomentuj i ustaw swoją strefę czasową na root_timezone
. Na przykład:
password_secret = pJqhNbdEY9FtNBfFUtq20lG2m9daacmsZQr59FhyoA0Wu3XQyVZcu5FedPZ9eCiDfjdiYWfRcEQ7a36bVqxSyTzcMMx5Rz8v
root_password_sha2 = 05a181f00c157f70413d33701778a6ee7d2747ac18b9c0fbb8bd71a62dd7a223
root_email = [email protected]
root_timezone = Asia/Kolkata
Włącz internetowy interfejs Graylog, usuwając komentarz #web_enable = false
i ustawiając jego wartość na true
. Odkomentuj i zmień następujące wiersze, jak określono.
rest_listen_uri = http://0.0.0.0:9000/api/
rest_transport_uri = http://192.0.2.1:9000/api/
web_enable = true
web_listen_uri = http://0.0.0.0:9000/
Zapisz plik i wyjdź z edytora tekstu.
Uruchom ponownie i włącz usługę Graylog, uruchamiając:
sudo systemctl restart graylog-server
sudo systemctl enable graylog-server
Domyślnie interfejs sieciowy Graylog nasłuchuje localhost
na porcie 9000, a interfejs API nasłuchuje na porcie 9000 z adresem URL /api
. W tym samouczku użyjemy Nginx jako odwrotnego proxy, aby aplikacja mogła uzyskać dostęp przez standardowy port HTTP. Zainstaluj serwer WWW Nginx, uruchamiając:
sudo apt -y install nginx
Otwórz domyślny plik wirtualnego hosta, wpisując.
sudo nano /etc/nginx/sites-available/default
Zastąp istniejącą zawartość następującymi wierszami:
server
{
listen 80 default_server;
listen [::]:80 default_server ipv6only=on;
server_name 192.0.2.1 graylog.example.com;
location / {
proxy_set_header Host $http_host;
proxy_set_header X-Forwarded-Host $host;
proxy_set_header X-Forwarded-Server $host;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Graylog-Server-URL http://$server_name/api;
proxy_pass http://127.0.0.1:9000;
}
}
Uruchom Nginx i włącz go, aby uruchamiał się automatycznie podczas uruchamiania:
sudo systemctl restart nginx
sudo systemctl enable nginx
Instalacja i podstawowa konfiguracja serwera Graylog została zakończona. Możesz teraz uzyskać dostęp do serwera Graylog na http://192.0.2.1
lub http://graylog.example.com
jeśli masz skonfigurowany DNS. Zaloguj się przy użyciu nazwy użytkownika admin
i zwykłego tekstu hasła ustawionego root_password_sha2
wcześniej.
Gratulacje - na serwerze Ubuntu 16.04 jest zainstalowany w pełni działający serwer Graylog.
Przeczytaj blog, aby w najprostszy sposób poznać różne warstwy w architekturze Big Data i ich funkcjonalności.
Chcesz zobaczyć rewolucyjne wynalazki Google i jak te wynalazki zmieniły życie każdego człowieka dzisiaj? Następnie czytaj na blogu, aby zobaczyć wynalazki Google.
13 komercyjnych narzędzi do ekstrakcji danych z Big Data
Whatsapp w końcu uruchomił aplikację Desktop dla użytkowników komputerów Mac i Windows. Teraz możesz łatwo uzyskać dostęp do Whatsapp z systemu Windows lub Mac. Dostępne dla Windows 8+ i Mac OS 10.9+
Energia jądrowa jest zawsze pogardzana, nigdy jej nie szanujemy z powodu przeszłych wydarzeń, ale nie zawsze jest zła. Przeczytaj post, aby dowiedzieć się więcej na ten temat.
Koncepcja autonomicznych samochodów, które wyjadą na drogi za pomocą sztucznej inteligencji, to marzenie, które mamy już od jakiegoś czasu. Ale pomimo kilku obietnic nigdzie ich nie widać. Przeczytaj ten blog, aby dowiedzieć się więcej…
Wzrasta liczba ataków ransomware, ale czy sztuczna inteligencja może pomóc w radzeniu sobie z najnowszym wirusem komputerowym? Czy AI jest odpowiedzią? Przeczytaj tutaj, wiedz, że sztuczna inteligencja jest zmorą lub zgubą
Sztuczna inteligencja nie jest dla ludzi nową nazwą. Ponieważ sztuczna inteligencja jest włączona do każdego strumienia, jednym z nich jest opracowywanie narzędzi zwiększających ludzką wydajność i dokładność. Skorzystaj z tych niesamowitych narzędzi uczenia maszynowego i uprość swoje codzienne zadania.
Zawsze potrzebujemy Big Data Analytics do efektywnego zarządzania danymi. W tym artykule omówiliśmy kilka technik analizy Big Data. Sprawdź ten artykuł.
Czy jesteś również ofiarą ataków DDOS i nie masz pewności co do metod zapobiegania? Przeczytaj ten artykuł, aby rozwiązać swoje pytania.