Jak zainstalować i skonfigurować elastyczny stos (Elasticsearch, Logstash i Kibana) na Ubuntu 17.04

• Wymagania wstępne
• Krok 1: Wykonaj aktualizację systemu
• Krok 2: Zainstaluj Javę
• Krok 3: Zainstaluj Elasticsearch
• Krok 4: Zainstaluj Kibana
• Zainstaluj Logstash
• Wniosek

W miarę przechodzenia infrastruktury IT na chmurę i upowszechniania się Internetu rzeczy, organizacje i specjaliści IT coraz częściej korzystają z usług chmury publicznej. W miarę wzrostu liczby serwerów i usług na nich rosnących rośnie także liczba logów generowanych przez system. Analiza tych dzienników jest bardzo ważna w infrastrukturze z kilku powodów. Obejmuje to przestrzeganie zasad i przepisów bezpieczeństwa, rozwiązywanie problemów z systemem, reagowanie na incydenty związane z bezpieczeństwem lub zrozumienie zachowania użytkownika.

Trzy bardzo popularne aplikacje open source o nazwie Elasticsearch, Logstash i Kibana łączą się, tworząc Elastic Stack lub ELK Stack. Elastic Stack to bardzo potężne narzędzie do wyszukiwania, analizy i wizualizacji dzienników i danych. Elasticsearch to rozproszona, skalowalna i wysoce dostępna aplikacja do przechowywania dzienników i przeszukiwania ich. Logstash zbiera logi wysłane przez Beats, ulepsza je, a następnie wysyła do Elasticsearch. Kibana to internetowy interfejs użytkownika służący do wizualizacji dzienników i przydatnych informacji.

W tym samouczku zainstalujemy najnowszą wersję Elasticsearch, Logstash i Kibana z X-Pack na Ubuntu 17.04.

Wymagania wstępne

Aby wykonać ten samouczek, potrzebujesz 64-bitowej instancji serwera Vultr Ubuntu 17.04 z co najmniej 4 GB pamięci RAM . W środowisku produkcyjnym wymagania sprzętowe rosną wraz z liczbą użytkowników i dzienników.

Ten samouczek został napisany z sudoperspektywy użytkownika. Aby skonfigurować użytkownika sudo, postępuj zgodnie z instrukcją korzystania z Sudo na Debianie .

Potrzebna będzie również domena skierowana w stronę serwera, aby uzyskać certyfikaty z Let's Encrypt CA.

Krok 1: Wykonaj aktualizację systemu

Przed zainstalowaniem jakichkolwiek pakietów na instancji serwera Ubuntu zaleca się aktualizację systemu. Zaloguj się przy użyciu użytkownika sudo i uruchom następujące polecenia, aby zaktualizować system.

sudo apt update
sudo apt -y upgrade

Po zakończeniu aktualizacji systemu przejdź do następnego kroku.

Krok 2: Zainstaluj Javę

Elasticsearch wymaga Java 8 do działania. Obsługuje zarówno Oracle Java, jak i OpenJDK. Ta sekcja samouczka pokazuje instalację zarówno Oracle Java, jak i OpenJDK.

Upewnij się, że zainstalowano jedną z następujących wersji Java. Instalacja Oracle Java jest zalecana dla Elasticsearch. Możesz jednak również zainstalować OpenJDK zgodnie z własnymi preferencjami.

Instalowanie Oracle Java

Aby zainstalować Oracle Java w systemie Ubuntu, musisz dodać Oracle Java PPA, uruchamiając:

sudo add-apt-repository ppa:webupd8team/java

Teraz zaktualizuj informacje o repozytorium, uruchamiając:

sudo apt update

Teraz możesz łatwo zainstalować najnowszą stabilną wersję Java 8, uruchamiając:

sudo apt -y install oracle-java8-installer

Po wyświetleniu monitu zaakceptuj umowę licencyjną. Po zakończeniu instalacji możesz zweryfikować wersję Java, uruchamiając:

java -version

Powinieneś zobaczyć dane wyjściowe podobne do:

user@vultr:~$ java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

Możesz także ustawić JAVA_HOMEinne ustawienia domyślne, instalując oracle-java8-set-default. Biegać:

sudo apt -y install oracle-java8-set-default

Możesz teraz sprawdzić, czy JAVA_HOMEzmienna jest ustawiona, uruchamiając:

echo "$JAVA_HOME"

Dane wyjściowe powinny przypominać:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-oracle

Jeśli nie otrzymałeś danych wyjściowych pokazanych powyżej, być może trzeba się wylogować i zalogować ponownie do powłoki. Oracle Java jest teraz zainstalowany na twoim serwerze. Możesz teraz przejść do kroku 3 samouczka, pomijając instalację OpenJDK.

Instalowanie OpenJDK

Instalacja OpenJDK jest dość prosta. Po prostu uruchom następujące polecenie, aby zainstalować OpenJDK.

sudo apt -y install default-jdk

Po zakończeniu instalacji możesz zweryfikować wersję Java, uruchamiając:

java -version

Powinieneś zobaczyć dane wyjściowe podobne do:

user@vultr:~$ java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-8u131-b11-2ubuntu1.17.04.2-b11)
OpenJDK 64-Bit Server VM (build 25.131-b11, mixed mode)

Aby ustawić JAVA_HOMEzmienną, uruchom następujące polecenie:

sudo echo "JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64" >> /etc/environment

Załaduj ponownie plik środowiska, uruchamiając:

sudo source /etc/environment

Możesz teraz sprawdzić, czy JAVA_HOMEzmienna jest ustawiona, uruchamiając:

echo "$JAVA_HOME"

Dane wyjściowe powinny przypominać:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-openjdk-amd64/

Krok 3: Zainstaluj Elasticsearch

Elasticsearch to superszybka, rozproszona, wysoce dostępna wyszukiwarka RESTful. Dodaj repozytorium APL Elasticsearch, uruchamiając:

echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list

Powyższe polecenie tworzy nowy plik repozytorium dla Elasticsearch i dodaje do niego pozycję źródłową. Teraz zaimportuj klucz PGP użyty do podpisania paczek.

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

Zaktualizuj metadane repozytorium APT, uruchamiając:

sudo apt update

Zainstaluj Elasticsearch, uruchamiając następujące polecenie.

sudo apt -y install elasticsearch

Powyższe polecenie zainstaluje najnowszą wersję Elasticsearch w twoim systemie. Po zainstalowaniu Elasticsearch ponownie załaduj demona usługi Systemd, uruchamiając:

sudo systemctl daemon-reload

Uruchom Elasticsearch i włącz automatyczne uruchamianie podczas uruchamiania.

sudo systemctl enable elasticsearch
sudo systemctl start elasticsearch

Aby zatrzymać Elasticsearch, możesz uruchomić:

sudo systemctl stop elasticsearch

Aby sprawdzić status usługi, możesz uruchomić:

sudo systemctl status elasticsearch

Elasticsearch działa teraz na porcie 9200. Możesz sprawdzić, czy działa i generuje wyniki, uruchamiając następujące polecenie.

curl -XGET 'localhost:9200/?pretty'

Zostanie wydrukowany komunikat podobny do poniższego.

user@vultr:~$ curl -XGET 'localhost:9200/?pretty'
{
  "name" : "wDaVa1K",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "71drjJ8PTyCcbai33Esy3Q",
  "version" : {
    "number" : "5.5.1",
    "build_hash" : "19c13d0",
    "build_date" : "2017-07-18T20:44:24.823Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.0"
  },
  "tagline" : "You Know, for Search"
}

Zainstaluj X-Pack dla Elasticsearch

X-Pack to wtyczka elastycznego stosu, która zapewnia wiele dodatkowych funkcji, takich jak bezpieczeństwo, alarmowanie, monitorowanie, raportowanie i funkcje wykresów. X-Pack zapewnia również uwierzytelnianie użytkowników dla Elasticsearch i Kibana, a także monitorowanie różnych węzłów w Kibana. Ważne jest, aby X-Pack i Elasticsearch były instalowane z tą samą wersją.

Możesz zainstalować X-Pack dla Elasticsearch bezpośrednio, uruchamiając:

cd /usr/share/elasticsearch
sudo bin/elasticsearch-plugin install x-pack

Aby kontynuować instalację, wprowadź ypo wyświetleniu monitu. To polecenie zainstaluje wtyczkę X-Pack w twoim systemie. Po zainstalowaniu X-Pack umożliwia uwierzytelnianie dla Elasticsearch. Domyślna nazwa użytkownika to elastici hasło to changeme. Możesz sprawdzić, czy uwierzytelnianie jest włączone, uruchamiając to samo polecenie, które uruchomiłeś, aby sprawdzić, czy Elasticsearch działa.

curl -XGET 'localhost:9200/?pretty'

Teraz wynik powie, że uwierzytelnienie nie powiodło się.

user@vultr:~# curl -XGET 'localhost:9200/?pretty'
{
  "error" : {
    "root_cause" : [
      {
        "type" : "security_exception",
        "reason" : "missing authentication token for REST request [/?pretty]",
        "header" : {
          "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
        }
      }
    ],
    "type" : "security_exception",
    "reason" : "missing authentication token for REST request [/?pretty]",
    "header" : {
      "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
    }
  },
  "status" : 401
}

Zmień domyślne hasło changeme, uruchamiając następujące polecenie.

curl -XPUT -u elastic:changeme 'localhost:9200/_xpack/security/user/elastic/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewElasticPassword"
}
'

Zastąp NewPasswordaktualnym hasłem, którego chcesz użyć. Możesz sprawdzić, czy nowe hasło jest ustawione i czy Elasticsearch działa, uruchamiając następujące polecenie.

curl -XGET -u elastic:NewElasticPassword 'localhost:9200/?pretty'    

Zobaczysz wynik pokazujący pomyślne wykonanie zapytania.

Następnie edytuj plik konfiguracyjny Elasticsearch, uruchamiając:

sudo nano /etc/elasticsearch/elasticsearch.yml

Znajdź następujące wiersze, odkomentuj wiersze i zmień je zgodnie z podanymi instrukcjami.

#cluster.name: my-application    #Provide the name of your cluster
#node.name: node-1               #Provide the name of your node
#network.host: 192.168.0.1

Dla network.hostpodać prywatny adres IP przypisany do systemu. Zrestartuj instancję Elasticsearch, uruchamiając:

sudo systemctl restart elasticsearch

Teraz zamiast tego localhostbędziesz musiał użyć adresu IP, aby uruchomić zapytanie przy użyciu curl.

curl -XGET -u elastic:NewElasticPassword '192.168.0.1:9200/?pretty'

Zamień 192.168.0.1na rzeczywisty prywatny adres IP serwera. Po zainstalowaniu Elasticsearch kontynuuj instalację Kibany.

Krok 4: Zainstaluj Kibana

Kibana służy do wizualizacji dzienników i przydatnych informacji za pomocą interfejsu internetowego. Może być również używany do zarządzania Elasticsearch. Zaleca się zainstalowanie tej samej wersji Kibana co Elasticsearch.

Ponieważ dodaliśmy już repozytorium Elasticsearch i klucz PGP, możemy zainstalować Kibana bezpośrednio, uruchamiając:

sudo apt -y install kibana

Poprzednie polecenie zainstaluje najnowszą wersję Kibana w twoim systemie. Po zainstalowaniu Kibana załaduj ponownie demona usługi Systemd, uruchamiając:

sudo systemctl daemon-reload

Możesz uruchomić Kibana i włączyć automatyczne uruchamianie się podczas uruchamiania, uruchamiając:

sudo systemctl enable kibana
sudo systemctl start kibana

Zainstaluj X-Pack dla Kibana

Możesz zainstalować X-Pack dla Kibana bezpośrednio, uruchamiając:

cd /usr/share/kibana
sudo bin/kibana-plugin install x-pack

X-Pack dla Kibana ma domyślnie włączone wykresy, uczenie maszynowe i monitorowanie. X-Pack umożliwia także uwierzytelnianie dla Kibana. Domyślna nazwa użytkownika to kibanai hasło to changeme. Ważne jest, aby zmienić domyślne hasło użytkownika Kibana. Uruchom następujące polecenie, aby zmienić hasło.

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/kibana/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewKibanaPassword"
}
'

Zamień 192.168.0.1na rzeczywisty prywatny adres IP serwera i NewKibanaPasswordnowe hasło dla użytkownika Kibana.

Edytuj plik konfiguracyjny Kibana, uruchamiając:

sudo nano /etc/kibana/kibana.yml

Znajdź następujące wiersze i zmień wartości zgodnie z podanymi instrukcjami.

#elasticsearch.url: "http://localhost:9200"
#elasticsearch.username: "user"
#elasticsearch.password: "password"

Odkomentuj powyższe wiersze i elasticsearch.urlpodaj adres URL instancji Elasticsearch. Adres IP musi być tym samym adresem IP, który został użyty elasticsearch.yml. Ponadto ustaw nazwę użytkownika od userdo, elastica także podaj hasło użytkownika elastycznego, który ustawiłeś wcześniej.

Zrestartuj instancję Kibana, uruchamiając:

sudo systemctl restart kibana

Zainstaluj Nginx jako zwrotny serwer proxy dla Kibana

Ponieważ korzystamy z Kibana na localhostporcie 5601, zaleca się ustawienie odwrotnego proxy z Apache lub Nginx, aby uzyskać dostęp do Kibana spoza sieci lokalnej. W tym samouczku skonfigurujemy Nginx jako zwrotny serwer proxy dla Kibana. Zabezpieczymy również instancję Nginx darmowym certyfikatem SSL Let's Encrypt.

Zainstaluj Nginx, uruchamiając:

sudo apt -y install nginx

Uruchom i włącz Nginx, aby automatycznie uruchamiał się podczas rozruchu.

sudo systemctl start nginx
sudo systemctl enable nginx

Teraz, gdy serwer WWW Nginx jest zainstalowany i uruchomiony, możemy przystąpić do instalacji Certbota, który jest oficjalnym i automatycznym klientem certyfikatu Let's Encrypt. Dodaj Certbot PPA do swojego systemu, uruchamiając:

sudo add-apt-repository ppa:certbot/certbot

Zaktualizuj meta informacje repozytorium.

sudo apt update

Teraz możesz łatwo zainstalować najnowszą wersję Certbot, uruchamiając:

sudo apt -y install python-certbot-nginx 

Poprzednie polecenie rozwiąże i zainstaluje wymagane zależności wraz z pakietem Certbot.

Teraz, gdy mamy zainstalowany Certbot, wygeneruj certyfikaty dla swojej domeny, uruchamiając:

sudo certbot certonly --webroot -w /var/www/html/ -d kibana.example.com

Nie zapomnij zmienić kibana.example.comswojej rzeczywistej nazwy domeny. Poprzednie polecenie użyje klienta Certbot. Ten certonlyparametr informuje klienta Certbot, aby wygenerował tylko certyfikaty. Użycie tej opcji gwarantuje, że certyfikaty nie zostaną automatycznie zainstalowane, a konfiguracja Nginx nie ulegnie zmianie. Weryfikacja zostanie przeprowadzona poprzez umieszczenie plików wyzwania w określonym webrootkatalogu.

Certbot poprosi o podanie adresu e-mail w celu wysłania powiadomienia o odnowieniu. Musisz także zaakceptować umowę licencyjną.

Aby uzyskać certyfikaty z Let's Encrypt CA, musisz upewnić się, że domena, dla której chcesz wygenerować certyfikaty, jest skierowana w stronę serwera. Jeśli nie, dokonaj niezbędnych zmian w rekordach DNS swojej domeny i zaczekaj na propagację DNS przed ponownym żądaniem certyfikatu. Certbot sprawdza urząd domeny przed podaniem certyfikatów.

Wygenerowane certyfikaty prawdopodobnie będą przechowywane w /etc/letsencrypt/live/kibana.example.com/katalogu. Certyfikat SSL będzie przechowywany jako, fullchain.pema klucz prywatny będzie przechowywany jako privkey.pem.

Certyfikaty Let's Encrypt wygasną za 90 dni, dlatego zaleca się ustawienie automatycznego odnawiania certyfikatów za pomocą cronjobs. Cron to usługa systemowa służąca do wykonywania zadań okresowych.

Otwórz plik zadania cron, uruchamiając:

sudo crontab -e

Dodaj następujący wiersz na końcu pliku.

30 5 * * 1 /usr/bin/certbot renew -a nginx --quiet

Powyższe zadanie crona będzie uruchamiane w każdy poniedziałek o 5:30. Jeśli termin ważności certyfikatu upływa, zostanie on automatycznie odnowiony.

Edytuj domyślny plik wirtualnego hosta dla Nginx, uruchamiając następujące polecenie.

sudo nano /etc/nginx/sites-available/default

Zastąp istniejącą treść następującą treścią.

server {
    listen 80 default_server;
    server_name kibana.example.com
    return 301 https://$server_name$request_uri;
}

server {
    listen 443 default_server ssl http2;

    server_name kibana.example.com;

    ssl_certificate           /etc/letsencrypt/live/kibana.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/kibana.example.com/privkey.pem;

    ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
    ssl_prefer_server_ciphers on;
    ssl_ciphers "EECDH+AESGCM:EDH+AESGCM:AES256+EECDH:AES256+EDH";
    ssl_ecdh_curve secp384r1;
    ssl_session_cache shared:SSL:10m;
    ssl_session_tickets off;
    ssl_stapling on;
    ssl_stapling_verify on;
    resolver 8.8.8.8 8.8.4.4 valid=300s;
    resolver_timeout 5s;
    add_header Strict-Transport-Security "max-age=63072000; includeSubdomains";
    add_header X-Frame-Options DENY;
    add_header X-Content-Type-Options nosniff;

    location / {
        proxy_pass http://localhost:5601;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection 'upgrade';
        proxy_set_header Host $host;
        proxy_cache_bypass $http_upgrade;
    }
}

Zaktualizuj kibana.example.comswoją rzeczywistą nazwę domeny, sprawdź również ścieżkę do certyfikatu SSL i klucza prywatnego.

Uruchom ponownie serwer WWW Nginx, uruchamiając:

sudo systemctl restart nginx

Jeśli wszystko zostało poprawnie skonfigurowane, zobaczysz ekran logowania Kibana. Zaloguj się przy użyciu nazwy użytkownika kibanai hasła, które ustawiłeś. Powinieneś być w stanie zalogować się i zobaczyć pulpit nawigacyjny Kibana. Opuść pulpit, na razie skonfigurujemy go później.

Zainstaluj Logstash

Logstash można również zainstalować za pośrednictwem oficjalnego repozytorium Elasticsearch, które dodaliśmy wcześniej. Zainstaluj Logstash, uruchamiając:

sudo apt -y install logstash

Powyższe polecenie zainstaluje najnowszą wersję Logstash w twoim systemie. Po zainstalowaniu Logstash załaduj ponownie demona usługi Systemd, uruchamiając:

sudo systemctl daemon-reload

Uruchom Logstash i włącz automatyczne uruchamianie podczas uruchamiania.

sudo systemctl enable logstash
sudo systemctl start logstash

Zainstaluj X-Pack dla Logstash

Możesz zainstalować X-Pack dla Logstash bezpośrednio, uruchamiając:

cd /usr/share/logstash
sudo bin/logstash-plugin install x-pack

X-Pack dla Logstash jest dostarczany z domyślnym użytkownikiem logstash_system. Możesz zresetować hasło, uruchamiając:

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/logstash_system/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewLogstashPassword"
}
'

Zamień 192.168.0.1na rzeczywisty prywatny adres IP serwera i NewLogstashPasswordnowe hasło dla użytkownika Logstash.

Teraz uruchom ponownie usługę Logstash, uruchamiając:

sudo systemctl restart logstash

Edytuj plik konfiguracyjny Logstash, uruchamiając:

sudo nano /etc/logstash/logstash.yml

Dodaj następujące wiersze na końcu pliku, aby umożliwić monitorowanie wystąpienia Logstash.

xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.url: http://192.168.0.1:9200
xpack.monitoring.elasticsearch.username: logstash_system
xpack.monitoring.elasticsearch.password: NewLogstashPassword

Zastąp adres URL Elasticsearch i hasło Logstash zgodnie z konfiguracją.

Możesz teraz skonfigurować Logstash do odbierania danych przy użyciu różnych Beatów. Dostępnych jest kilka rodzajów bitów: Packetbeat, Metricbeat, Filebeat, Winlogbeat i Heartbeat. Musisz zainstalować każdy Beat osobno.

Wniosek

W tym samouczku zainstalowaliśmy Elastic Stack z X-Pack na Ubuntu 17.04. Podstawowy stos ELK jest teraz zainstalowany na twoim serwerze.