Hoe Elastic Stack (Elasticsearch, Logstash en Kibana) op Ubuntu 17.04 te installeren en configureren

• Vereisten
• Stap 1: Voer een systeemupdate uit
• Stap 2: installeer Java
• Stap 3: Installeer Elasticsearch
• Stap 4: installeer Kibana
• Installeer Logstash
• Gevolgtrekking

Nu de IT-infrastructuur naar de cloud verhuist en Internet of Things populair wordt, maken organisaties en IT-professionals meer gebruik van openbare clouddiensten. Naarmate de servers en services die erop worden uitgevoerd toenemen, neemt ook het aantal door het systeem gegenereerde logboeken toe. Analyse van deze logs is om verschillende redenen erg belangrijk in een infrastructuur. Dit omvat het naleven van beveiligingsbeleid en -regelgeving, het oplossen van systeemproblemen, het reageren op een beveiligingsgerelateerd incident of het begrijpen van gebruikersgedrag.

Drie zeer populaire open source-applicaties genaamd Elasticsearch, Logstash en Kibana combineren samen om Elastic Stack of ELK Stack te creëren. Elastic Stack is een zeer krachtig hulpmiddel voor het zoeken, analyseren en visualiseren van logs en gegevens. Elasticsearch is een gedistribueerde, realtime, schaalbare en zeer beschikbare applicatie om logboeken op te slaan en er doorheen te zoeken. Logstash verzamelt de door Beats verzonden logboeken, verbetert deze en verzendt deze vervolgens naar Elasticsearch. Kibana is de web-UI die wordt gebruikt om de logboeken en bruikbare inzichten te visualiseren.

In deze tutorial installeren we de nieuwste versie van Elasticsearch, Logstash en Kibana met X-Pack op Ubuntu 17.04.

Vereisten

Om deze tutorial te volgen, heb je een Vultr 64-bit Ubuntu 17.04- serverinstantie nodig met minimaal 4 GB RAM . Voor een productieomgeving nemen de hardwarevereisten toe met het aantal gebruikers en logboeken.

Deze tutorial is geschreven vanuit een sudogebruikersperspectief. Om een ​​sudo-gebruiker in te stellen, volgt u de handleiding Sudo gebruiken op Debian .

Je hebt ook een domein nodig dat naar je server is gericht om certificaten van Let's Encrypt CA te verkrijgen.

Stap 1: Voer een systeemupdate uit

Voordat u pakketten op de Ubuntu-serverinstantie installeert, wordt aanbevolen om het systeem bij te werken. Log in met de sudo-gebruiker en voer de volgende opdrachten uit om het systeem bij te werken.

sudo apt update
sudo apt -y upgrade

Als het systeem klaar is met upgraden, gaat u verder met de volgende stap.

Stap 2: installeer Java

Elasticsearch vereist dat Java 8 werkt. Het ondersteunt zowel Oracle Java als OpenJDK. Deze sectie van de tutorial demonstreert de installatie van zowel Oracle Java als OpenJDK.

Zorg ervoor dat u een van de volgende Java-versies installeert. Installatie van Oracle Java wordt aanbevolen voor Elasticsearch. U kunt er echter ook voor kiezen om OpenJDK te installeren volgens uw voorkeur.

Oracle Java installeren

Om Oracle Java op uw Ubuntu-systeem te installeren, moet u de Oracle Java PPA toevoegen door te draaien:

sudo add-apt-repository ppa:webupd8team/java

Werk nu de repository-informatie bij door te draaien:

sudo apt update

Nu kunt u eenvoudig de nieuwste stabiele versie van Java 8 installeren door te draaien:

sudo apt -y install oracle-java8-installer

Accepteer de licentieovereenkomst wanneer daarom wordt gevraagd. Zodra de installatie is voltooid, kunt u de Java-versie verifiëren door het volgende uit te voeren:

java -version

U zou uitvoer moeten zien die lijkt op:

user@vultr:~$ java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

U kunt ook de JAVA_HOMEen andere standaardwaarden instellen door te installeren oracle-java8-set-default. Rennen:

sudo apt -y install oracle-java8-set-default

U kunt nu controleren of de JAVA_HOMEvariabele is ingesteld door te draaien:

echo "$JAVA_HOME"

De uitvoer moet lijken op:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-oracle

Als u de bovenstaande uitvoer niet krijgt, moet u mogelijk uitloggen en opnieuw inloggen op de shell. Oracle Java is nu op uw server geïnstalleerd. U kunt nu doorgaan naar stap 3 van de zelfstudie waarbij de installatie van OpenJDK wordt overgeslagen.

OpenJDK installeren

Installatie van OpenJDK is vrij eenvoudig. Voer gewoon de volgende opdracht uit om OpenJDK te installeren.

sudo apt -y install default-jdk

Zodra de installatie is voltooid, kunt u de Java-versie verifiëren door het volgende uit te voeren:

java -version

U zou uitvoer moeten zien die lijkt op:

user@vultr:~$ java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-8u131-b11-2ubuntu1.17.04.2-b11)
OpenJDK 64-Bit Server VM (build 25.131-b11, mixed mode)

JAVA_HOMEVoer de volgende opdracht uit om de variabele in te stellen :

sudo echo "JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64" >> /etc/environment

Laad het omgevingsbestand opnieuw door het volgende uit te voeren:

sudo source /etc/environment

U kunt nu controleren of de JAVA_HOMEvariabele is ingesteld door te draaien:

echo "$JAVA_HOME"

De uitvoer moet lijken op:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-openjdk-amd64/

Stap 3: Installeer Elasticsearch

Elasticsearch is een supersnelle, gedistribueerde, zeer beschikbare, RESTful zoekmachine. Voeg de Elasticsearch APT-repository toe door te draaien:

echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list

De bovenstaande opdracht maakt een nieuw repository-bestand voor Elasticsearch en voegt het bronitem eraan toe. Importeer nu de PGP-sleutel die is gebruikt om de pakketten te ondertekenen.

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

Werk de metagegevens van de APT-repository bij door te draaien:

sudo apt update

Installeer Elasticsearch door de volgende opdracht uit te voeren.

sudo apt -y install elasticsearch

De bovenstaande opdracht installeert de nieuwste versie van Elasticsearch op uw systeem. Nadat Elasticsearch is geïnstalleerd, laadt u de Systemd-service-daemon opnieuw door het volgende uit te voeren:

sudo systemctl daemon-reload

Start Elasticsearch en schakel het automatisch in tijdens het opstarten.

sudo systemctl enable elasticsearch
sudo systemctl start elasticsearch

Om Elasticsearch te stoppen, kun je het volgende doen:

sudo systemctl stop elasticsearch

Om de status van de service te controleren, kunt u het volgende doen:

sudo systemctl status elasticsearch

Elasticsearch draait nu op poort 9200. U kunt controleren of het werkt en resultaten oplevert door de volgende opdracht uit te voeren.

curl -XGET 'localhost:9200/?pretty'

Er wordt een bericht als het volgende afgedrukt.

user@vultr:~$ curl -XGET 'localhost:9200/?pretty'
{
  "name" : "wDaVa1K",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "71drjJ8PTyCcbai33Esy3Q",
  "version" : {
    "number" : "5.5.1",
    "build_hash" : "19c13d0",
    "build_date" : "2017-07-18T20:44:24.823Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.0"
  },
  "tagline" : "You Know, for Search"
}

Installeer X-Pack voor Elasticsearch

X-Pack is een Elastic Stack-plug-in die veel add-on-functies biedt, zoals beveiliging, waarschuwingen, monitoring, rapportage en grafische mogelijkheden. X-Pack biedt ook gebruikersauthenticatie voor Elasticsearch en Kibana, evenals monitoring van verschillende knooppunten in Kibana. Het is belangrijk dat X-Pack en Elasticsearch met dezelfde versie worden geïnstalleerd.

U kunt X-Pack for Elasticsearch rechtstreeks installeren door het volgende uit te voeren:

cd /usr/share/elasticsearch
sudo bin/elasticsearch-plugin install x-pack

Voer de installatie in yals daarom wordt gevraagd. Met deze opdracht wordt de X-Pack-plug-in op uw systeem geïnstalleerd. Indien geïnstalleerd, maakt X-Pack authenticatie voor Elasticsearch mogelijk. De standaard gebruikersnaam is elasticen het wachtwoord is changeme. U kunt controleren of verificatie is ingeschakeld door dezelfde opdracht uit te voeren die u hebt uitgevoerd om te controleren of Elasticsearch werkt.

curl -XGET 'localhost:9200/?pretty'

Nu zal de uitvoer zeggen dat authenticatie is mislukt.

user@vultr:~# curl -XGET 'localhost:9200/?pretty'
{
  "error" : {
    "root_cause" : [
      {
        "type" : "security_exception",
        "reason" : "missing authentication token for REST request [/?pretty]",
        "header" : {
          "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
        }
      }
    ],
    "type" : "security_exception",
    "reason" : "missing authentication token for REST request [/?pretty]",
    "header" : {
      "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
    }
  },
  "status" : 401
}

Wijzig het standaardwachtwoord changemedoor de volgende opdracht uit te voeren.

curl -XPUT -u elastic:changeme 'localhost:9200/_xpack/security/user/elastic/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewElasticPassword"
}
'

Vervang NewPassworddoor het daadwerkelijke wachtwoord dat u wilt gebruiken. U kunt controleren of het nieuwe wachtwoord is ingesteld en Elasticsearch werkt door de volgende opdracht uit te voeren.

curl -XGET -u elastic:NewElasticPassword 'localhost:9200/?pretty'    

U zult uitvoer zien die de succesvolle uitvoering van de query toont.

Bewerk verder het Elasticsearch-configuratiebestand door het uitvoeren van:

sudo nano /etc/elasticsearch/elasticsearch.yml

Zoek de volgende regels, verwijder de opmerkingen en wijzig ze volgens de instructies.

#cluster.name: my-application    #Provide the name of your cluster
#node.name: node-1               #Provide the name of your node
#network.host: 192.168.0.1

Voor network.host, zorgen voor de private IP-adres toegewezen aan het systeem. Start de Elasticsearch-instantie opnieuw door het volgende uit te voeren:

sudo systemctl restart elasticsearch

Nu, in plaats van localhost, moet u het IP-adres gebruiken om de query uit te voeren curl.

curl -XGET -u elastic:NewElasticPassword '192.168.0.1:9200/?pretty'

Vervang 192.168.0.1door het werkelijke privé IP-adres van de server. Nu we Elasticsearch hebben geïnstalleerd, gaat u verder met het installeren van Kibana.

Stap 4: installeer Kibana

Kibana wordt gebruikt om de logs en bruikbare inzichten te visualiseren via een webinterface. Het kan ook worden gebruikt om Elasticsearch te beheren. Het wordt aanbevolen om dezelfde versie van Kibana te installeren als Elasticsearch.

Omdat we de Elasticsearch-repository en PGP-sleutel al hebben toegevoegd, kunnen we Kibana rechtstreeks installeren door te draaien:

sudo apt -y install kibana

De vorige opdracht installeert de nieuwste versie van Kibana op uw systeem. Zodra Kibana is geïnstalleerd, laadt u de Systemd-service-daemon opnieuw door het volgende uit te voeren:

sudo systemctl daemon-reload

U kunt Kibana starten en ervoor zorgen dat het automatisch start tijdens het opstarten door te draaien:

sudo systemctl enable kibana
sudo systemctl start kibana

Installeer X-Pack voor Kibana

U kunt X-Pack voor Kibana rechtstreeks installeren door het volgende uit te voeren:

cd /usr/share/kibana
sudo bin/kibana-plugin install x-pack

X-Pack voor Kibana heeft standaard Graph, Machine Learning en Monitoring ingeschakeld. X-Pack maakt ook authenticatie voor Kibana mogelijk. De standaard gebruikersnaam is kibanaen het wachtwoord is changeme. Het is belangrijk om het standaardwachtwoord van de Kibana-gebruiker te wijzigen. Voer de volgende opdracht uit om het wachtwoord te wijzigen.

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/kibana/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewKibanaPassword"
}
'

Vervang 192.168.0.1door het werkelijke privé IP-adres van de server en NewKibanaPassworddoor het nieuwe wachtwoord voor de Kibana-gebruiker.

Bewerk het Kibana-configuratiebestand door het uitvoeren van:

sudo nano /etc/kibana/kibana.yml

Zoek de volgende regels en wijzig de waarden volgens de meegeleverde instructies.

#elasticsearch.url: "http://localhost:9200"
#elasticsearch.username: "user"
#elasticsearch.password: "password"

Verwijder de elasticsearch.urlopmerkingen hierboven en geef de URL op voor Elasticsearch-instantie. Het IP-adres moet hetzelfde IP-adres zijn dat werd gebruikt in elasticsearch.yml. Verder stelt u de gebruikersnaam van usertot elasticen ook het wachtwoord van de elastische gebruiker die u eerder hebt ingesteld.

Start de Kibana-instantie opnieuw door het volgende uit te voeren:

sudo systemctl restart kibana

Installeer Nginx als reverse proxy voor Kibana

Aangezien we Kibana localhostin de haven uitvoeren 5601, is het raadzaam om een ​​reverse proxy in te stellen met Apache of Nginx om toegang te krijgen tot Kibana van buiten het lokale netwerk. In deze tutorial zullen we Nginx instellen als een reverse proxy voor Kibana. We zullen de Nginx-instantie ook beveiligen met een Let's Encrypt gratis SSL-certificaat.

Installeer Nginx door te draaien:

sudo apt -y install nginx

Start en schakel Nginx in om automatisch te starten tijdens het opstarten.

sudo systemctl start nginx
sudo systemctl enable nginx

Nu de Nginx-webserver is geïnstalleerd en actief is, kunnen we doorgaan met het installeren van Certbot, de officiële en automatische Let's Encrypt-certificaatclient. Voeg Certbot PPA toe aan uw systeem door het uitvoeren van:

sudo add-apt-repository ppa:certbot/certbot

Werk de metagegevens van de repository bij.

sudo apt update

Nu kunt u eenvoudig de nieuwste versie van Certbot installeren door het volgende uit te voeren:

sudo apt -y install python-certbot-nginx 

Met de vorige opdracht worden de vereiste afhankelijkheden samen met het Certbot-pakket opgelost en geïnstalleerd.

Nu Certbot is geïnstalleerd, genereert u de certificaten voor uw domein door het volgende uit te voeren:

sudo certbot certonly --webroot -w /var/www/html/ -d kibana.example.com

Vergeet niet te veranderen kibana.example.commet uw daadwerkelijke domeinnaam. De vorige opdracht gebruikt de Certbot-client. De certonlyparameter vertelt de Certbot-client om alleen de certificaten te genereren. Het gebruik van deze optie zorgt ervoor dat certificaten niet automatisch worden geïnstalleerd en dat de Nginx-configuratie niet is gewijzigd. Verificatie vindt plaats door de challenge-bestanden in de opgegeven webrootdirectory te plaatsen.

Certbot zal u vragen uw e-mailadres op te geven om de verlengingskennisgeving te verzenden. U moet ook de licentieovereenkomst accepteren.

Om certificaten van Let's Encrypt CA te verkrijgen, moet u ervoor zorgen dat het domein waarvoor de certificaten die u wilt genereren, naar de server is gericht. Zo niet, breng dan de nodige wijzigingen aan in de DNS-records van uw domein en wacht tot de DNS zich verspreidt voordat u het certificaatverzoek opnieuw indient. Certbot controleert de domeinautoriteit voordat de certificaten worden verstrekt.

De gegenereerde certificaten worden waarschijnlijk in de /etc/letsencrypt/live/kibana.example.com/directory opgeslagen . Het SSL-certificaat wordt opgeslagen als fullchain.pemen de privésleutel wordt opgeslagen als privkey.pem.

Let's Encrypt-certificaten verlopen over 90 dagen, daarom wordt aanbevolen om automatische verlenging voor de certificaten in te stellen met cronjobs. Cron is een systeemservice die wordt gebruikt om periodieke taken uit te voeren.

Open het cron-taakbestand door het volgende uit te voeren:

sudo crontab -e

Voeg de volgende regel toe aan het einde van het bestand.

30 5 * * 1 /usr/bin/certbot renew -a nginx --quiet

De bovenstaande cron-taak wordt elke maandag om 05.30 uur uitgevoerd. Als het certificaat afloopt, wordt het automatisch verlengd.

Bewerk het standaard virtuele hostbestand voor Nginx door de volgende opdracht uit te voeren.

sudo nano /etc/nginx/sites-available/default

Vervang de bestaande inhoud door de volgende inhoud.

server {
    listen 80 default_server;
    server_name kibana.example.com
    return 301 https://$server_name$request_uri;
}

server {
    listen 443 default_server ssl http2;

    server_name kibana.example.com;

    ssl_certificate           /etc/letsencrypt/live/kibana.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/kibana.example.com/privkey.pem;

    ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
    ssl_prefer_server_ciphers on;
    ssl_ciphers "EECDH+AESGCM:EDH+AESGCM:AES256+EECDH:AES256+EDH";
    ssl_ecdh_curve secp384r1;
    ssl_session_cache shared:SSL:10m;
    ssl_session_tickets off;
    ssl_stapling on;
    ssl_stapling_verify on;
    resolver 8.8.8.8 8.8.4.4 valid=300s;
    resolver_timeout 5s;
    add_header Strict-Transport-Security "max-age=63072000; includeSubdomains";
    add_header X-Frame-Options DENY;
    add_header X-Content-Type-Options nosniff;

    location / {
        proxy_pass http://localhost:5601;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection 'upgrade';
        proxy_set_header Host $host;
        proxy_cache_bypass $http_upgrade;
    }
}

Zorg ervoor dat u bijwerkt kibana.example.commet uw daadwerkelijke domeinnaam en verifieer ook het pad naar het SSL-certificaat en de privésleutel.

Start de Nginx-webserver opnieuw op door te draaien:

sudo systemctl restart nginx

Als alles correct is geconfigureerd, ziet u het Kibana-inlogscherm. Log in met gebruikersnaam kibanaen het wachtwoord dat u heeft ingesteld. U zou met succes moeten kunnen inloggen en het Kibana-dashboard kunnen zien. Verlaat het dashboard, voor nu zullen we het later configureren.

Installeer Logstash

Logstash kan ook worden geïnstalleerd via de officiële Elasticsearch-repository die we eerder hebben toegevoegd. Installeer Logstash door te draaien:

sudo apt -y install logstash

De bovenstaande opdracht installeert de nieuwste versie van Logstash op uw systeem. Nadat Logstash is geïnstalleerd, laadt u de Systemd-service-daemon opnieuw door het volgende uit te voeren:

sudo systemctl daemon-reload

Start Logstash en schakel deze automatisch in tijdens het opstarten.

sudo systemctl enable logstash
sudo systemctl start logstash

Installeer X-Pack voor Logstash

U kunt X-Pack voor Logstash rechtstreeks installeren door het volgende uit te voeren:

cd /usr/share/logstash
sudo bin/logstash-plugin install x-pack

X-Pack for Logstash wordt geleverd met een standaardgebruiker logstash_system. U kunt het wachtwoord resetten door het uitvoeren van:

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/logstash_system/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewLogstashPassword"
}
'

Vervang 192.168.0.1door het werkelijke privé IP-adres van de server en NewLogstashPassworddoor het nieuwe wachtwoord voor Logstash-gebruiker.

Start nu de Logstash-service opnieuw op door te draaien:

sudo systemctl restart logstash

Bewerk het Logstash-configuratiebestand door het volgende uit te voeren:

sudo nano /etc/logstash/logstash.yml

Voeg de volgende regels toe aan het einde van het bestand om monitoring van de Logstash-instantie mogelijk te maken.

xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.url: http://192.168.0.1:9200
xpack.monitoring.elasticsearch.username: logstash_system
xpack.monitoring.elasticsearch.password: NewLogstashPassword

Vervang de Elasticsearch-URL en het Logstash-wachtwoord volgens uw instellingen.

U kunt Logstash nu configureren om gegevens te ontvangen met verschillende Beats. Er zijn verschillende soorten Beats beschikbaar: Packetbeat, Metricbeat, Filebeat, Winlogbeat en Heartbeat. U moet elke Beat afzonderlijk installeren.

Gevolgtrekking

In deze tutorial hebben we Elastic Stack with X-Pack geïnstalleerd op Ubuntu 17.04. Een standaard ELK Stack is nu geïnstalleerd op uw server.