Comment installer et configurer Elastic Stack (Elasticsearch, Logstash et Kibana) sur Ubuntu 17.04

• Conditions préalables
• Étape 1: effectuer une mise à jour du système
• Étape 2: installer Java
• Étape 3: installer Elasticsearch
• Étape 4: installer Kibana
• Installer Logstash
• Conclusion

Alors que l'infrastructure informatique évolue vers le cloud et que l'internet des objets devient populaire, les organisations et les professionnels de l'informatique utilisent de plus en plus les services de cloud public. À mesure que les serveurs et les services qui s'exécutent sur eux augmentent, la quantité de journaux générés par le système augmente également. L'analyse de ces journaux est très importante dans une infrastructure pour plusieurs raisons. Cela inclut la conformité aux politiques et réglementations de sécurité, le dépannage du système, la réponse à un incident lié à la sécurité ou la compréhension du comportement des utilisateurs.

Trois applications open source très populaires nommées Elasticsearch, Logstash et Kibana se combinent pour créer Elastic Stack ou ELK Stack. Elastic Stack est un outil très puissant pour rechercher, analyser et visualiser les journaux et les données. Elasticsearch est une application distribuée, en temps réel, évolutive et hautement disponible pour stocker les journaux et les parcourir. Logstash rassemble les journaux envoyés par Beats, les améliore, puis les envoie à Elasticsearch. Kibana est l'interface utilisateur Web utilisée pour visualiser les journaux et les informations exploitables.

Dans ce didacticiel, nous allons installer la dernière version d'Elasticsearch, Logstash et Kibana avec X-Pack sur Ubuntu 17.04.

Conditions préalables

Pour suivre ce didacticiel, vous aurez besoin d'une instance de serveur Vultr 64 bits Ubuntu 17.04 avec au moins 4 Go de RAM . Pour un environnement de production, les exigences matérielles augmentent avec le nombre d'utilisateurs et de journaux.

Ce didacticiel est écrit du sudopoint de vue de l'utilisateur. Pour configurer un utilisateur sudo, suivez le guide Comment utiliser Sudo sur Debian .

Vous aurez également besoin d'un domaine pointé vers votre serveur pour obtenir des certificats de Let's Encrypt CA.

Étape 1: effectuer une mise à jour du système

Avant d'installer des packages sur l'instance de serveur Ubuntu, il est recommandé de mettre à jour le système. Connectez-vous à l'aide de l'utilisateur sudo et exécutez les commandes suivantes pour mettre à jour le système.

sudo apt update
sudo apt -y upgrade

Une fois la mise à niveau du système terminée, passez à l'étape suivante.

Étape 2: installer Java

Elasticsearch nécessite Java 8 pour fonctionner. Il prend en charge Oracle Java et OpenJDK. Cette section du didacticiel illustre l'installation d'Oracle Java et d'OpenJDK.

Assurez-vous que vous installez l'une des versions Java suivantes. L'installation d'Oracle Java est recommandée pour Elasticsearch. Cependant, vous pouvez également choisir d'installer OpenJDK selon vos préférences.

Installation d'Oracle Java

Pour installer Oracle Java sur votre système Ubuntu, vous devrez ajouter Oracle Java PPA en exécutant:

sudo add-apt-repository ppa:webupd8team/java

Mettez à jour les informations du référentiel en exécutant:

sudo apt update

Maintenant, vous pouvez facilement installer la dernière version stable de Java 8 en exécutant:

sudo apt -y install oracle-java8-installer

Acceptez le contrat de licence lorsque vous y êtes invité. Une fois l'installation terminée, vous pouvez vérifier la version Java en exécutant:

java -version

Vous devriez voir une sortie similaire à:

user@vultr:~$ java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

Vous pouvez également définir les JAVA_HOMEvaleurs par défaut et autres en installant oracle-java8-set-default. Courir:

sudo apt -y install oracle-java8-set-default

Vous pouvez maintenant vérifier si la JAVA_HOMEvariable est définie en exécutant:

echo "$JAVA_HOME"

La sortie doit ressembler à:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-oracle

Si vous n'obtenez pas la sortie indiquée ci-dessus, vous devrez peut-être vous déconnecter et vous reconnecter au shell. Oracle Java est maintenant installé sur votre serveur. Vous pouvez maintenant passer à l'étape 3 du didacticiel en évitant l'installation d'OpenJDK.

Installation d'OpenJDK

L'installation d'OpenJDK est assez simple. Exécutez simplement la commande suivante pour installer OpenJDK.

sudo apt -y install default-jdk

Une fois l'installation terminée, vous pouvez vérifier la version Java en exécutant:

java -version

Vous devriez voir une sortie similaire à:

user@vultr:~$ java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-8u131-b11-2ubuntu1.17.04.2-b11)
OpenJDK 64-Bit Server VM (build 25.131-b11, mixed mode)

Pour définir la JAVA_HOMEvariable, exécutez la commande suivante:

sudo echo "JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64" >> /etc/environment

Rechargez le fichier d'environnement en exécutant:

sudo source /etc/environment

Vous pouvez maintenant vérifier si la JAVA_HOMEvariable est définie en exécutant:

echo "$JAVA_HOME"

La sortie doit ressembler à:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-openjdk-amd64/

Étape 3: installer Elasticsearch

Elasticsearch est un moteur de recherche RESTful ultra-rapide, distribué et hautement disponible. Ajoutez le référentiel Elasticsearch APT en exécutant:

echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list

La commande ci-dessus crée un nouveau fichier de référentiel pour Elasticsearch et y ajoute l'entrée source. Maintenant, importez la clé PGP utilisée pour signer les packages.

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

Mettez à jour les métadonnées du référentiel APT en exécutant:

sudo apt update

Installez Elasticsearch en exécutant la commande suivante.

sudo apt -y install elasticsearch

La commande ci-dessus installera la dernière version d'Elasticsearch sur votre système. Une fois Elasticsearch installé, rechargez le démon du service Systemd en exécutant:

sudo systemctl daemon-reload

Démarrez Elasticsearch et activez-le pour démarrer automatiquement au démarrage.

sudo systemctl enable elasticsearch
sudo systemctl start elasticsearch

Pour arrêter Elasticsearch, vous pouvez exécuter:

sudo systemctl stop elasticsearch

Pour vérifier l'état du service, vous pouvez exécuter:

sudo systemctl status elasticsearch

Elasticsearch fonctionne maintenant sur le port 9200. Vous pouvez vérifier si cela fonctionne et produire des résultats en exécutant la commande suivante.

curl -XGET 'localhost:9200/?pretty'

Un message similaire au suivant sera imprimé.

user@vultr:~$ curl -XGET 'localhost:9200/?pretty'
{
  "name" : "wDaVa1K",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "71drjJ8PTyCcbai33Esy3Q",
  "version" : {
    "number" : "5.5.1",
    "build_hash" : "19c13d0",
    "build_date" : "2017-07-18T20:44:24.823Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.0"
  },
  "tagline" : "You Know, for Search"
}

Installer X-Pack pour Elasticsearch

X-Pack est un plug-in Elastic Stack qui fournit de nombreuses fonctionnalités supplémentaires telles que la sécurité, les alertes, la surveillance, les rapports et les capacités graphiques. X-Pack fournit également l'authentification des utilisateurs pour Elasticsearch et Kibana, ainsi que la surveillance des différents nœuds dans Kibana. Il est important que X-Pack et Elasticsearch soient installés avec la même version.

Vous pouvez installer X-Pack pour Elasticsearch directement en exécutant:

cd /usr/share/elasticsearch
sudo bin/elasticsearch-plugin install x-pack

Pour poursuivre l'installation, entrez ylorsque vous y êtes invité. Cette commande installera le plug-in X-Pack sur votre système. Une fois installé, X-Pack active l'authentification pour Elasticsearch. Le nom d'utilisateur par défaut est elasticet le mot de passe est changeme. Vous pouvez vérifier si l'authentification est activée en exécutant la même commande que vous avez exécutée pour vérifier si Elasticsearch fonctionne.

curl -XGET 'localhost:9200/?pretty'

Maintenant, la sortie indiquera que l'authentification a échoué.

user@vultr:~# curl -XGET 'localhost:9200/?pretty'
{
  "error" : {
    "root_cause" : [
      {
        "type" : "security_exception",
        "reason" : "missing authentication token for REST request [/?pretty]",
        "header" : {
          "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
        }
      }
    ],
    "type" : "security_exception",
    "reason" : "missing authentication token for REST request [/?pretty]",
    "header" : {
      "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
    }
  },
  "status" : 401
}

Modifiez le mot changemede passe par défaut en exécutant la commande suivante.

curl -XPUT -u elastic:changeme 'localhost:9200/_xpack/security/user/elastic/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewElasticPassword"
}
'

Remplacez NewPasswordpar le mot de passe réel que vous souhaitez utiliser. Vous pouvez vérifier si le nouveau mot de passe est défini et qu'Elasticsearch fonctionne en exécutant la commande suivante.

curl -XGET -u elastic:NewElasticPassword 'localhost:9200/?pretty'    

Vous verrez une sortie montrant l'exécution réussie de la requête.

De plus, modifiez le fichier de configuration Elasticsearch en exécutant:

sudo nano /etc/elasticsearch/elasticsearch.yml

Recherchez les lignes suivantes, décommentez les lignes et modifiez-les selon les instructions fournies.

#cluster.name: my-application    #Provide the name of your cluster
#node.name: node-1               #Provide the name of your node
#network.host: 192.168.0.1

Pour network.host, indiquez l'adresse IP privée attribuée au système. Redémarrez l'instance Elasticsearch en exécutant:

sudo systemctl restart elasticsearch

Maintenant, au lieu de localhost, vous devrez utiliser l'adresse IP pour exécuter la requête à l'aide de curl.

curl -XGET -u elastic:NewElasticPassword '192.168.0.1:9200/?pretty'

Remplacez 192.168.0.1par l'adresse IP privée réelle du serveur. Maintenant que nous avons installé Elasticsearch, poursuivez l'installation de Kibana.

Étape 4: installer Kibana

Kibana est utilisé pour visualiser les journaux et les informations exploitables à l'aide d'une interface Web. Il peut également être utilisé pour gérer Elasticsearch. Il est recommandé d'installer la même version de Kibana qu'Elasticsearch.

Comme nous avons déjà ajouté le référentiel Elasticsearch et la clé PGP, nous pouvons installer Kibana directement en exécutant:

sudo apt -y install kibana

La commande précédente installera la dernière version de Kibana sur votre système. Une fois Kibana installé, rechargez le démon du service Systemd en exécutant:

sudo systemctl daemon-reload

Vous pouvez démarrer Kibana et l'activer pour démarrer automatiquement au démarrage en exécutant:

sudo systemctl enable kibana
sudo systemctl start kibana

Installer X-Pack pour Kibana

Vous pouvez installer X-Pack pour Kibana directement en exécutant:

cd /usr/share/kibana
sudo bin/kibana-plugin install x-pack

X-Pack pour Kibana a le graphique, l'apprentissage automatique et la surveillance activés par défaut. X-Pack permet également l'authentification pour Kibana. Le nom d'utilisateur par défaut est kibanaet le mot de passe est changeme. Il est important de changer le mot de passe par défaut de l'utilisateur Kibana. Exécutez la commande suivante pour modifier le mot de passe.

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/kibana/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewKibanaPassword"
}
'

Remplacez-le 192.168.0.1par l'adresse IP privée réelle du serveur et NewKibanaPasswordpar le nouveau mot de passe de l'utilisateur Kibana.

Modifiez le fichier de configuration de Kibana en exécutant:

sudo nano /etc/kibana/kibana.yml

Recherchez les lignes suivantes et modifiez les valeurs conformément aux instructions fournies.

#elasticsearch.url: "http://localhost:9200"
#elasticsearch.username: "user"
#elasticsearch.password: "password"

Décommentez les lignes ci-dessus et elasticsearch.urlindiquez l'URL de l'instance Elasticsearch. L'adresse IP doit être la même IP que celle utilisée dans elasticsearch.yml. De plus, définissez le nom d'utilisateur de userà elasticet fournissez également le mot de passe de l'utilisateur élastique que vous avez défini précédemment.

Redémarrez l'instance Kibana en exécutant:

sudo systemctl restart kibana

Installer Nginx comme proxy inverse pour Kibana

Comme nous exécutons Kibana sur localhostau port 5601, il est recommandé de configurer un proxy inverse avec Apache ou Nginx pour accéder à Kibana depuis l'extérieur du réseau local. Dans ce tutoriel, nous allons configurer Nginx comme proxy inverse pour Kibana. Nous sécuriserons également l'instance Nginx avec un certificat SSL gratuit Let's Encrypt.

Installez Nginx en exécutant:

sudo apt -y install nginx

Démarrez et activez Nginx pour qu'il démarre automatiquement au démarrage.

sudo systemctl start nginx
sudo systemctl enable nginx

Maintenant que le serveur Web Nginx est installé et fonctionne, nous pouvons procéder à l'installation de Certbot, qui est le client de certificat Let's Encrypt officiel et automatique. Ajoutez Certbot PPA à votre système en exécutant:

sudo add-apt-repository ppa:certbot/certbot

Mettez à jour les méta-informations du référentiel.

sudo apt update

Vous pouvez désormais installer facilement la dernière version de Certbot en exécutant:

sudo apt -y install python-certbot-nginx 

La commande précédente résoudra et installera les dépendances requises avec le package Certbot.

Maintenant que Certbot est installé, générez les certificats pour votre domaine en exécutant:

sudo certbot certonly --webroot -w /var/www/html/ -d kibana.example.com

N'oubliez pas de changer kibana.example.comavec votre nom de domaine actuel. La commande précédente utilisera le client Certbot. Le certonlyparamètre indique au client Certbot de générer uniquement les certificats. L'utilisation de cette option garantit que les certificats ne sont pas installés automatiquement et que la configuration de Nginx n'a pas changé. La vérification sera effectuée en plaçant les fichiers de défi dans le webrootrépertoire spécifié .

Certbot vous demandera de fournir votre adresse e-mail pour envoyer l'avis de renouvellement. Vous devrez également accepter le contrat de licence.

Pour obtenir des certificats de Let's Encrypt CA, vous devez vous assurer que le domaine pour lequel les certificats que vous souhaitez générer sont dirigés vers le serveur. Sinon, apportez les modifications nécessaires aux enregistrements DNS de votre domaine et attendez que le DNS se propage avant de refaire la demande de certificat. Certbot vérifie l'autorité de domaine avant de fournir les certificats.

Les certificats générés sont susceptibles d'être stockés dans le /etc/letsencrypt/live/kibana.example.com/répertoire. Le certificat SSL sera stocké sous fullchain.pemet la clé privée sera stockée sous privkey.pem.

Les certificats Let's Encrypt doivent expirer dans 90 jours, il est donc recommandé de configurer le renouvellement automatique des certificats à l'aide de cronjobs. Cron est un service système utilisé pour exécuter des tâches périodiques.

Ouvrez le fichier de tâche cron en exécutant:

sudo crontab -e

Ajoutez la ligne suivante à la fin du fichier.

30 5 * * 1 /usr/bin/certbot renew -a nginx --quiet

La tâche cron ci-dessus s'exécutera tous les lundis à 5h30. Si le certificat doit expirer, il les renouvellera automatiquement.

Modifiez le fichier d'hôte virtuel par défaut pour Nginx en exécutant la commande suivante.

sudo nano /etc/nginx/sites-available/default

Remplacez le contenu existant par le contenu suivant.

server {
    listen 80 default_server;
    server_name kibana.example.com
    return 301 https://$server_name$request_uri;
}

server {
    listen 443 default_server ssl http2;

    server_name kibana.example.com;

    ssl_certificate           /etc/letsencrypt/live/kibana.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/kibana.example.com/privkey.pem;

    ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
    ssl_prefer_server_ciphers on;
    ssl_ciphers "EECDH+AESGCM:EDH+AESGCM:AES256+EECDH:AES256+EDH";
    ssl_ecdh_curve secp384r1;
    ssl_session_cache shared:SSL:10m;
    ssl_session_tickets off;
    ssl_stapling on;
    ssl_stapling_verify on;
    resolver 8.8.8.8 8.8.4.4 valid=300s;
    resolver_timeout 5s;
    add_header Strict-Transport-Security "max-age=63072000; includeSubdomains";
    add_header X-Frame-Options DENY;
    add_header X-Content-Type-Options nosniff;

    location / {
        proxy_pass http://localhost:5601;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection 'upgrade';
        proxy_set_header Host $host;
        proxy_cache_bypass $http_upgrade;
    }
}

Assurez-vous de mettre kibana.example.comà jour avec votre nom de domaine réel, vérifiez également le chemin d'accès au certificat SSL et à la clé privée.

Redémarrez le serveur Web Nginx en exécutant:

sudo systemctl restart nginx

Si tout a été configuré correctement, vous verrez l'écran de connexion Kibana. Connectez-vous en utilisant le nom d'utilisateur kibanaet le mot de passe que vous avez défini. Vous devriez pouvoir vous connecter avec succès et voir le tableau de bord Kibana. Quittez le tableau de bord, pour l'instant, nous le configurerons plus tard.

Installer Logstash

Logstash peut également être installé via le référentiel officiel Elasticsearch que nous avons ajouté plus tôt. Installez Logstash en exécutant:

sudo apt -y install logstash

La commande ci-dessus installera la dernière version de Logstash sur votre système. Une fois Logstash installé, rechargez le démon du service Systemd en exécutant:

sudo systemctl daemon-reload

Démarrez Logstash et activez-le pour démarrer automatiquement au démarrage.

sudo systemctl enable logstash
sudo systemctl start logstash

Installer X-Pack pour Logstash

Vous pouvez installer X-Pack pour Logstash directement en exécutant:

cd /usr/share/logstash
sudo bin/logstash-plugin install x-pack

X-Pack pour Logstash est fourni avec un utilisateur par défaut logstash_system. Vous pouvez réinitialiser le mot de passe en exécutant:

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/logstash_system/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewLogstashPassword"
}
'

Remplacez-le 192.168.0.1par l'adresse IP privée réelle du serveur et NewLogstashPasswordpar le nouveau mot de passe de l'utilisateur Logstash.

Redémarrez maintenant le service Logstash en exécutant:

sudo systemctl restart logstash

Modifiez le fichier de configuration Logstash en exécutant:

sudo nano /etc/logstash/logstash.yml

Ajoutez les lignes suivantes à la fin du fichier pour activer la surveillance de l'instance Logstash.

xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.url: http://192.168.0.1:9200
xpack.monitoring.elasticsearch.username: logstash_system
xpack.monitoring.elasticsearch.password: NewLogstashPassword

Remplacez l'URL Elasticsearch et le mot de passe Logstash selon votre configuration.

Vous pouvez maintenant configurer Logstash pour recevoir des données à l'aide de différents battements. Il existe plusieurs types de Beats disponibles: Packetbeat, Metricbeat, Filebeat, Winlogbeat et Heartbeat. Vous devrez installer chaque Beat séparément.

Conclusion

Dans ce didacticiel, nous avons installé Elastic Stack avec X-Pack sur Ubuntu 17.04. Une pile ELK de base est maintenant installée sur votre serveur.