Cómo instalar y configurar Elastic Stack (Elasticsearch, Logstash y Kibana) en Ubuntu 17.04

• Prerrequisitos
• Paso 1: realiza una actualización del sistema
• Paso 2: instalar Java
• Paso 3: Instalar Elasticsearch
• Paso 4: instala Kibana
• Instalar Logstash
• Conclusión

A medida que la infraestructura de TI se está moviendo a la nube e Internet de las Cosas se está volviendo popular, las organizaciones y los profesionales de TI están utilizando los servicios de nube pública en mayor medida. A medida que aumentan los servidores y servicios que se ejecutan en ellos, también aumenta la cantidad de registros generados por el sistema. El análisis de estos registros es muy importante en una infraestructura por varias razones. Esto incluye el cumplimiento de las políticas y normativas de seguridad, la resolución de problemas del sistema, la respuesta a un incidente relacionado con la seguridad o la comprensión del comportamiento del usuario.

Tres aplicaciones de código abierto muy populares llamadas Elasticsearch, Logstash y Kibana se combinan para crear Elastic Stack o ELK Stack. Elastic Stack es una herramienta muy poderosa para buscar, analizar y visualizar registros y datos. Elasticsearch es una aplicación distribuida, en tiempo real, escalable y de alta disponibilidad para almacenar registros y buscar a través de ellos. Logstash reúne los registros enviados por Beats, los mejora y luego los envía a Elasticsearch. Kibana es la interfaz de usuario web que se utiliza para visualizar los registros y las ideas procesables.

En este tutorial, instalaremos la última versión de Elasticsearch, Logstash y Kibana con X-Pack en Ubuntu 17.04.

Prerrequisitos

Para seguir este tutorial, necesitará una instancia de servidor Ubuntu 17.04 Vultr de 64 bits con al menos 4 GB de RAM . Para un entorno de producción, los requisitos de hardware aumentan con el recuento de usuarios y registros.

Este tutorial está escrito desde sudola perspectiva del usuario. Para configurar un usuario de sudo, siga la guía Cómo usar Sudo en Debian .

También necesitará un dominio dirigido hacia su servidor para obtener certificados de Let's Encrypt CA.

Paso 1: realiza una actualización del sistema

Antes de instalar cualquier paquete en la instancia del servidor Ubuntu, se recomienda actualizar el sistema. Inicie sesión con el usuario sudo y ejecute los siguientes comandos para actualizar el sistema.

sudo apt update
sudo apt -y upgrade

Una vez que el sistema haya finalizado la actualización, continúe con el siguiente paso.

Paso 2: instalar Java

Elasticsearch requiere Java 8 para funcionar. Es compatible con Oracle Java y OpenJDK. Esta sección del tutorial muestra la instalación de Oracle Java y OpenJDK.

Asegúrese de instalar cualquiera de las siguientes versiones de Java. Se recomienda la instalación de Oracle Java para Elasticsearch. Sin embargo, también puede optar por instalar OpenJDK según sus preferencias.

Instalación de Oracle Java

Para instalar Oracle Java en su sistema Ubuntu, deberá agregar el PPA de Oracle Java ejecutando:

sudo add-apt-repository ppa:webupd8team/java

Ahora actualice la información del repositorio ejecutando:

sudo apt update

Ahora puede instalar fácilmente la última versión estable de Java 8 ejecutando:

sudo apt -y install oracle-java8-installer

Acepte el acuerdo de licencia cuando se le solicite. Una vez finalizada la instalación, puede verificar la versión de Java ejecutando:

java -version

Debería ver una salida similar a:

user@vultr:~$ java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

También puede establecer el JAVA_HOMEy otros valores predeterminados mediante la instalación oracle-java8-set-default. Correr:

sudo apt -y install oracle-java8-set-default

Ahora puede verificar si la JAVA_HOMEvariable se establece ejecutando:

echo "$JAVA_HOME"

La salida debería parecerse a:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-oracle

Si no obtiene el resultado que se muestra arriba, es posible que deba cerrar sesión e iniciar sesión nuevamente en el shell. Oracle Java ahora está instalado en su servidor. Ahora puede continuar con el Paso 3 de la instalación del tutorial de omisión de OpenJDK.

Instalar OpenJDK

La instalación de OpenJDK es bastante sencilla. Simplemente ejecute el siguiente comando para instalar OpenJDK.

sudo apt -y install default-jdk

Una vez finalizada la instalación, puede verificar la versión de Java ejecutando:

java -version

Debería ver una salida similar a:

user@vultr:~$ java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-8u131-b11-2ubuntu1.17.04.2-b11)
OpenJDK 64-Bit Server VM (build 25.131-b11, mixed mode)

Para establecer la JAVA_HOMEvariable, ejecute el siguiente comando:

sudo echo "JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64" >> /etc/environment

Vuelva a cargar el archivo de entorno ejecutando:

sudo source /etc/environment

Ahora puede verificar si la JAVA_HOMEvariable se establece ejecutando:

echo "$JAVA_HOME"

La salida debería parecerse a:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-openjdk-amd64/

Paso 3: Instalar Elasticsearch

Elasticsearch es un motor de búsqueda RESTful súper rápido, distribuido, altamente disponible. Agregue el repositorio APT de Elasticsearch ejecutando:

echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list

El comando anterior crea un nuevo archivo de repositorio para Elasticsearch y agrega la entrada de origen. Ahora importe la clave PGP utilizada para firmar los paquetes.

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

Actualice los metadatos del repositorio APT ejecutando:

sudo apt update

Instala Elasticsearch ejecutando el siguiente comando.

sudo apt -y install elasticsearch

El comando anterior instalará la última versión de Elasticsearch en su sistema. Una vez que Elasticsearch se haya instalado, vuelva a cargar el demonio de servicio Systemd ejecutando:

sudo systemctl daemon-reload

Inicie Elasticsearch y permita que se inicie automáticamente en el momento del arranque.

sudo systemctl enable elasticsearch
sudo systemctl start elasticsearch

Para detener Elasticsearch, puede ejecutar:

sudo systemctl stop elasticsearch

Para verificar el estado del servicio que puede ejecutar:

sudo systemctl status elasticsearch

Elasticsearch ahora se está ejecutando en el puerto 9200. Puede verificar si está funcionando y produciendo resultados ejecutando el siguiente comando.

curl -XGET 'localhost:9200/?pretty'

Se imprimirá un mensaje similar al siguiente.

user@vultr:~$ curl -XGET 'localhost:9200/?pretty'
{
  "name" : "wDaVa1K",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "71drjJ8PTyCcbai33Esy3Q",
  "version" : {
    "number" : "5.5.1",
    "build_hash" : "19c13d0",
    "build_date" : "2017-07-18T20:44:24.823Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.0"
  },
  "tagline" : "You Know, for Search"
}

Instalar X-Pack para Elasticsearch

X-Pack es un complemento de Elastic Stack que ofrece muchas funciones adicionales como seguridad, alertas, monitoreo, informes y capacidades gráficas. X-Pack también proporciona autenticación de usuario para Elasticsearch y Kibana, así como monitoreo de diferentes nodos en Kibana. Es importante que X-Pack y Elasticsearch estén instalados con la misma versión.

Puede instalar X-Pack para Elasticsearch directamente ejecutando:

cd /usr/share/elasticsearch
sudo bin/elasticsearch-plugin install x-pack

Para continuar con la instalación, ingrese ycuando se le solicite. Este comando instalará el complemento X-Pack en su sistema. Cuando está instalado, X-Pack habilita la autenticación para Elasticsearch. El nombre de usuario predeterminado es elasticy la contraseña es changeme. Puede verificar si la autenticación está habilitada ejecutando el mismo comando que ejecutó para verificar si Elasticsearch está funcionando.

curl -XGET 'localhost:9200/?pretty'

Ahora la salida dirá que la autenticación ha fallado.

user@vultr:~# curl -XGET 'localhost:9200/?pretty'
{
  "error" : {
    "root_cause" : [
      {
        "type" : "security_exception",
        "reason" : "missing authentication token for REST request [/?pretty]",
        "header" : {
          "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
        }
      }
    ],
    "type" : "security_exception",
    "reason" : "missing authentication token for REST request [/?pretty]",
    "header" : {
      "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
    }
  },
  "status" : 401
}

Cambie la contraseña predeterminada changemeejecutando el siguiente comando.

curl -XPUT -u elastic:changeme 'localhost:9200/_xpack/security/user/elastic/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewElasticPassword"
}
'

Reemplace NewPasswordcon la contraseña real que desea usar. Puede verificar si la nueva contraseña está establecida y Elasticsearch está funcionando ejecutando el siguiente comando.

curl -XGET -u elastic:NewElasticPassword 'localhost:9200/?pretty'    

Verá la salida que muestra la ejecución exitosa de la consulta.

Además, edite el archivo de configuración de Elasticsearch ejecutando:

sudo nano /etc/elasticsearch/elasticsearch.yml

Encuentre las siguientes líneas, descomente las líneas y cámbielas según las instrucciones proporcionadas.

#cluster.name: my-application    #Provide the name of your cluster
#node.name: node-1               #Provide the name of your node
#network.host: 192.168.0.1

Para network.host, proporcione la dirección IP privada asignada al sistema. Reinicie la instancia de Elasticsearch ejecutando:

sudo systemctl restart elasticsearch

Ahora, en lugar de localhost, deberá usar la dirección IP para ejecutar la consulta curl.

curl -XGET -u elastic:NewElasticPassword '192.168.0.1:9200/?pretty'

Reemplace 192.168.0.1con la dirección IP privada real del servidor. Ahora que hemos instalado Elasticsearch, continúe para instalar Kibana.

Paso 4: instala Kibana

Kibana se utiliza para visualizar los registros y las ideas procesables mediante una interfaz web. También se puede usar para administrar Elasticsearch. Se recomienda instalar la misma versión de Kibana que Elasticsearch.

Como ya hemos agregado el repositorio Elasticsearch y la clave PGP, podemos instalar Kibana directamente ejecutando:

sudo apt -y install kibana

El comando anterior instalará la última versión de Kibana en su sistema. Una vez que se haya instalado Kibana, vuelva a cargar el demonio de servicio Systemd ejecutando:

sudo systemctl daemon-reload

Puede iniciar Kibana y permitir que se inicie automáticamente en el momento del arranque ejecutando:

sudo systemctl enable kibana
sudo systemctl start kibana

Instalar X-Pack para Kibana

Puede instalar X-Pack para Kibana directamente ejecutando:

cd /usr/share/kibana
sudo bin/kibana-plugin install x-pack

X-Pack para Kibana tiene Graph, Machine Learning y Monitoring habilitados de forma predeterminada. X-Pack también habilita la autenticación para Kibana. El nombre de usuario predeterminado es kibanay la contraseña es changeme. Es importante cambiar la contraseña predeterminada del usuario de Kibana. Ejecute el siguiente comando para cambiar la contraseña.

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/kibana/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewKibanaPassword"
}
'

Reemplace 192.168.0.1con la dirección IP privada real del servidor y NewKibanaPasswordcon la nueva contraseña para el usuario de Kibana.

Edite el archivo de configuración de Kibana ejecutando:

sudo nano /etc/kibana/kibana.yml

Encuentre las siguientes líneas y cambie los valores de acuerdo con las instrucciones proporcionadas.

#elasticsearch.url: "http://localhost:9200"
#elasticsearch.username: "user"
#elasticsearch.password: "password"

Descomente las líneas anteriores y elasticsearch.urlproporcione la URL para la instancia de Elasticsearch. La dirección IP debe ser la misma IP que se utilizó en elasticsearch.yml. Además, establecer el nombre de usuario de usera elasticy también proporcionar la contraseña del usuario elástico que se ha fijado anteriormente.

Reinicie la instancia de Kibana ejecutando:

sudo systemctl restart kibana

Instale Nginx como proxy inverso para Kibana

Como estamos ejecutando Kibana localhosten el puerto 5601, se recomienda configurar un proxy inverso con Apache o Nginx para acceder a Kibana desde fuera de la red local. En este tutorial, configuraremos Nginx como un proxy inverso para Kibana. También aseguraremos la instancia de Nginx con un certificado SSL gratuito Let's Encrypt.

Instala Nginx ejecutando:

sudo apt -y install nginx

Inicie y habilite Nginx para que se inicie automáticamente en el momento del arranque.

sudo systemctl start nginx
sudo systemctl enable nginx

Ahora que el servidor web Nginx está instalado y ejecutándose, podemos proceder a instalar Certbot, que es el cliente de certificado oficial y automático Let's Encrypt. Agregue Certbot PPA a su sistema ejecutando:

sudo add-apt-repository ppa:certbot/certbot

Actualice la metainformación del repositorio.

sudo apt update

Ahora puede instalar fácilmente la última versión de Certbot ejecutando:

sudo apt -y install python-certbot-nginx 

El comando anterior resolverá e instalará las dependencias requeridas junto con el paquete Certbot.

Ahora que tenemos instalado Certbot, genere los certificados para su dominio ejecutando:

sudo certbot certonly --webroot -w /var/www/html/ -d kibana.example.com

No olvide cambiar kibana.example.comcon su nombre de dominio real. El comando anterior usará el cliente Certbot. El certonlyparámetro le dice al cliente Certbot que genere solo los certificados. El uso de esta opción garantiza que los certificados no se instalen automáticamente y que la configuración de Nginx no haya cambiado. La verificación se realizará colocando los archivos de desafío en el webrootdirectorio especificado .

Certbot le pedirá que proporcione su dirección de correo electrónico para enviar el aviso de renovación. También deberá aceptar el acuerdo de licencia.

Para obtener certificados de Let's Encrypt CA, debe asegurarse de que el dominio para el que desea generar los certificados apunte hacia el servidor. De lo contrario, realice los cambios necesarios en los registros DNS de su dominio y espere a que se propague el DNS antes de volver a solicitar el certificado. Certbot verifica la autoridad del dominio antes de proporcionar los certificados.

Es probable que los certificados generados se almacenen en el /etc/letsencrypt/live/kibana.example.com/directorio. El certificado SSL se almacenará como fullchain.pemy la clave privada se almacenará como privkey.pem.

Vamos a encriptar los certificados que vencen en 90 días, por lo tanto, se recomienda configurar la renovación automática para los certificados utilizando cronjobs. Cron es un servicio del sistema que se utiliza para ejecutar tareas periódicas.

Abra el archivo de trabajo cron ejecutando:

sudo crontab -e

Agregue la siguiente línea al final del archivo.

30 5 * * 1 /usr/bin/certbot renew -a nginx --quiet

El trabajo cron anterior se ejecutará todos los lunes a las 5:30 a.m. Si el certificado vence, los renovará automáticamente.

Edite el archivo de host virtual predeterminado para Nginx ejecutando el siguiente comando.

sudo nano /etc/nginx/sites-available/default

Reemplace el contenido existente con el siguiente contenido.

server {
    listen 80 default_server;
    server_name kibana.example.com
    return 301 https://$server_name$request_uri;
}

server {
    listen 443 default_server ssl http2;

    server_name kibana.example.com;

    ssl_certificate           /etc/letsencrypt/live/kibana.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/kibana.example.com/privkey.pem;

    ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
    ssl_prefer_server_ciphers on;
    ssl_ciphers "EECDH+AESGCM:EDH+AESGCM:AES256+EECDH:AES256+EDH";
    ssl_ecdh_curve secp384r1;
    ssl_session_cache shared:SSL:10m;
    ssl_session_tickets off;
    ssl_stapling on;
    ssl_stapling_verify on;
    resolver 8.8.8.8 8.8.4.4 valid=300s;
    resolver_timeout 5s;
    add_header Strict-Transport-Security "max-age=63072000; includeSubdomains";
    add_header X-Frame-Options DENY;
    add_header X-Content-Type-Options nosniff;

    location / {
        proxy_pass http://localhost:5601;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection 'upgrade';
        proxy_set_header Host $host;
        proxy_cache_bypass $http_upgrade;
    }
}

Asegúrese de actualizar kibana.example.comcon su nombre de dominio real, también verifique la ruta al certificado SSL y la clave privada.

Reinicie el servidor web Nginx ejecutando:

sudo systemctl restart nginx

Si todo se ha configurado correctamente, verá la pantalla de inicio de sesión de Kibana. Inicie sesión con el nombre de usuario kibanay la contraseña que ha establecido. Debería poder iniciar sesión correctamente y ver el panel de Kibana. Deje el panel de control, por ahora, lo configuraremos más adelante.

Instalar Logstash

Logstash también se puede instalar a través del repositorio oficial de Elasticsearch que agregamos anteriormente. Instale Logstash ejecutando:

sudo apt -y install logstash

El comando anterior instalará la última versión de Logstash en su sistema. Una vez que Logstash se haya instalado, vuelva a cargar el demonio de servicio Systemd ejecutando:

sudo systemctl daemon-reload

Inicie Logstash y permita que se inicie automáticamente en el momento del arranque.

sudo systemctl enable logstash
sudo systemctl start logstash

Instalar X-Pack para Logstash

Puede instalar X-Pack para Logstash directamente ejecutando:

cd /usr/share/logstash
sudo bin/logstash-plugin install x-pack

X-Pack para Logstash viene con un usuario predeterminado logstash_system. Puede restablecer la contraseña ejecutando:

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/logstash_system/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewLogstashPassword"
}
'

Reemplace 192.168.0.1con la dirección IP privada real del servidor y NewLogstashPasswordcon la nueva contraseña para el usuario de Logstash.

Ahora reinicie el servicio Logstash ejecutando:

sudo systemctl restart logstash

Edite el archivo de configuración de Logstash ejecutando:

sudo nano /etc/logstash/logstash.yml

Agregue las siguientes líneas al final del archivo para habilitar la supervisión de la instancia de Logstash.

xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.url: http://192.168.0.1:9200
xpack.monitoring.elasticsearch.username: logstash_system
xpack.monitoring.elasticsearch.password: NewLogstashPassword

Reemplace la URL de Elasticsearch y la contraseña de Logstash de acuerdo con su configuración.

Ahora puede configurar Logstash para recibir datos utilizando diferentes Beats. Hay varios tipos de Beats disponibles: Packetbeat, Metricbeat, Filebeat, Winlogbeat y Heartbeat. Deberá instalar cada Beat por separado.

Conclusión

En este tutorial, hemos instalado Elastic Stack con X-Pack en Ubuntu 17.04. Una pila ELK básica ahora está instalada en su servidor.