Como instalar e configurar o Elastic Stack (Elasticsearch, Logstash e Kibana) no Ubuntu 17.04

• Pré-requisitos
• Etapa 1: executar uma atualização do sistema
• Etapa 2: instalar o Java
• Etapa 3: instalar o Elasticsearch
• Etapa 4: instalar o Kibana
• Instale o Logstash
• Conclusão

À medida que a infraestrutura de TI está migrando para a nuvem e a Internet das Coisas está se tornando popular, organizações e profissionais de TI estão usando serviços de nuvem pública em maior medida. À medida que os servidores e serviços em execução neles estão aumentando, a quantidade de logs gerados pelo sistema também aumenta. A análise desses logs é muito importante em uma infraestrutura por vários motivos. Isso inclui conformidade com políticas e regulamentos de segurança, solução de problemas do sistema, resposta a um incidente relacionado à segurança ou compreensão do comportamento do usuário.

Três aplicativos de código aberto muito populares chamados Elasticsearch, Logstash e Kibana se combinam para criar Elastic Stack ou ELK Stack. O Elastic Stack é uma ferramenta muito poderosa para pesquisar, analisar e visualizar logs e dados. O Elasticsearch é um aplicativo distribuído, em tempo real, escalável e altamente disponível para armazenar logs e pesquisar por eles. O Logstash reúne os logs enviados pelo Beats, aprimora-os e depois os envia para o Elasticsearch. Kibana é a interface do usuário da web usada para visualizar os logs e informações acionáveis.

Neste tutorial, instalaremos a versão mais recente do Elasticsearch, Logstash e Kibana com o X-Pack no Ubuntu 17.04.

Pré-requisitos

Para seguir este tutorial, você precisará de uma instância do servidor Vultr 64 bits Ubuntu 17.04 com pelo menos 4 GB de RAM . Para um ambiente de produção, os requisitos de hardware aumentam com a contagem de usuários e log.

Este tutorial foi escrito da sudoperspectiva do usuário. Para configurar um usuário sudo, siga o guia Como usar o Sudo no Debian .

Você também precisará de um domínio apontado para o servidor para obter certificados da Let's Encrypt CA.

Etapa 1: executar uma atualização do sistema

Antes de instalar qualquer pacote na instância do servidor Ubuntu, é recomendável atualizar o sistema. Efetue login usando o usuário sudo e execute os seguintes comandos para atualizar o sistema.

sudo apt update
sudo apt -y upgrade

Depois que o sistema concluir a atualização, continue com a próxima etapa.

Etapa 2: instalar o Java

O Elasticsearch requer que o Java 8 funcione. Ele suporta Oracle Java e OpenJDK. Esta seção do tutorial demonstra a instalação do Oracle Java e do OpenJDK.

Certifique-se de instalar qualquer uma das seguintes versões Java. A instalação do Oracle Java é recomendada para o Elasticsearch. No entanto, você também pode optar por instalar o OpenJDK de acordo com sua preferência.

Instalando o Oracle Java

Para instalar o Oracle Java no seu sistema Ubuntu, você precisará adicionar o Oracle Java PPA executando:

sudo add-apt-repository ppa:webupd8team/java

Agora atualize as informações do repositório executando:

sudo apt update

Agora você pode instalar facilmente a versão estável mais recente do Java 8 executando:

sudo apt -y install oracle-java8-installer

Aceite o contrato de licença quando solicitado. Após a conclusão da instalação, você pode verificar a versão do Java executando:

java -version

Você deve ver uma saída semelhante a:

user@vultr:~$ java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

Você também pode definir os JAVA_HOMEe outros padrões instalando oracle-java8-set-default. Corre:

sudo apt -y install oracle-java8-set-default

Agora você pode verificar se a JAVA_HOMEvariável está definida executando:

echo "$JAVA_HOME"

A saída deve se parecer com:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-oracle

Se você não obtiver a saída mostrada acima, pode ser necessário efetuar logout e logon no shell novamente. O Oracle Java agora está instalado no seu servidor. Agora você pode prosseguir para a Etapa 3 do tutorial ignorando a instalação do OpenJDK.

Instalando o OpenJDK

A instalação do OpenJDK é bastante simples. Simplesmente execute o seguinte comando para instalar o OpenJDK.

sudo apt -y install default-jdk

Após a conclusão da instalação, você pode verificar a versão do Java executando:

java -version

Você deve ver uma saída semelhante a:

user@vultr:~$ java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-8u131-b11-2ubuntu1.17.04.2-b11)
OpenJDK 64-Bit Server VM (build 25.131-b11, mixed mode)

Para definir a JAVA_HOMEvariável, execute o seguinte comando:

sudo echo "JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64" >> /etc/environment

Recarregue o arquivo de ambiente executando:

sudo source /etc/environment

Agora você pode verificar se a JAVA_HOMEvariável está definida executando:

echo "$JAVA_HOME"

A saída deve se parecer com:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-openjdk-amd64/

Etapa 3: instalar o Elasticsearch

O Elasticsearch é um mecanismo de pesquisa RESTful super-rápido, distribuído e altamente disponível. Adicione o repositório do Elasticsearch APT executando:

echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list

O comando acima cria um novo arquivo de repositório para o Elasticsearch e adiciona a entrada de origem nele. Agora importe a chave PGP usada para assinar os pacotes.

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

Atualize os metadados do repositório APT executando:

sudo apt update

Instale o Elasticsearch executando o seguinte comando.

sudo apt -y install elasticsearch

O comando acima instalará a versão mais recente do Elasticsearch no seu sistema. Depois que o Elasticsearch estiver instalado, recarregue o daemon de serviço Systemd executando:

sudo systemctl daemon-reload

Inicie o Elasticsearch e ative-o automaticamente no momento da inicialização.

sudo systemctl enable elasticsearch
sudo systemctl start elasticsearch

Para parar o Elasticsearch, você pode executar:

sudo systemctl stop elasticsearch

Para verificar o status do serviço, você pode executar:

sudo systemctl status elasticsearch

O Elasticsearch agora está sendo executado na porta 9200. Você pode verificar se está funcionando e produzindo resultados executando o seguinte comando.

curl -XGET 'localhost:9200/?pretty'

Uma mensagem semelhante à seguinte será impressa.

user@vultr:~$ curl -XGET 'localhost:9200/?pretty'
{
  "name" : "wDaVa1K",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "71drjJ8PTyCcbai33Esy3Q",
  "version" : {
    "number" : "5.5.1",
    "build_hash" : "19c13d0",
    "build_date" : "2017-07-18T20:44:24.823Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.0"
  },
  "tagline" : "You Know, for Search"
}

Instale o X-Pack for Elasticsearch

O X-Pack é um plug-in do Elastic Stack que fornece muitos recursos adicionais, como segurança, alerta, monitoramento, relatório e recursos gráficos. O X-Pack também fornece autenticação de usuário para Elasticsearch e Kibana, além de monitorar diferentes nós no Kibana. É importante que o X-Pack e o Elasticsearch estejam instalados com a mesma versão.

Você pode instalar o X-Pack for Elasticsearch diretamente executando:

cd /usr/share/elasticsearch
sudo bin/elasticsearch-plugin install x-pack

Para continuar a instalação, insira yquando solicitado. Este comando instalará o plug-in do X-Pack no seu sistema. Quando instalado, o X-Pack habilita a autenticação para o Elasticsearch. O nome de usuário padrão é elastice a senha é changeme. Você pode verificar se a autenticação está ativada executando o mesmo comando executado para verificar se o Elasticsearch está funcionando.

curl -XGET 'localhost:9200/?pretty'

Agora, a saída dirá que a autenticação falhou.

user@vultr:~# curl -XGET 'localhost:9200/?pretty'
{
  "error" : {
    "root_cause" : [
      {
        "type" : "security_exception",
        "reason" : "missing authentication token for REST request [/?pretty]",
        "header" : {
          "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
        }
      }
    ],
    "type" : "security_exception",
    "reason" : "missing authentication token for REST request [/?pretty]",
    "header" : {
      "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
    }
  },
  "status" : 401
}

Altere a senha padrão changemeexecutando o seguinte comando.

curl -XPUT -u elastic:changeme 'localhost:9200/_xpack/security/user/elastic/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewElasticPassword"
}
'

Substitua NewPasswordpela senha real que você deseja usar. Você pode verificar se a nova senha está definida e se o Elasticsearch está funcionando executando o seguinte comando.

curl -XGET -u elastic:NewElasticPassword 'localhost:9200/?pretty'    

Você verá a saída mostrando a execução bem-sucedida da consulta.

Além disso, edite o arquivo de configuração do Elasticsearch executando:

sudo nano /etc/elasticsearch/elasticsearch.yml

Encontre as seguintes linhas, remova o comentário das linhas e altere-as de acordo com as instruções fornecidas.

#cluster.name: my-application    #Provide the name of your cluster
#node.name: node-1               #Provide the name of your node
#network.host: 192.168.0.1

Para network.host, forneça o endereço IP privado atribuído ao sistema. Reinicie a instância do Elasticsearch executando:

sudo systemctl restart elasticsearch

Agora, em vez de localhost, você precisará usar o endereço IP para executar a consulta usando curl.

curl -XGET -u elastic:NewElasticPassword '192.168.0.1:9200/?pretty'

Substitua 192.168.0.1pelo endereço IP privado real do servidor. Agora que instalamos o Elasticsearch, continue com a instalação do Kibana.

Etapa 4: instalar o Kibana

O Kibana é usado para visualizar os logs e insights acionáveis ​​usando uma interface da web. Também pode ser usado para gerenciar o Elasticsearch. Recomenda-se instalar a mesma versão do Kibana que o Elasticsearch.

Como já adicionamos o repositório Elasticsearch e a chave PGP, podemos instalar o Kibana diretamente executando:

sudo apt -y install kibana

O comando anterior instalará a versão mais recente do Kibana no seu sistema. Depois que o Kibana estiver instalado, recarregue o daemon de serviço Systemd executando:

sudo systemctl daemon-reload

Você pode iniciar o Kibana e permitir que ele inicie automaticamente no momento da inicialização executando:

sudo systemctl enable kibana
sudo systemctl start kibana

Instale o X-Pack for Kibana

Você pode instalar o X-Pack for Kibana diretamente executando:

cd /usr/share/kibana
sudo bin/kibana-plugin install x-pack

O X-Pack for Kibana tem o Graph, Machine Learning e Monitoring ativado por padrão. O X-Pack também habilita a autenticação para o Kibana. O nome de usuário padrão é kibanae a senha é changeme. É importante alterar a senha padrão do usuário do Kibana. Execute o seguinte comando para alterar a senha.

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/kibana/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewKibanaPassword"
}
'

Substitua 192.168.0.1pelo endereço IP privado real do servidor e NewKibanaPasswordpela nova senha do usuário do Kibana.

Edite o arquivo de configuração do Kibana executando:

sudo nano /etc/kibana/kibana.yml

Encontre as seguintes linhas e altere os valores de acordo com as instruções fornecidas.

#elasticsearch.url: "http://localhost:9200"
#elasticsearch.username: "user"
#elasticsearch.password: "password"

Remova o comentário das linhas acima e elasticsearch.urlforneça o URL da instância do Elasticsearch. O endereço IP deve ser o mesmo IP usado elasticsearch.yml. Além disso, defina o nome de usuário de userpara elastice também forneça a senha do usuário elástico que você definiu anteriormente.

Reinicie a instância do Kibana executando:

sudo systemctl restart kibana

Instale o Nginx como proxy reverso para o Kibana

Como estamos executando o Kibana localhostna porta 5601, é recomendável configurar um proxy reverso com Apache ou Nginx para acessar o Kibana de fora da rede local. Neste tutorial, configuraremos o Nginx como um proxy reverso para o Kibana. Também protegeremos a instância do Nginx com um certificado SSL gratuito Let's Encrypt.

Instale o Nginx executando:

sudo apt -y install nginx

Inicie e ative o Nginx para iniciar automaticamente no momento da inicialização.

sudo systemctl start nginx
sudo systemctl enable nginx

Agora que o servidor da web Nginx está instalado e funcionando, podemos instalar o Certbot, que é o cliente oficial e automático do certificado Let's Encrypt. Adicione o Certbot PPA ao seu sistema executando:

sudo add-apt-repository ppa:certbot/certbot

Atualize as meta informações do repositório.

sudo apt update

Agora você pode instalar facilmente a versão mais recente do Certbot executando:

sudo apt -y install python-certbot-nginx 

O comando anterior resolverá e instalará as dependências necessárias junto com o pacote Certbot.

Agora que temos o Certbot instalado, gere os certificados para o seu domínio executando:

sudo certbot certonly --webroot -w /var/www/html/ -d kibana.example.com

Não se esqueça de mudar kibana.example.comcom o seu nome de domínio real. O comando anterior usará o cliente Certbot. O certonlyparâmetro informa ao cliente Certbot para gerar apenas os certificados. O uso dessa opção garante que os certificados não sejam instalados automaticamente e que a configuração do Nginx não tenha sido alterada. A verificação será feita colocando os arquivos de desafio no webrootdiretório especificado .

A Certbot solicitará que você forneça seu endereço de e-mail para enviar o aviso de renovação. Você também precisará aceitar o contrato de licença.

Para obter certificados da Let's Encrypt CA, você deve garantir que o domínio para o qual os certificados que você deseja gerar estejam apontados para o servidor. Caso contrário, faça as alterações necessárias nos registros DNS do seu domínio e aguarde a propagação do DNS antes de fazer a solicitação de certificado novamente. O Certbot verifica a autoridade do domínio antes de fornecer os certificados.

Os certificados gerados provavelmente serão armazenados no /etc/letsencrypt/live/kibana.example.com/diretório O certificado SSL será armazenado como fullchain.peme a chave privada será armazenada como privkey.pem.

Os certificados Let's Encrypt devem expirar em 90 dias; portanto, é recomendável configurar a renovação automática dos certificados usando cronjobs. Cron é um serviço do sistema usado para executar tarefas periódicas.

Abra o arquivo de tarefa cron executando:

sudo crontab -e

Adicione a seguinte linha no final do arquivo.

30 5 * * 1 /usr/bin/certbot renew -a nginx --quiet

O trabalho cron acima será executado toda segunda-feira às 05:30. Se o prazo de validade do certificado for vencido, ele será renovado automaticamente.

Edite o arquivo host virtual padrão para o Nginx executando o seguinte comando.

sudo nano /etc/nginx/sites-available/default

Substitua o conteúdo existente pelo seguinte.

server {
    listen 80 default_server;
    server_name kibana.example.com
    return 301 https://$server_name$request_uri;
}

server {
    listen 443 default_server ssl http2;

    server_name kibana.example.com;

    ssl_certificate           /etc/letsencrypt/live/kibana.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/kibana.example.com/privkey.pem;

    ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
    ssl_prefer_server_ciphers on;
    ssl_ciphers "EECDH+AESGCM:EDH+AESGCM:AES256+EECDH:AES256+EDH";
    ssl_ecdh_curve secp384r1;
    ssl_session_cache shared:SSL:10m;
    ssl_session_tickets off;
    ssl_stapling on;
    ssl_stapling_verify on;
    resolver 8.8.8.8 8.8.4.4 valid=300s;
    resolver_timeout 5s;
    add_header Strict-Transport-Security "max-age=63072000; includeSubdomains";
    add_header X-Frame-Options DENY;
    add_header X-Content-Type-Options nosniff;

    location / {
        proxy_pass http://localhost:5601;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection 'upgrade';
        proxy_set_header Host $host;
        proxy_cache_bypass $http_upgrade;
    }
}

Certifique-se de atualizar kibana.example.comcom o seu nome de domínio real, verifique também o caminho para o certificado SSL e a chave privada.

Reinicie o servidor da web Nginx executando:

sudo systemctl restart nginx

Se tudo estiver configurado corretamente, você verá a tela de login do Kibana. Entre usando o nome de usuário kibanae a senha que você definiu. Você deve conseguir fazer login com êxito e ver o painel do Kibana. Deixe o painel, por enquanto, vamos configurá-lo mais tarde.

Instale o Logstash

O Logstash também pode ser instalado através do repositório oficial do Elasticsearch que adicionamos anteriormente. Instale o Logstash executando:

sudo apt -y install logstash

O comando acima instalará a versão mais recente do Logstash no seu sistema. Depois que o Logstash estiver instalado, recarregue o daemon de serviço Systemd executando:

sudo systemctl daemon-reload

Inicie o Logstash e ative-o automaticamente no momento da inicialização.

sudo systemctl enable logstash
sudo systemctl start logstash

Instale o X-Pack para Logstash

Você pode instalar o X-Pack for Logstash diretamente executando:

cd /usr/share/logstash
sudo bin/logstash-plugin install x-pack

O X-Pack for Logstash vem com um usuário padrão logstash_system. Você pode redefinir a senha executando:

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/logstash_system/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewLogstashPassword"
}
'

Substitua 192.168.0.1pelo endereço IP privado real do servidor e NewLogstashPasswordpela nova senha do usuário do Logstash.

Agora reinicie o serviço Logstash executando:

sudo systemctl restart logstash

Edite o arquivo de configuração do Logstash executando:

sudo nano /etc/logstash/logstash.yml

Adicione as seguintes linhas no final do arquivo para ativar o monitoramento da instância do Logstash.

xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.url: http://192.168.0.1:9200
xpack.monitoring.elasticsearch.username: logstash_system
xpack.monitoring.elasticsearch.password: NewLogstashPassword

Substitua o URL do Elasticsearch e a senha do Logstash de acordo com sua configuração.

Agora você pode configurar o Logstash para receber dados usando diferentes batimentos. Existem vários tipos de batimentos disponíveis: Packetbeat, Metricbeat, Filebeat, Winlogbeat e Heartbeat. Você precisará instalar cada batida separadamente.

Conclusão

Neste tutorial, instalamos o Elastic Stack com o X-Pack no Ubuntu 17.04. Agora, um ELK Stack básico está instalado no seu servidor.