Ubuntu 17.04에서 Elastic Stack (Elasticsearch, Logstash 및 Kibana)을 설치 및 구성하는 방법

• 전제 조건
• 1 단계 : 시스템 업데이트 수행
• 2 단계 : Java 설치
• 3 단계 : Elasticsearch 설치
• 4 단계 : Kibana 설치
• Logstash 설치
• 결론

IT 인프라가 클라우드로 전환하고 사물 인터넷이 대중화되면서 조직 및 IT 전문가는 퍼블릭 클라우드 서비스를 더 많이 사용하고 있습니다. 서버와 서버에서 실행되는 서비스가 증가함에 따라 시스템 생성 로그의 양도 증가하고 있습니다. 이러한 로그 분석은 여러 가지 이유로 인프라에서 매우 중요합니다. 여기에는 보안 정책 및 규정 준수, 시스템 문제 해결, 보안 관련 사고 대응 또는 사용자 행동 이해가 포함됩니다.

Elasticsearch, Logstash 및 Kibana라는 3 개의 매우 인기있는 오픈 소스 애플리케이션이 함께 결합되어 Elastic Stack 또는 ELK Stack을 생성합니다. Elastic Stack은 로그 및 데이터를 검색, 분석 및 시각화 할 수있는 매우 강력한 도구입니다. Elasticsearch는 로그를 저장하고 검색 할 수있는 분산 형 실시간 확장 가능 고 가용성 애플리케이션입니다. Logstash는 Beats가 전송 한 로그를 수집하여 강화한 다음 Elasticsearch로 보냅니다. Kibana는 로그 및 실행 가능한 통찰력을 시각화하는 데 사용되는 웹 UI입니다.

이 튜토리얼에서는 Ubuntu 17.04에 최신 버전의 Elasticsearch, Logstash 및 Kibana를 X-Pack과 함께 설치합니다.

전제 조건

이 자습서를 수행하려면 4GB 이상의 RAM 이있는 Vultr 64 비트 Ubuntu 17.04 서버 인스턴스 가 필요합니다 . 프로덕션 환경의 경우 하드웨어 요구 사항은 사용자 및 로그 수에 따라 증가합니다.

이 튜토리얼은 sudo사용자 관점 에서 작성되었습니다 . sudo 사용자를 설정하려면 데비안에서 Sudo 사용 방법 안내서 를 따르십시오 .

Let 's Encrypt CA에서 인증서를 얻으려면 서버를 향한 도메인이 필요합니다.

1 단계 : 시스템 업데이트 수행

Ubuntu 서버 인스턴스에 패키지를 설치하기 전에 시스템을 업데이트하는 것이 좋습니다. sudo 사용자를 사용하여 로그인하고 다음 명령을 실행하여 시스템을 업데이트하십시오.

sudo apt update
sudo apt -y upgrade

시스템 업그레이드가 완료되면 다음 단계로 진행하십시오.

2 단계 : Java 설치

Elasticsearch를 사용하려면 Java 8이 필요합니다. Oracle Java 및 OpenJDK를 모두 지원합니다. 이 학습 섹션에서는 Oracle Java 및 OpenJDK를 모두 설치하는 방법을 보여줍니다.

다음 Java 버전 중 하나를 설치해야합니다. Elasticsearch에는 Oracle Java를 설치하는 것이 좋습니다. 그러나 원하는대로 OpenJDK를 설치하도록 선택할 수도 있습니다.

Oracle Java 설치

Ubuntu 시스템에 Oracle Java를 설치하려면 다음을 실행하여 Oracle Java PPA를 추가해야합니다.

sudo add-apt-repository ppa:webupd8team/java

이제 다음을 실행하여 저장소 정보를 업데이트하십시오.

sudo apt update

이제 다음을 실행하여 최신 안정 버전의 Java 8을 쉽게 설치할 수 있습니다.

sudo apt -y install oracle-java8-installer

메시지가 표시되면 라이센스 계약에 동의하십시오. 설치가 완료되면 다음을 실행하여 Java 버전을 확인할 수 있습니다.

java -version

다음과 유사한 출력이 표시되어야합니다.

user@vultr:~$ java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

JAVA_HOME설치 하여 및 기타 기본값을 설정할 수도 있습니다 oracle-java8-set-default. 운영:

sudo apt -y install oracle-java8-set-default

이제 JAVA_HOME다음을 실행 하여 변수가 설정 되었는지 확인할 수 있습니다 .

echo "$JAVA_HOME"

출력은 다음과 유사해야합니다.

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-oracle

위에 표시된 출력을 얻지 못하면 로그 아웃 한 후 다시 셸에 로그인해야합니다. 이제 Oracle Java가 서버에 설치되었습니다. 이제 OpenJDK 설치를 건너 뛰는 학습서의 3 단계로 진행할 수 있습니다.

OpenJDK 설치

OpenJDK의 설치는 매우 간단합니다. OpenJDK를 설치하려면 다음 명령을 실행하십시오.

sudo apt -y install default-jdk

설치가 완료되면 다음을 실행하여 Java 버전을 확인할 수 있습니다.

java -version

다음과 유사한 출력이 표시되어야합니다.

user@vultr:~$ java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-8u131-b11-2ubuntu1.17.04.2-b11)
OpenJDK 64-Bit Server VM (build 25.131-b11, mixed mode)

JAVA_HOME변수 를 설정하려면 다음 명령을 실행하십시오.

sudo echo "JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64" >> /etc/environment

다음을 실행하여 환경 파일을 다시로드하십시오.

sudo source /etc/environment

이제 JAVA_HOME다음을 실행 하여 변수가 설정 되었는지 확인할 수 있습니다 .

echo "$JAVA_HOME"

출력은 다음과 유사해야합니다.

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-openjdk-amd64/

3 단계 : Elasticsearch 설치

Elasticsearch는 초고속 분산 형 고 가용성 RESTful 검색 엔진입니다. 다음을 실행하여 Elasticsearch APT 저장소를 추가하십시오.

echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list

위 명령은 Elasticsearch에 대한 새 리포지토리 파일을 생성하고 소스 항목을 추가합니다. 이제 패키지 서명에 사용 된 PGP 키를 가져옵니다.

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

다음을 실행하여 APT 저장소 메타 데이터를 업데이트하십시오.

sudo apt update

다음 명령을 실행하여 Elasticsearch를 설치하십시오.

sudo apt -y install elasticsearch

위 명령은 시스템에 최신 버전의 Elasticsearch를 설치합니다. Elasticsearch가 설치되면 다음을 실행하여 Systemd 서비스 데몬을 다시로드하십시오.

sudo systemctl daemon-reload

Elasticsearch를 시작하고 부팅시 자동으로 시작되도록합니다.

sudo systemctl enable elasticsearch
sudo systemctl start elasticsearch

Elasticsearch를 중지하려면 다음을 실행하십시오.

sudo systemctl stop elasticsearch

서비스 상태를 확인하려면 다음을 수행하십시오.

sudo systemctl status elasticsearch

이제 Elasticsearch가 포트에서 실행 중입니다 9200. 다음 명령을 실행하여 작동하고 결과를 생성하는지 확인할 수 있습니다.

curl -XGET 'localhost:9200/?pretty'

다음과 유사한 메시지가 인쇄됩니다.

user@vultr:~$ curl -XGET 'localhost:9200/?pretty'
{
  "name" : "wDaVa1K",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "71drjJ8PTyCcbai33Esy3Q",
  "version" : {
    "number" : "5.5.1",
    "build_hash" : "19c13d0",
    "build_date" : "2017-07-18T20:44:24.823Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.0"
  },
  "tagline" : "You Know, for Search"
}

Elasticsearch 용 X-Pack 설치

X-Pack은 보안, 경고, 모니터링,보고 및 그래프 기능과 같은 많은 추가 기능을 제공하는 Elastic Stack 플러그인입니다. X-Pack은 또한 Elasticsearch 및 Kibana에 대한 사용자 인증과 Kibana의 다른 노드에 대한 모니터링을 제공합니다. X-Pack과 Elasticsearch는 동일한 버전으로 설치해야합니다.

다음을 실행하여 X-Pack for Elasticsearch를 직접 설치할 수 있습니다.

cd /usr/share/elasticsearch
sudo bin/elasticsearch-plugin install x-pack

설치를 계속하려면 y메시지가 나타나면를 입력하십시오 . 이 명령은 시스템에 X-Pack 플러그인을 설치합니다. X-Pack을 설치하면 Elasticsearch에 대한 인증이 활성화됩니다. 기본 사용자 이름은 elastic이고 비밀번호는 changeme입니다. Elasticsearch가 작동하는지 확인하기 위해 실행 한 것과 동일한 명령을 실행하여 인증이 활성화되어 있는지 확인할 수 있습니다.

curl -XGET 'localhost:9200/?pretty'

이제 출력에 인증이 실패했다고 표시됩니다.

user@vultr:~# curl -XGET 'localhost:9200/?pretty'
{
  "error" : {
    "root_cause" : [
      {
        "type" : "security_exception",
        "reason" : "missing authentication token for REST request [/?pretty]",
        "header" : {
          "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
        }
      }
    ],
    "type" : "security_exception",
    "reason" : "missing authentication token for REST request [/?pretty]",
    "header" : {
      "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
    }
  },
  "status" : 401
}

changeme다음 명령을 실행 하여 기본 비밀번호 를 변경하십시오 .

curl -XPUT -u elastic:changeme 'localhost:9200/_xpack/security/user/elastic/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewElasticPassword"
}
'

대체 NewPassword사용하려는 실제 암호와 함께. 다음 명령을 실행하여 새 비밀번호가 설정되어 있고 Elasticsearch가 작동 중인지 확인할 수 있습니다.

curl -XGET -u elastic:NewElasticPassword 'localhost:9200/?pretty'    

쿼리가 성공적으로 실행되었음을 나타내는 출력이 표시됩니다.

또한 다음을 실행하여 Elasticsearch 구성 파일을 편집하십시오.

sudo nano /etc/elasticsearch/elasticsearch.yml

다음 줄을 찾아서 주석을 해제하고 제공된 지침에 따라 변경하십시오.

#cluster.name: my-application    #Provide the name of your cluster
#node.name: node-1               #Provide the name of your node
#network.host: 192.168.0.1

의 경우 network.host시스템에 할당 된 개인 IP 주소를 제공하십시오. 다음을 실행하여 Elasticsearch 인스턴스를 다시 시작하십시오.

sudo systemctl restart elasticsearch

이제 대신 localhost을 사용하여 쿼리를 실행하려면 IP 주소를 사용해야합니다 curl.

curl -XGET -u elastic:NewElasticPassword '192.168.0.1:9200/?pretty'

대체 192.168.0.1서버의 실제 개인 IP 주소로. Elasticsearch를 설치 했으므로 Kibana 설치를 계속 진행하십시오.

4 단계 : Kibana 설치

Kibana는 웹 인터페이스를 사용하여 로그 및 실행 가능한 통찰력을 시각화하는 데 사용됩니다. Elasticsearch를 관리하는 데에도 사용할 수 있습니다. Elasticsearch와 동일한 버전의 Kibana를 설치하는 것이 좋습니다.

Elasticsearch 리포지토리와 PGP 키를 이미 추가 했으므로 다음을 실행하여 Kibana를 직접 설치할 수 있습니다.

sudo apt -y install kibana

이전 명령은 시스템에 최신 버전의 Kibana를 설치합니다. Kibana가 설치되면 다음을 실행하여 Systemd 서비스 데몬을 다시로드하십시오.

sudo systemctl daemon-reload

Kibana를 시작하고 다음을 실행하여 부팅시 자동으로 시작되도록 할 수 있습니다.

sudo systemctl enable kibana
sudo systemctl start kibana

Kibana 용 X-Pack 설치

다음을 실행하여 X-Pack for Kibana를 직접 설치할 수 있습니다.

cd /usr/share/kibana
sudo bin/kibana-plugin install x-pack

Kibana 용 X-Pack에는 기본적으로 그래프, 기계 학습 및 모니터링이 활성화되어 있습니다. X-Pack은 Kibana에 대한 인증도 활성화합니다. 기본 사용자 이름은 kibana이고 비밀번호는 changeme입니다. Kibana 사용자의 기본 비밀번호를 변경하는 것이 중요합니다. 다음 명령을 실행하여 비밀번호를 변경하십시오.

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/kibana/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewKibanaPassword"
}
'

대체 192.168.0.1서버의 실제 사설 IP 주소와 NewKibanaPassword키바 사용자의 새 암호로.

다음을 실행하여 Kibana 구성 파일을 편집하십시오.

sudo nano /etc/kibana/kibana.yml

다음 줄을 찾아 제공된 지침에 따라 값을 변경하십시오.

#elasticsearch.url: "http://localhost:9200"
#elasticsearch.username: "user"
#elasticsearch.password: "password"

위 줄의 주석 처리를 제거하고 elasticsearch.urlElasticsearch 인스턴스의 URL을 제공하십시오. IP 주소는에서 사용 된 것과 동일한 IP 여야합니다 elasticsearch.yml. 또한 사용자 이름을 user로 elastic설정하고 이전에 설정 한 탄력적 사용자의 비밀번호를 제공하십시오.

다음을 실행하여 Kibana 인스턴스를 다시 시작하십시오.

sudo systemctl restart kibana

Kibana의 리버스 프록시로 Nginx 설치

localhostport에서 Kibana를 실행 5601하고 있으므로 로컬 네트워크 외부에서 Kibana에 액세스하도록 Apache 또는 Nginx와 함께 리버스 프록시를 설정하는 것이 좋습니다. 이 튜토리얼에서는 Nginx를 Kibana의 리버스 프록시로 설정합니다. 또한 Let 's Encrypt free SSL 인증서로 Nginx 인스턴스를 보호 할 것입니다.

다음을 실행하여 Nginx를 설치하십시오.

sudo apt -y install nginx

부팅시 Nginx를 자동으로 시작하고 활성화합니다.

sudo systemctl start nginx
sudo systemctl enable nginx

Nginx 웹 서버가 설치되어 실행 중이므로 공식 및 자동 Let 's Encrypt 인증서 클라이언트 인 Certbot 설치를 진행할 수 있습니다. 다음을 실행하여 Certbot PPA를 시스템에 추가하십시오.

sudo add-apt-repository ppa:certbot/certbot

저장소 메타 정보를 업데이트하십시오.

sudo apt update

이제 다음을 실행하여 최신 버전의 Certbot을 쉽게 설치할 수 있습니다.

sudo apt -y install python-certbot-nginx 

이전 명령은 Certbot 패키지와 함께 필요한 종속성을 해결하고 설치합니다.

Certbot을 설치 했으므로 다음을 실행하여 도메인의 인증서를 생성하십시오.

sudo certbot certonly --webroot -w /var/www/html/ -d kibana.example.com

kibana.example.com실제 도메인 이름 으로 변경 하는 것을 잊지 마십시오 . 이전 명령은 Certbot 클라이언트를 사용합니다. 이 certonly매개 변수는 Certbot 클라이언트에게 인증서 만 생성하도록 지시합니다. 이 옵션을 사용하면 인증서가 자동으로 설치되지 않고 Nginx 구성이 변경되지 않습니다. 인증 파일은 지정된 webroot디렉토리 에 배치하여 확인됩니다 .

Certbot은 갱신 통지를 보낼 이메일 주소를 제공하도록 요청합니다. 라이센스 계약에 동의해야합니다.

Let 's Encrypt CA에서 인증서를 얻으려면 생성하려는 인증서가 서버를 가리키는 도메인인지 확인해야합니다. 그렇지 않은 경우 도메인의 DNS 레코드를 필요한대로 변경하고 인증서가 다시 요청되기 전에 DNS가 전파 될 때까지 기다리십시오. Certbot은 인증서를 제공하기 전에 도메인 권한을 확인합니다.

생성 된 인증서는 /etc/letsencrypt/live/kibana.example.com/디렉토리에 저장 될 수 있습니다 . SSL 인증서는로 저장되고 fullchain.pem개인 키는로 저장됩니다 privkey.pem.

인증서 암호화는 90 일 후에 만료되므로 cronjobs를 사용하여 인증서의 자동 갱신을 설정하는 것이 좋습니다. Cron은 정기적 인 작업을 실행하는 데 사용되는 시스템 서비스입니다.

다음을 실행하여 cron 작업 파일을여십시오.

sudo crontab -e

파일 끝에 다음 줄을 추가하십시오.

30 5 * * 1 /usr/bin/certbot renew -a nginx --quiet

위의 cron 작업은 매주 월요일 5:30에 실행됩니다. 인증서가 만료 예정인 경우 인증서가 자동으로 갱신됩니다.

다음 명령을 실행하여 Nginx의 기본 가상 호스트 파일을 편집하십시오.

sudo nano /etc/nginx/sites-available/default

기존 컨텐츠를 다음 컨텐츠로 바꾸십시오.

server {
    listen 80 default_server;
    server_name kibana.example.com
    return 301 https://$server_name$request_uri;
}

server {
    listen 443 default_server ssl http2;

    server_name kibana.example.com;

    ssl_certificate           /etc/letsencrypt/live/kibana.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/kibana.example.com/privkey.pem;

    ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
    ssl_prefer_server_ciphers on;
    ssl_ciphers "EECDH+AESGCM:EDH+AESGCM:AES256+EECDH:AES256+EDH";
    ssl_ecdh_curve secp384r1;
    ssl_session_cache shared:SSL:10m;
    ssl_session_tickets off;
    ssl_stapling on;
    ssl_stapling_verify on;
    resolver 8.8.8.8 8.8.4.4 valid=300s;
    resolver_timeout 5s;
    add_header Strict-Transport-Security "max-age=63072000; includeSubdomains";
    add_header X-Frame-Options DENY;
    add_header X-Content-Type-Options nosniff;

    location / {
        proxy_pass http://localhost:5601;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection 'upgrade';
        proxy_set_header Host $host;
        proxy_cache_bypass $http_upgrade;
    }
}

kibana.example.com실제 도메인 이름으로 업데이트 하고 SSL 인증서 및 개인 키의 경로를 확인하십시오.

다음을 실행하여 Nginx 웹 서버를 다시 시작하십시오.

sudo systemctl restart nginx

모든 것이 올바르게 구성 되었다면 Kibana 로그인 화면이 나타납니다. kibana설정 한 사용자 이름 과 비밀번호를 사용하여 로그인하십시오 . 성공적으로 로그인하여 Kibana 대시 보드를 볼 수 있어야합니다. 대시 보드를 그대로 두십시오. 지금은 나중에 구성 할 것입니다.

Logstash 설치

Logstash는 앞서 추가 한 공식 Elasticsearch 리포지토리를 통해 설치할 수도 있습니다. 다음을 실행하여 Logstash를 설치하십시오.

sudo apt -y install logstash

위의 명령은 시스템에 최신 버전의 Logstash를 설치합니다. Logstash가 설치되면 다음을 실행하여 Systemd 서비스 데몬을 다시로드하십시오.

sudo systemctl daemon-reload

Logstash를 시작하고 부팅시 자동으로 시작되도록합니다.

sudo systemctl enable logstash
sudo systemctl start logstash

Logstash 용 X-Pack 설치

다음을 실행하여 X-Pack for Logstash를 직접 설치할 수 있습니다.

cd /usr/share/logstash
sudo bin/logstash-plugin install x-pack

X-Pack for Logstash는 기본 사용자와 함께 제공됩니다 logstash_system. 다음을 실행하여 비밀번호를 재설정 할 수 있습니다.

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/logstash_system/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewLogstashPassword"
}
'

대체 192.168.0.1서버의 실제 사설 IP 주소와 NewLogstashPasswordLogstash 사용자의 새 암호로.

이제 다음을 실행하여 Logstash 서비스를 다시 시작하십시오.

sudo systemctl restart logstash

다음을 실행하여 Logstash 구성 파일을 편집하십시오.

sudo nano /etc/logstash/logstash.yml

파일 끝에 다음 줄을 추가하여 Logstash 인스턴스를 모니터링 할 수 있습니다.

xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.url: http://192.168.0.1:9200
xpack.monitoring.elasticsearch.username: logstash_system
xpack.monitoring.elasticsearch.password: NewLogstashPassword

설정에 따라 Elasticsearch URL 및 Logstash 비밀번호를 바꾸십시오.

이제 다른 Beats를 사용하여 데이터를 받도록 Logstash를 구성 할 수 있습니다. 사용 가능한 비트 유형은 패킷 비트, 메트릭 비트, 파일 비트, 윈 로그 비트 및 하트 비트입니다. 각 Beat를 별도로 설치해야합니다.

결론

이 자습서에서는 Ubuntu 17.04에 X-Pack과 함께 Elastic Stack을 설치했습니다. 기본 ELK 스택이 서버에 설치되었습니다.