Cara Memasang dan Mengkonfigurasi Elastic Stack (Elasticsearch, Logstash dan Kibana) di Ubuntu 17.04

• Prasyarat
• Langkah 1: Lakukan kemas kini sistem
• Langkah 2: Pasang Java
• Langkah 3: Pasang Elasticsearch
• Langkah 4: Pasang Kibana
• Pasang Logstash
• Kesimpulannya

Oleh kerana infrastruktur IT bergerak ke cloud dan Internet of Things menjadi popular, organisasi dan profesional IT menggunakan perkhidmatan cloud awam ke tahap yang lebih besar. Oleh kerana pelayan dan perkhidmatan yang berjalan di atasnya meningkat, jumlah log yang dihasilkan sistem juga meningkat. Analisis log ini sangat penting dalam infrastruktur kerana beberapa sebab. Ini termasuk kepatuhan terhadap kebijakan dan peraturan keamanan, penyelesaian masalah sistem, menanggapi insiden yang berkaitan dengan keselamatan atau untuk memahami perilaku pengguna.

Tiga aplikasi sumber terbuka yang sangat popular bernama Elasticsearch, Logstash dan Kibana digabungkan untuk mencipta Elastic Stack atau ELK Stack. Elastic Stack adalah alat yang sangat kuat untuk mencari, menganalisis dan memvisualisasikan log dan data. Elasticsearch adalah aplikasi diedarkan, masa nyata, berskala dan sangat tersedia untuk menyimpan log dan mencarinya. Logstash mengumpulkan log yang dihantar oleh Beats, memperbaikinya, dan kemudian menghantarnya ke Elasticsearch. Kibana adalah UI web yang digunakan untuk memvisualisasikan log dan pandangan yang dapat dilaksanakan.

Dalam tutorial ini, kami akan memasang versi terbaru Elasticsearch, Logstash dan Kibana dengan X-Pack di Ubuntu 17.04.

Prasyarat

Untuk mengikuti tutorial ini, anda memerlukan contoh pelayan Ubuntu 17.04 Vultr 64-bit dengan RAM sekurang-kurangnya 4 GB . Untuk persekitaran pengeluaran, keperluan perkakasan meningkat dengan jumlah pengguna dan log.

Tutorial ini ditulis dari sudoperspektif pengguna. Untuk menyediakan pengguna sudo ikuti panduan Cara Menggunakan Sudo di Debian .

Anda juga memerlukan domain yang diarahkan ke pelayan anda untuk mendapatkan sijil dari Let's Encrypt CA.

Langkah 1: Lakukan kemas kini sistem

Sebelum memasang sebarang pakej pada contoh pelayan Ubuntu, disarankan untuk mengemas kini sistem. Log masuk menggunakan pengguna sudo dan jalankan arahan berikut untuk mengemas kini sistem.

sudo apt update
sudo apt -y upgrade

Setelah sistem selesai dinaik taraf, teruskan ke langkah seterusnya.

Langkah 2: Pasang Java

Elasticsearch memerlukan Java 8 berfungsi. Ia menyokong Java Oracle dan OpenJDK. Bahagian tutorial ini menunjukkan pemasangan kedua-dua Oracle Java dan OpenJDK.

Pastikan anda memasang salah satu versi Java berikut. Pemasangan Oracle Java disyorkan untuk Elasticsearch. Walau bagaimanapun, anda juga boleh memilih untuk memasang OpenJDK mengikut pilihan anda.

Memasang Oracle Java

Untuk memasang Oracle Java pada sistem Ubuntu anda, anda perlu menambahkan PPA Oracle Java dengan menjalankan:

sudo add-apt-repository ppa:webupd8team/java

Sekarang kemas kini maklumat repositori dengan menjalankan:

sudo apt update

Kini anda boleh memasang Java 8 versi stabil terbaru dengan mudah dengan menjalankan:

sudo apt -y install oracle-java8-installer

Terima perjanjian lesen apabila diminta. Setelah pemasangan selesai, anda boleh mengesahkan versi Java dengan menjalankan:

java -version

Anda mesti melihat output yang serupa dengan:

user@vultr:~$ java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

Anda juga boleh menetapkan JAVA_HOMElalai dan lain-lain dengan memasang oracle-java8-set-default. Jalankan:

sudo apt -y install oracle-java8-set-default

Anda kini boleh mengesahkan sama ada JAVA_HOMEpemboleh ubah ditetapkan dengan menjalankan:

echo "$JAVA_HOME"

Keluarannya harus menyerupai:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-oracle

Sekiranya anda tidak mendapat output seperti di atas, anda mungkin perlu log keluar dan log masuk ke shell semula. Oracle Java kini dipasang di pelayan anda. Anda kini boleh meneruskan ke Langkah 3 dari tutorial melangkau pemasangan OpenJDK.

Memasang OpenJDK

Pemasangan OpenJDK cukup mudah. Cukup jalankan arahan berikut untuk memasang OpenJDK.

sudo apt -y install default-jdk

Setelah pemasangan selesai, anda boleh mengesahkan versi Java dengan menjalankan:

java -version

Anda mesti melihat output yang serupa dengan:

user@vultr:~$ java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-8u131-b11-2ubuntu1.17.04.2-b11)
OpenJDK 64-Bit Server VM (build 25.131-b11, mixed mode)

Untuk menetapkan JAVA_HOMEpemboleh ubah, jalankan arahan berikut:

sudo echo "JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64" >> /etc/environment

Muat semula fail persekitaran dengan menjalankan:

sudo source /etc/environment

Anda kini boleh mengesahkan sama ada JAVA_HOMEpemboleh ubah ditetapkan dengan menjalankan:

echo "$JAVA_HOME"

Keluarannya harus menyerupai:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-openjdk-amd64/

Langkah 3: Pasang Elasticsearch

Elasticsearch adalah enjin carian RESTful super pantas, diedarkan, sangat tersedia. Tambahkan repositori APT Elasticsearch dengan menjalankan:

echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list

Perintah di atas membuat fail repositori baru untuk Elasticsearch dan menambahkan kemasukan sumber ke dalamnya. Sekarang import kunci PGP yang digunakan untuk menandatangani pakej.

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

Kemas kini metadata repositori APT dengan menjalankan:

sudo apt update

Pasang Elasticsearch dengan menjalankan perintah berikut.

sudo apt -y install elasticsearch

Perintah di atas akan memasang versi terbaru Elasticsearch pada sistem anda. Setelah Elasticsearch dipasang, muat semula daemon perkhidmatan Systemd dengan menjalankan:

sudo systemctl daemon-reload

Mulakan Elasticsearch dan aktifkan secara automatik pada waktu boot.

sudo systemctl enable elasticsearch
sudo systemctl start elasticsearch

Untuk menghentikan Elasticsearch, anda boleh menjalankan:

sudo systemctl stop elasticsearch

Untuk memeriksa status perkhidmatan, anda boleh menjalankan:

sudo systemctl status elasticsearch

Elasticsearch kini berjalan di pelabuhan 9200. Anda boleh mengesahkan sama ada ia berfungsi dan menghasilkan hasil dengan menjalankan perintah berikut.

curl -XGET 'localhost:9200/?pretty'

Mesej yang serupa dengan yang berikut akan dicetak.

user@vultr:~$ curl -XGET 'localhost:9200/?pretty'
{
  "name" : "wDaVa1K",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "71drjJ8PTyCcbai33Esy3Q",
  "version" : {
    "number" : "5.5.1",
    "build_hash" : "19c13d0",
    "build_date" : "2017-07-18T20:44:24.823Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.0"
  },
  "tagline" : "You Know, for Search"
}

Pasang X-Pack untuk Elasticsearch

X-Pack adalah plug-in Elastic Stack yang menyediakan banyak ciri tambahan seperti keselamatan, amaran, pemantauan, pelaporan, dan kemampuan grafik. X-Pack juga memberikan pengesahan pengguna untuk Elasticsearch dan Kibana, serta pemantauan nod yang berlainan di Kibana. Adalah penting bahawa X-Pack dan Elasticsearch dipasang dengan versi yang sama.

Anda boleh memasang X-Pack untuk Elasticsearch secara langsung dengan menjalankan:

cd /usr/share/elasticsearch
sudo bin/elasticsearch-plugin install x-pack

Untuk meneruskan pemasangan, masukkan yapabila diminta. Perintah ini akan memasang pemalam X-Pack ke sistem anda. Apabila dipasang, X-Pack membolehkan pengesahan untuk Elasticsearch. Nama pengguna lalai elasticdan kata laluan adalah changeme. Anda boleh memeriksa sama ada pengesahan diaktifkan dengan menjalankan perintah yang sama dengan yang anda jalankan untuk memeriksa sama ada Elasticsearch berfungsi.

curl -XGET 'localhost:9200/?pretty'

Sekarang output akan mengatakan bahawa pengesahan telah gagal.

user@vultr:~# curl -XGET 'localhost:9200/?pretty'
{
  "error" : {
    "root_cause" : [
      {
        "type" : "security_exception",
        "reason" : "missing authentication token for REST request [/?pretty]",
        "header" : {
          "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
        }
      }
    ],
    "type" : "security_exception",
    "reason" : "missing authentication token for REST request [/?pretty]",
    "header" : {
      "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
    }
  },
  "status" : 401
}

Tukar kata laluan lalai changemedengan menjalankan perintah berikut.

curl -XPUT -u elastic:changeme 'localhost:9200/_xpack/security/user/elastic/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewElasticPassword"
}
'

Ganti NewPassworddengan kata laluan sebenar yang anda mahu gunakan. Anda boleh memeriksa apakah kata laluan baru ditetapkan dan Elasticsearch berfungsi dengan menjalankan perintah berikut.

curl -XGET -u elastic:NewElasticPassword 'localhost:9200/?pretty'    

Anda akan melihat output yang menunjukkan kejayaan pelaksanaan pertanyaan.

Selanjutnya, edit fail konfigurasi Elasticsearch dengan menjalankan:

sudo nano /etc/elasticsearch/elasticsearch.yml

Cari baris berikut, tanggalkan garis dan ubah mengikut arahan yang diberikan.

#cluster.name: my-application    #Provide the name of your cluster
#node.name: node-1               #Provide the name of your node
#network.host: 192.168.0.1

Untuk network.host, berikan alamat IP peribadi yang diberikan kepada sistem. Mulakan semula contoh Elasticsearch dengan menjalankan:

sudo systemctl restart elasticsearch

Sekarang, sebagai gantinya localhost, anda perlu menggunakan alamat IP untuk menjalankan pertanyaan menggunakan curl.

curl -XGET -u elastic:NewElasticPassword '192.168.0.1:9200/?pretty'

Ganti 192.168.0.1dengan alamat IP peribadi sebenar pelayan. Setelah kami memasang Elasticsearch, teruskan memasang Kibana.

Langkah 4: Pasang Kibana

Kibana digunakan untuk memvisualisasikan log dan pandangan yang dapat dilaksanakan menggunakan antara muka web. Ia juga boleh digunakan untuk menguruskan Elasticsearch. Sebaiknya pasang versi Kibana yang sama dengan Elasticsearch.

Oleh kerana kami telah menambahkan repositori Elasticsearch dan kunci PGP, kami dapat memasang Kibana secara langsung dengan menjalankan:

sudo apt -y install kibana

Perintah sebelumnya akan memasang versi terbaru Kibana pada sistem anda. Setelah Kibana dipasang, muat semula daemon perkhidmatan Systemd dengan menjalankan:

sudo systemctl daemon-reload

Anda boleh memulakan Kibana dan mengaktifkannya secara automatik bermula pada waktu boot dengan menjalankan:

sudo systemctl enable kibana
sudo systemctl start kibana

Pasang X-Pack untuk Kibana

Anda boleh memasang X-Pack untuk Kibana secara langsung dengan menjalankan:

cd /usr/share/kibana
sudo bin/kibana-plugin install x-pack

X-Pack untuk Kibana mempunyai Grafik, Pembelajaran Mesin dan Pemantauan diaktifkan secara lalai. X-Pack juga membolehkan pengesahan untuk Kibana. Nama pengguna lalai kibanadan kata laluan adalah changeme. Penting untuk menukar kata laluan lalai pengguna Kibana. Jalankan arahan berikut untuk menukar kata laluan.

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/kibana/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewKibanaPassword"
}
'

Ganti 192.168.0.1dengan alamat IP peribadi sebenar pelayan dan NewKibanaPassworddengan kata laluan baru untuk pengguna Kibana.

Edit fail konfigurasi Kibana dengan menjalankan:

sudo nano /etc/kibana/kibana.yml

Cari garis berikut dan ubah nilainya mengikut arahan yang diberikan.

#elasticsearch.url: "http://localhost:9200"
#elasticsearch.username: "user"
#elasticsearch.password: "password"

Tolak baris di atas dan elasticsearch.urlberikan URL untuk contoh Elasticsearch. Alamat IP mestilah IP yang sama dengan yang digunakan elasticsearch.yml. Selanjutnya, menetapkan nama pengguna dari userkepada elasticdan juga menyediakan laluan pengguna elastik yang anda telah tetapkan sebelum ini.

Mulakan semula contoh Kibana dengan menjalankan:

sudo systemctl restart kibana

Pasang Nginx sebagai proksi terbalik untuk Kibana

Oleh kerana kita menjalankan Kibana localhostdi port 5601, disarankan untuk mengatur proksi terbalik dengan Apache atau Nginx untuk mengakses Kibana dari luar rangkaian tempatan. Dalam tutorial ini, kami akan menetapkan Nginx sebagai proksi terbalik untuk Kibana. Kami juga akan melindungi instance Nginx dengan sijil SSL percuma Let's Encrypt.

Pasang Nginx dengan menjalankan:

sudo apt -y install nginx

Mulakan dan aktifkan Nginx secara automatik pada waktu boot.

sudo systemctl start nginx
sudo systemctl enable nginx

Setelah pelayan web Nginx dipasang dan dijalankan, kita dapat terus memasang Certbot, yang merupakan klien sijil Let's Encrypt rasmi dan automatik. Tambahkan Certbot PPA ke sistem anda dengan menjalankan:

sudo add-apt-repository ppa:certbot/certbot

Kemas kini maklumat meta repositori.

sudo apt update

Sekarang anda boleh memasang versi terbaru Certbot dengan mudah dengan menjalankan:

sudo apt -y install python-certbot-nginx 

Perintah sebelumnya akan menyelesaikan dan memasang kebergantungan yang diperlukan bersama dengan paket Certbot.

Setelah kita memasang Certbot, buat sijil untuk domain anda dengan menjalankan:

sudo certbot certonly --webroot -w /var/www/html/ -d kibana.example.com

Jangan lupa menukar kibana.example.comdengan nama domain sebenar anda. Perintah sebelumnya akan menggunakan klien Certbot. The certonlyparameter memberitahu pelanggan Certbot untuk menjana sijil sahaja. Menggunakan pilihan ini memastikan bahawa sijil tidak dipasang secara automatik, dan konfigurasi Nginx tidak berubah. Pengesahan akan dilakukan dengan meletakkan fail cabaran di webrootdirektori yang ditentukan .

Certbot akan meminta anda memberikan alamat e-mel anda untuk menghantar notis pembaharuan. Anda juga perlu menerima perjanjian lesen.

Untuk mendapatkan sijil dari Let's Encrypt CA, anda mesti memastikan bahawa domain yang mana sijil yang ingin anda hasilkan diarahkan ke pelayan. Sekiranya tidak, lakukan perubahan yang diperlukan pada rekod DNS domain anda dan tunggu sehingga DNS disebarkan sebelum membuat permintaan sijil sekali lagi. Certbot memeriksa pihak berkuasa domain sebelum memberikan sijil.

Sijil yang dihasilkan kemungkinan akan disimpan dalam /etc/letsencrypt/live/kibana.example.com/direktori. Sijil SSL akan disimpan sebagai fullchain.pemdan kunci persendirian akan disimpan sebagai privkey.pem.

Let's Encrypt sijil akan tamat dalam 90 hari, oleh itu disarankan untuk menetapkan pembaharuan automatik untuk sijil menggunakan cronjobs. Cron adalah perkhidmatan sistem yang digunakan untuk menjalankan tugas berkala.

Buka fail kerja cron dengan menjalankan:

sudo crontab -e

Tambahkan garisan berikut pada akhir fail.

30 5 * * 1 /usr/bin/certbot renew -a nginx --quiet

Pekerjaan cron di atas akan dijalankan setiap hari Isnin jam 5:30 pagi. Sekiranya sijil perlu tamat, ia akan memperbaharuinya secara automatik.

Edit fail hos maya lalai untuk Nginx dengan menjalankan perintah berikut.

sudo nano /etc/nginx/sites-available/default

Gantikan kandungan yang ada dengan kandungan berikut.

server {
    listen 80 default_server;
    server_name kibana.example.com
    return 301 https://$server_name$request_uri;
}

server {
    listen 443 default_server ssl http2;

    server_name kibana.example.com;

    ssl_certificate           /etc/letsencrypt/live/kibana.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/kibana.example.com/privkey.pem;

    ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
    ssl_prefer_server_ciphers on;
    ssl_ciphers "EECDH+AESGCM:EDH+AESGCM:AES256+EECDH:AES256+EDH";
    ssl_ecdh_curve secp384r1;
    ssl_session_cache shared:SSL:10m;
    ssl_session_tickets off;
    ssl_stapling on;
    ssl_stapling_verify on;
    resolver 8.8.8.8 8.8.4.4 valid=300s;
    resolver_timeout 5s;
    add_header Strict-Transport-Security "max-age=63072000; includeSubdomains";
    add_header X-Frame-Options DENY;
    add_header X-Content-Type-Options nosniff;

    location / {
        proxy_pass http://localhost:5601;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection 'upgrade';
        proxy_set_header Host $host;
        proxy_cache_bypass $http_upgrade;
    }
}

Pastikan anda mengemas kini kibana.example.comdengan nama domain sebenar anda, juga mengesahkan laluan ke sijil SSL dan kunci peribadi.

Mulakan semula pelayan web Nginx dengan menjalankan:

sudo systemctl restart nginx

Sekiranya semuanya telah dikonfigurasi dengan betul, anda akan melihat skrin masuk Kibana. Log masuk menggunakan nama pengguna kibanadan kata laluan yang telah anda tetapkan. Anda harus berjaya log masuk dan melihat papan pemuka Kibana. Tinggalkan papan pemuka, buat masa ini, kami akan mengkonfigurasinya kemudian.

Pasang Logstash

Logstash juga boleh dipasang melalui repositori Elasticsearch rasmi yang kami tambahkan sebelumnya. Pasang Logstash dengan menjalankan:

sudo apt -y install logstash

Perintah di atas akan memasang versi terbaru Logstash pada sistem anda. Setelah Logstash dipasang, muat semula daemon perkhidmatan Systemd dengan menjalankan:

sudo systemctl daemon-reload

Mulakan Logstash dan aktifkan secara automatik semasa boot.

sudo systemctl enable logstash
sudo systemctl start logstash

Pasang X-Pack untuk Logstash

Anda boleh memasang X-Pack untuk Logstash secara langsung dengan menjalankan:

cd /usr/share/logstash
sudo bin/logstash-plugin install x-pack

X-Pack untuk Logstash dilengkapi dengan pengguna lalai logstash_system. Anda boleh menetapkan semula kata laluan dengan menjalankan:

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/logstash_system/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewLogstashPassword"
}
'

Ganti 192.168.0.1dengan alamat IP peribadi sebenar pelayan dan NewLogstashPassworddengan kata laluan baru untuk pengguna Logstash.

Sekarang mulakan semula perkhidmatan Logstash dengan menjalankan:

sudo systemctl restart logstash

Edit fail konfigurasi Logstash dengan menjalankan:

sudo nano /etc/logstash/logstash.yml

Tambahkan baris berikut di akhir fail untuk membolehkan pemantauan instance Logstash.

xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.url: http://192.168.0.1:9200
xpack.monitoring.elasticsearch.username: logstash_system
xpack.monitoring.elasticsearch.password: NewLogstashPassword

Ganti URL Elasticsearch dan kata laluan Logstash mengikut persediaan anda.

Anda kini boleh mengkonfigurasi Logstash untuk menerima data menggunakan Beats yang berbeza. Terdapat beberapa jenis Beats yang tersedia: Packetbeat, Metricbeat, Filebeat, Winlogbeat dan Heartbeat. Anda perlu memasang setiap Beat secara berasingan.

Kesimpulannya

Dalam tutorial ini, kami telah memasang Elastic Stack dengan X-Pack di Ubuntu 17.04. ELK Stack asas kini dipasang di pelayan anda.