Cara Memasang dan Mengkonfigurasi Tumpukan Elastis (Elasticsearch, Logstash dan Kibana) di Ubuntu 17.04

• Prasyarat
• Langkah 1: Lakukan pembaruan sistem
• Langkah 2: Instal Java
• Langkah 3: Instal Elasticsearch
• Langkah 4: Instal Kibana
• Instal Logstash
• Kesimpulan

Ketika infrastruktur TI bergerak ke cloud dan Internet of Things menjadi populer, organisasi dan profesional TI menggunakan layanan cloud publik untuk tingkat yang lebih besar. Karena server dan layanan yang berjalan di atasnya meningkat, jumlah log yang dihasilkan sistem juga meningkat. Analisis log ini sangat penting dalam suatu infrastruktur karena beberapa alasan. Ini termasuk kepatuhan terhadap kebijakan dan peraturan keamanan, pemecahan masalah sistem, menanggapi insiden terkait keamanan atau untuk memahami perilaku pengguna.

Tiga aplikasi open source yang sangat populer bernama Elasticsearch, Logstash dan Kibana bergabung bersama untuk membuat Elastic Stack atau ELK Stack. Elastic Stack adalah alat yang sangat kuat untuk mencari, menganalisis dan memvisualisasikan log dan data. Elasticsearch adalah aplikasi terdistribusi, waktu nyata, terukur, dan sangat tersedia untuk menyimpan log dan mencari melalui mereka. Logstash mengumpulkan log yang dikirim oleh Beats, meningkatkannya, dan kemudian mengirimkannya ke Elasticsearch. Kibana adalah UI web yang digunakan untuk memvisualisasikan log dan wawasan yang dapat ditindaklanjuti.

Dalam tutorial ini, kita akan menginstal versi terbaru dari Elasticsearch, Logstash dan Kibana dengan X-Pack di Ubuntu 17.04.

Prasyarat

Untuk mengikuti tutorial ini, Anda memerlukan instance server Vultr 64-bit Ubuntu 17.04 dengan setidaknya 4 GB RAM . Untuk lingkungan produksi, persyaratan perangkat keras meningkat dengan jumlah pengguna dan log.

Tutorial ini ditulis dari sudosudut pandang pengguna. Untuk mengatur pengguna sudo ikuti Cara Menggunakan Sudo pada panduan Debian .

Anda juga akan memerlukan domain yang diarahkan ke server Anda untuk mendapatkan sertifikat dari Let's Encrypt CA.

Langkah 1: Lakukan pembaruan sistem

Sebelum menginstal paket apa pun pada instance server Ubuntu, disarankan untuk memperbarui sistem. Masuk menggunakan pengguna sudo dan jalankan perintah berikut untuk memperbarui sistem.

sudo apt update
sudo apt -y upgrade

Setelah sistem selesai ditingkatkan, lanjutkan ke langkah berikutnya.

Langkah 2: Instal Java

Elasticsearch membutuhkan Java 8 untuk bekerja. Ini mendukung Oracle Java dan OpenJDK. Bagian tutorial ini menunjukkan pemasangan Oracle Java dan OpenJDK.

Pastikan Anda menginstal salah satu dari versi Java berikut. Instalasi Oracle Java direkomendasikan untuk Elasticsearch. Namun, Anda juga dapat memilih untuk menginstal OpenJDK sesuai dengan preferensi Anda.

Menginstal Oracle Java

Untuk menginstal Oracle Java pada sistem Ubuntu Anda, Anda perlu menambahkan Oracle Java PPA dengan menjalankan:

sudo add-apt-repository ppa:webupd8team/java

Sekarang perbarui informasi repositori dengan menjalankan:

sudo apt update

Sekarang Anda dapat dengan mudah menginstal versi stabil Java 8 terbaru dengan menjalankan:

sudo apt -y install oracle-java8-installer

Terima perjanjian lisensi saat diminta. Setelah instalasi selesai, Anda dapat memverifikasi versi Java dengan menjalankan:

java -version

Anda akan melihat output yang mirip dengan:

user@vultr:~$ java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

Anda juga dapat mengatur JAVA_HOMEdan default lainnya dengan menginstal oracle-java8-set-default. Lari:

sudo apt -y install oracle-java8-set-default

Anda sekarang dapat memverifikasi jika JAVA_HOMEvariabel diatur dengan menjalankan:

echo "$JAVA_HOME"

Outputnya harus menyerupai:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-oracle

Jika Anda tidak mendapatkan output seperti yang ditunjukkan di atas, Anda mungkin harus keluar dan masuk lagi ke shell. Oracle Java sekarang diinstal di server Anda. Anda sekarang dapat melanjutkan ke Langkah 3 dari tutorial lewati instalasi OpenJDK.

Menginstal OpenJDK

Instalasi OpenJDK cukup mudah. Cukup jalankan perintah berikut untuk menginstal OpenJDK.

sudo apt -y install default-jdk

Setelah instalasi selesai, Anda dapat memverifikasi versi Java dengan menjalankan:

java -version

Anda akan melihat output yang mirip dengan:

user@vultr:~$ java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-8u131-b11-2ubuntu1.17.04.2-b11)
OpenJDK 64-Bit Server VM (build 25.131-b11, mixed mode)

Untuk mengatur JAVA_HOMEvariabel, jalankan perintah berikut:

sudo echo "JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64" >> /etc/environment

Muat ulang file lingkungan dengan menjalankan:

sudo source /etc/environment

Anda sekarang dapat memverifikasi jika JAVA_HOMEvariabel diatur dengan menjalankan:

echo "$JAVA_HOME"

Outputnya harus menyerupai:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-openjdk-amd64/

Langkah 3: Instal Elasticsearch

Elasticsearch adalah mesin pencari RESTful super cepat, terdistribusi, sangat tersedia. Tambahkan repositori APT Elasticsearch dengan menjalankan:

echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list

Perintah di atas membuat file repositori baru untuk Elasticsearch dan menambahkan entri sumber ke dalamnya. Sekarang impor kunci PGP yang digunakan untuk menandatangani paket.

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

Perbarui metadata repositori APT dengan menjalankan:

sudo apt update

Instal Elasticsearch dengan menjalankan perintah berikut.

sudo apt -y install elasticsearch

Perintah di atas akan menginstal versi terbaru Elasticsearch di sistem Anda. Setelah Elasticsearch diinstal, muat ulang daemon layanan Systemd dengan menjalankan:

sudo systemctl daemon-reload

Mulai Elasticsearch dan aktifkan untuk memulai secara otomatis saat boot.

sudo systemctl enable elasticsearch
sudo systemctl start elasticsearch

Untuk menghentikan Elasticsearch, Anda dapat menjalankan:

sudo systemctl stop elasticsearch

Untuk memeriksa status layanan yang dapat Anda jalankan:

sudo systemctl status elasticsearch

Elasticsearch sekarang berjalan di port 9200. Anda dapat memverifikasi apakah itu berfungsi dan menghasilkan hasil dengan menjalankan perintah berikut.

curl -XGET 'localhost:9200/?pretty'

Pesan yang mirip dengan yang berikut ini akan dicetak.

user@vultr:~$ curl -XGET 'localhost:9200/?pretty'
{
  "name" : "wDaVa1K",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "71drjJ8PTyCcbai33Esy3Q",
  "version" : {
    "number" : "5.5.1",
    "build_hash" : "19c13d0",
    "build_date" : "2017-07-18T20:44:24.823Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.0"
  },
  "tagline" : "You Know, for Search"
}

Instal X-Pack untuk Elasticsearch

X-Pack adalah plug-in Elastic Stack yang menyediakan banyak fitur tambahan seperti keamanan, peringatan, pemantauan, pelaporan, dan kemampuan grafik. X-Pack juga menyediakan otentikasi pengguna untuk Elasticsearch dan Kibana, serta pemantauan berbagai node di Kibana. Penting bahwa X-Pack dan Elasticsearch diinstal dengan versi yang sama.

Anda dapat menginstal X-Pack untuk Elasticsearch secara langsung dengan menjalankan:

cd /usr/share/elasticsearch
sudo bin/elasticsearch-plugin install x-pack

Untuk melanjutkan instalasi, masukkan ysaat diminta. Perintah ini akan menginstal plugin X-Pack ke sistem Anda. Ketika diinstal, X-Pack memungkinkan otentikasi untuk Elasticsearch. Nama pengguna default adalah elasticdan kata sandi adalah changeme. Anda dapat memeriksa apakah otentikasi diaktifkan dengan menjalankan perintah yang sama dengan yang Anda jalankan untuk memeriksa apakah Elasticsearch berfungsi.

curl -XGET 'localhost:9200/?pretty'

Sekarang output akan mengatakan bahwa otentikasi gagal.

user@vultr:~# curl -XGET 'localhost:9200/?pretty'
{
  "error" : {
    "root_cause" : [
      {
        "type" : "security_exception",
        "reason" : "missing authentication token for REST request [/?pretty]",
        "header" : {
          "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
        }
      }
    ],
    "type" : "security_exception",
    "reason" : "missing authentication token for REST request [/?pretty]",
    "header" : {
      "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
    }
  },
  "status" : 401
}

Ubah kata sandi default changemedengan menjalankan perintah berikut.

curl -XPUT -u elastic:changeme 'localhost:9200/_xpack/security/user/elastic/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewElasticPassword"
}
'

Ganti NewPassworddengan kata sandi aktual yang ingin Anda gunakan. Anda dapat memeriksa apakah kata sandi baru telah disetel dan Elasticsearch bekerja dengan menjalankan perintah berikut.

curl -XGET -u elastic:NewElasticPassword 'localhost:9200/?pretty'    

Anda akan melihat output yang menunjukkan eksekusi permintaan yang berhasil.

Selanjutnya, edit file konfigurasi Elasticsearch dengan menjalankan:

sudo nano /etc/elasticsearch/elasticsearch.yml

Temukan baris berikut, batalkan komentar pada baris dan ubah sesuai dengan instruksi yang diberikan.

#cluster.name: my-application    #Provide the name of your cluster
#node.name: node-1               #Provide the name of your node
#network.host: 192.168.0.1

Untuk network.host, berikan alamat IP pribadi yang ditetapkan untuk sistem. Mulai ulang instance Elasticsearch dengan menjalankan:

sudo systemctl restart elasticsearch

Sekarang, alih-alih localhost, Anda harus menggunakan alamat IP untuk menjalankan kueri menggunakan curl.

curl -XGET -u elastic:NewElasticPassword '192.168.0.1:9200/?pretty'

Ganti 192.168.0.1dengan alamat IP pribadi server yang sebenarnya. Sekarang kami telah menginstal Elasticsearch, lanjutkan untuk menginstal Kibana.

Langkah 4: Instal Kibana

Kibana digunakan untuk memvisualisasikan log dan wawasan yang dapat ditindaklanjuti menggunakan antarmuka web. Itu juga dapat digunakan untuk mengelola Elasticsearch. Disarankan untuk menginstal versi Kibana yang sama dengan Elasticsearch.

Karena kami telah menambahkan repositori dan kunci PGP Elasticsearch, kami dapat menginstal Kibana secara langsung dengan menjalankan:

sudo apt -y install kibana

Perintah sebelumnya akan menginstal versi terbaru Kibana di sistem Anda. Setelah Kibana diinstal, muat ulang daemon layanan Systemd dengan menjalankan:

sudo systemctl daemon-reload

Anda dapat memulai Kibana dan mengaktifkannya untuk mulai secara otomatis saat boot dengan menjalankan:

sudo systemctl enable kibana
sudo systemctl start kibana

Instal X-Pack untuk Kibana

Anda dapat menginstal X-Pack untuk Kibana secara langsung dengan menjalankan:

cd /usr/share/kibana
sudo bin/kibana-plugin install x-pack

X-Pack untuk Kibana memiliki Grafik, Pembelajaran Mesin dan Pemantauan diaktifkan secara default. X-Pack juga memungkinkan otentikasi untuk Kibana. Nama pengguna default adalah kibanadan kata sandi adalah changeme. Penting untuk mengubah kata sandi default pengguna Kibana. Jalankan perintah berikut untuk mengubah kata sandi.

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/kibana/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewKibanaPassword"
}
'

Ganti 192.168.0.1dengan alamat IP pribadi aktual server dan NewKibanaPassworddengan kata sandi baru untuk pengguna Kibana.

Edit file konfigurasi Kibana dengan menjalankan:

sudo nano /etc/kibana/kibana.yml

Temukan baris berikut dan ubah nilainya sesuai dengan instruksi yang diberikan.

#elasticsearch.url: "http://localhost:9200"
#elasticsearch.username: "user"
#elasticsearch.password: "password"

Batalkan komentar pada baris di atas dan, dalam elasticsearch.urlmemberikan URL untuk instance Elasticsearch. Alamat IP harus IP yang sama dengan yang digunakan di elasticsearch.yml. Selanjutnya, atur nama pengguna dari userke elasticdan juga berikan kata sandi pengguna elastis yang telah Anda atur sebelumnya.

Mulai ulang instance Kibana dengan menjalankan:

sudo systemctl restart kibana

Instal Nginx sebagai proxy terbalik untuk Kibana

Karena kita menjalankan Kibana localhostdi port 5601, disarankan untuk mengatur proxy terbalik dengan Apache atau Nginx untuk mengakses Kibana dari luar jaringan lokal. Dalam tutorial ini, kita akan mengatur Nginx sebagai proxy terbalik untuk Kibana. Kami juga akan mengamankan instance Nginx dengan sertifikat SSL gratis Mari Enkripsi.

Instal Nginx dengan menjalankan:

sudo apt -y install nginx

Mulai dan aktifkan Nginx untuk mulai secara otomatis saat boot.

sudo systemctl start nginx
sudo systemctl enable nginx

Sekarang setelah server web Nginx terinstal dan berjalan, kita dapat melanjutkan untuk menginstal Certbot, yang merupakan klien sertifikat Let's Encrypt resmi dan otomatis. Tambahkan Certbot PPA ke sistem Anda dengan menjalankan:

sudo add-apt-repository ppa:certbot/certbot

Perbarui informasi meta repositori.

sudo apt update

Sekarang Anda dapat dengan mudah menginstal versi terbaru Certbot dengan menjalankan:

sudo apt -y install python-certbot-nginx 

Perintah sebelumnya akan menyelesaikan dan menginstal dependensi yang diperlukan bersama dengan paket Certbot.

Sekarang kami telah menginstal Certbot, buat sertifikat untuk domain Anda dengan menjalankan:

sudo certbot certonly --webroot -w /var/www/html/ -d kibana.example.com

Jangan lupa ganti kibana.example.comdengan nama domain Anda yang sebenarnya. Perintah sebelumnya akan menggunakan klien Certbot. The certonlyparameter memberitahu klien Certbot untuk menghasilkan sertifikat saja. Menggunakan opsi ini memastikan bahwa sertifikat tidak diinstal secara otomatis, dan konfigurasi Nginx tidak berubah. Verifikasi akan dilakukan dengan menempatkan file tantangan di webrootdirektori yang ditentukan .

Certbot akan meminta Anda untuk memberikan alamat email Anda untuk mengirim pemberitahuan perpanjangan. Anda juga harus menerima perjanjian lisensi.

Untuk mendapatkan sertifikat dari Let's Encrypt CA, Anda harus memastikan bahwa domain tempat sertifikat yang ingin Anda buat diarahkan ke server. Jika tidak, maka buat perubahan yang diperlukan pada catatan DNS domain Anda dan tunggu sampai DNS menyebar sebelum membuat permintaan sertifikat lagi. Certbot memeriksa otoritas domain sebelum memberikan sertifikat.

Sertifikat yang dihasilkan cenderung disimpan di /etc/letsencrypt/live/kibana.example.com/direktori. Sertifikat SSL akan disimpan sebagai fullchain.pemdan kunci pribadi akan disimpan sebagai privkey.pem.

Enkripsi sertifikat Let's akan kedaluwarsa dalam 90 hari, oleh karena itu disarankan untuk mengatur pembaruan otomatis untuk sertifikat menggunakan cronjobs. Cron adalah layanan sistem yang digunakan untuk menjalankan tugas-tugas berkala.

Buka file tugas cron dengan menjalankan:

sudo crontab -e

Tambahkan baris berikut di akhir file.

30 5 * * 1 /usr/bin/certbot renew -a nginx --quiet

Pekerjaan cron di atas akan berjalan setiap hari Senin jam 5:30 pagi. Jika sertifikat jatuh tempo, sertifikat akan diperpanjang secara otomatis.

Edit file host virtual default untuk Nginx dengan menjalankan perintah berikut.

sudo nano /etc/nginx/sites-available/default

Ganti konten yang ada dengan konten berikut.

server {
    listen 80 default_server;
    server_name kibana.example.com
    return 301 https://$server_name$request_uri;
}

server {
    listen 443 default_server ssl http2;

    server_name kibana.example.com;

    ssl_certificate           /etc/letsencrypt/live/kibana.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/kibana.example.com/privkey.pem;

    ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
    ssl_prefer_server_ciphers on;
    ssl_ciphers "EECDH+AESGCM:EDH+AESGCM:AES256+EECDH:AES256+EDH";
    ssl_ecdh_curve secp384r1;
    ssl_session_cache shared:SSL:10m;
    ssl_session_tickets off;
    ssl_stapling on;
    ssl_stapling_verify on;
    resolver 8.8.8.8 8.8.4.4 valid=300s;
    resolver_timeout 5s;
    add_header Strict-Transport-Security "max-age=63072000; includeSubdomains";
    add_header X-Frame-Options DENY;
    add_header X-Content-Type-Options nosniff;

    location / {
        proxy_pass http://localhost:5601;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection 'upgrade';
        proxy_set_header Host $host;
        proxy_cache_bypass $http_upgrade;
    }
}

Pastikan Anda memperbarui kibana.example.comdengan nama domain Anda yang sebenarnya, juga memverifikasi jalur ke sertifikat SSL dan kunci pribadi.

Mulai ulang server web Nginx dengan menjalankan:

sudo systemctl restart nginx

Jika semuanya telah dikonfigurasi dengan benar, Anda akan melihat layar login Kibana. Login menggunakan nama pengguna kibanadan kata sandi yang telah Anda tetapkan. Anda harus berhasil masuk dan melihat dasbor Kibana. Biarkan dashboard, untuk sekarang, kita akan mengkonfigurasinya nanti.

Instal Logstash

Logstash juga dapat diinstal melalui repositori resmi Elasticsearch yang telah kami tambahkan sebelumnya. Instal Logstash dengan menjalankan:

sudo apt -y install logstash

Perintah di atas akan menginstal versi terbaru dari Logstash di sistem Anda. Setelah Logstash diinstal, muat ulang daemon layanan Systemd dengan menjalankan:

sudo systemctl daemon-reload

Mulai Logstash dan aktifkan untuk memulai secara otomatis saat boot.

sudo systemctl enable logstash
sudo systemctl start logstash

Instal X-Pack untuk Logstash

Anda dapat menginstal X-Pack untuk Logstash secara langsung dengan menjalankan:

cd /usr/share/logstash
sudo bin/logstash-plugin install x-pack

X-Pack for Logstash hadir dengan pengguna default logstash_system. Anda dapat mengatur ulang kata sandi dengan menjalankan:

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/logstash_system/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewLogstashPassword"
}
'

Ganti 192.168.0.1dengan alamat IP pribadi aktual dari server dan NewLogstashPassworddengan kata sandi baru untuk pengguna Logstash.

Sekarang mulai ulang layanan Logstash dengan menjalankan:

sudo systemctl restart logstash

Edit file konfigurasi Logstash dengan menjalankan:

sudo nano /etc/logstash/logstash.yml

Tambahkan baris berikut di akhir file untuk memungkinkan pemantauan instance Logstash.

xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.url: http://192.168.0.1:9200
xpack.monitoring.elasticsearch.username: logstash_system
xpack.monitoring.elasticsearch.password: NewLogstashPassword

Ganti URL Elasticsearch dan kata sandi Logstash sesuai dengan pengaturan Anda.

Anda sekarang dapat mengonfigurasi Logstash untuk menerima data menggunakan Beats berbeda. Ada beberapa jenis Beats yang tersedia: Packetbeat, Metricbeat, Filebeat, Winlogbeat dan Heartbeat. Anda harus memasang setiap Beat secara terpisah.

Kesimpulan

Dalam tutorial ini, kami telah menginstal Elastic Stack with X-Pack pada Ubuntu 17.04. Stack ELK dasar sekarang diinstal di server Anda.