Ubuntu 17.04 Üzerinde Elastik Yığın (Elasticsearch, Logstash ve Kibana) Kurulumu ve Konfigürasyonu

• Ön şartlar
• 1. Adım: Sistem güncellemesi yapın
• Adım 2: Java'yı yükleyin
• 3. Adım: Elasticsearch'ü yükleyin
• Adım 4: Kibana'yı yükleyin
• Logstash'ı yükleyin
• Sonuç

BT altyapısı buluta geçtikçe ve Nesnelerin İnterneti popüler hale geldikçe, kuruluşlar ve BT uzmanları genel bulut hizmetlerini daha fazla kullanıyor. Üzerinde çalışan sunucular ve hizmetler arttıkça, sistem tarafından oluşturulan günlüklerin sayısı da artmaktadır. Bu kayıtların analizi bir altyapıda çeşitli nedenlerden dolayı çok önemlidir. Bu, güvenlik politikalarına ve yönetmeliklerine uyumu, sistem sorunlarını giderme, güvenlikle ilgili bir olaya yanıt verme veya kullanıcı davranışını anlama içerir.

Elasticsearch, Logstash ve Kibana adında çok popüler üç açık kaynaklı uygulama, Elastik Yığın veya ELK Yığını oluşturmak için bir araya gelir. Elastik Yığın, günlükleri ve verileri aramak, analiz etmek ve görselleştirmek için çok güçlü bir araçtır. Elasticsearch, günlükleri depolamak ve bunlar arasında arama yapmak için dağıtılmış, gerçek zamanlı, ölçeklenebilir ve yüksek oranda kullanılabilir bir uygulamadır. Logstash, Beats tarafından gönderilen günlükleri toplar, geliştirir ve ardından Elasticsearch'e gönderir. Kibana, günlükleri ve işlem yapılabilir bilgileri görselleştirmek için kullanılan web kullanıcı arayüzüdür.

Bu derste, Ubuntu 17.04'e Elasticsearch, Logstash ve Kibana'nın en son sürümünü X-Pack ile yükleyeceğiz.

Ön şartlar

Bu eğiticiyi takip etmek için en az 4 GB RAM'e sahip bir Vultr 64 bit Ubuntu 17.04 sunucu örneğine ihtiyacınız olacaktır . Üretim ortamı için, donanım gereksinimleri kullanıcı ve günlük sayısı ile artar.

Bu öğretici bir sudokullanıcı bakış açısıyla yazılmıştır . Bir sudo kullanıcısı kurmak için Debian'da Sudo Nasıl Kullanılır kılavuzunu izleyin .

Ayrıca Let's Encrypt CA'dan sertifika almak için sunucunuza dönük bir alan adınızın olması gerekir.

1. Adım: Sistem güncellemesi yapın

Ubuntu sunucusu örneğine herhangi bir paket kurmadan önce, sistemin güncellenmesi önerilir. Sudo kullanıcısını kullanarak oturum açın ve sistemi güncellemek için aşağıdaki komutları çalıştırın.

sudo apt update
sudo apt -y upgrade

Sistem yükseltmeyi bitirdikten sonra, bir sonraki adıma geçin.

Adım 2: Java'yı yükleyin

Elasticsearch, Java 8'in çalışmasını gerektirir. Hem Oracle Java hem de OpenJDK'yı destekler. Öğreticinin bu bölümü hem Oracle Java hem de OpenJDK kurulumunu gösterir.

Aşağıdaki Java sürümlerinden birini yüklediğinizden emin olun. Elasticsearch için Oracle Java kurulumu önerilir. Ancak, OpenJDK'yı tercihinize göre yüklemeyi de seçebilirsiniz.

Oracle Java'yı Yükleme

Oracle Java'yı Ubuntu sisteminize yüklemek için, Oracle Java PPA'yı aşağıdakileri çalıştırarak eklemeniz gerekir:

sudo add-apt-repository ppa:webupd8team/java

Şimdi depo bilgilerini çalıştırarak güncelleyin:

sudo apt update

Artık Java 8'in en son kararlı sürümünü çalıştırarak kolayca yükleyebilirsiniz:

sudo apt -y install oracle-java8-installer

İstendiğinde lisans sözleşmesini kabul edin. Yükleme tamamlandığında, Java sürümünü aşağıdakileri çalıştırarak doğrulayabilirsiniz:

java -version

Şuna benzer bir çıktı görmelisiniz:

user@vultr:~$ java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

Ayrıca JAVA_HOMEyükleyerek ve diğer varsayılanları da ayarlayabilirsiniz oracle-java8-set-default. Çalıştırmak:

sudo apt -y install oracle-java8-set-default

Şimdi JAVA_HOMEdeğişkenin ayarlanıp ayarlanmadığını şu komutla doğrulayabilirsiniz :

echo "$JAVA_HOME"

Çıktı benzemelidir:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-oracle

Yukarıda gösterilen çıktıyı almazsanız, oturumu kapatıp tekrar kabukta oturum açmanız gerekebilir. Oracle Java artık sunucunuza yüklenmiştir. Şimdi OpenJDK'nın öğretici atlama kurulumunun 3. Adımına geçebilirsiniz.

OpenJDK Kurulumu

OpenJDK kurulumu oldukça basittir. OpenJDK'yı kurmak için aşağıdaki komutu çalıştırmanız yeterlidir.

sudo apt -y install default-jdk

Yükleme tamamlandığında, Java sürümünü aşağıdakileri çalıştırarak doğrulayabilirsiniz:

java -version

Şuna benzer bir çıktı görmelisiniz:

user@vultr:~$ java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-8u131-b11-2ubuntu1.17.04.2-b11)
OpenJDK 64-Bit Server VM (build 25.131-b11, mixed mode)

JAVA_HOMEDeğişkeni ayarlamak için aşağıdaki komutu çalıştırın:

sudo echo "JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64" >> /etc/environment

Ortam dosyasını çalıştırarak yeniden yükleyin:

sudo source /etc/environment

Şimdi JAVA_HOMEdeğişkenin ayarlanıp ayarlanmadığını şu komutla doğrulayabilirsiniz :

echo "$JAVA_HOME"

Çıktı benzemelidir:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-openjdk-amd64/

3. Adım: Elasticsearch'ü yükleyin

Elasticsearch süper hızlı, dağıtılmış, yüksek kullanılabilirliğe sahip RESTful arama motorudur. Elasticsearch APT deposunu çalıştırarak ekleyin:

echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list

Yukarıdaki komut Elasticsearch için yeni bir havuz dosyası oluşturur ve kaynak girişi bu dosyaya ekler. Şimdi paketleri imzalamak için kullanılan PGP anahtarını içe aktarın.

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

APT veri havuzu meta verilerini çalıştırarak güncelleyin:

sudo apt update

Aşağıdaki komutu çalıştırarak Elasticsearch'ü kurun.

sudo apt -y install elasticsearch

Yukarıdaki komut, Elasticsearch'ün en son sürümünü sisteminize yükleyecektir. Elasticsearch yüklendikten sonra, Systemd hizmet arka plan programını çalıştırarak yeniden yükleyin:

sudo systemctl daemon-reload

Elasticsearch'ü başlatın ve önyükleme zamanında otomatik olarak başlamasını sağlayın.

sudo systemctl enable elasticsearch
sudo systemctl start elasticsearch

Elasticsearch'ü durdurmak için şunları çalıştırabilirsiniz:

sudo systemctl stop elasticsearch

Hizmetin durumunu kontrol etmek için çalıştırabilirsiniz:

sudo systemctl status elasticsearch

Elasticsearch şimdi bağlantı noktasında çalışıyor 9200. Aşağıdaki komutu çalıştırarak çalışıp çalışmadığını doğrulayabilirsiniz.

curl -XGET 'localhost:9200/?pretty'

Aşağıdakine benzer bir mesaj yazdırılacaktır.

user@vultr:~$ curl -XGET 'localhost:9200/?pretty'
{
  "name" : "wDaVa1K",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "71drjJ8PTyCcbai33Esy3Q",
  "version" : {
    "number" : "5.5.1",
    "build_hash" : "19c13d0",
    "build_date" : "2017-07-18T20:44:24.823Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.0"
  },
  "tagline" : "You Know, for Search"
}

Elasticsearch için X-Pack'i yükleyin

X-Pack, güvenlik, uyarı, izleme, raporlama ve grafik özellikleri gibi birçok ek özellik sağlayan bir Elastik Yığın eklentisidir. X-Pack aynı zamanda Elasticsearch ve Kibana için kullanıcı kimlik doğrulaması ve Kibana'daki farklı düğümlerin izlenmesini sağlar. X-Pack ve Elasticsearch'ün aynı sürümle yüklenmesi önemlidir.

Elasticsearch için X-Pack'i doğrudan çalıştırarak kurabilirsiniz:

cd /usr/share/elasticsearch
sudo bin/elasticsearch-plugin install x-pack

Kuruluma devam etmek için yistendiğinde girin . Bu komut, X-Pack eklentisini sisteminize yükleyecektir. Yüklendiğinde, X-Pack Elasticsearch için kimlik doğrulamayı etkinleştirir. Varsayılan kullanıcı adı elasticve şifre changeme. Elasticsearch'ün çalışıp çalışmadığını kontrol etmek için çalıştırdığınız komutu çalıştırarak kimlik doğrulamanın etkin olup olmadığını kontrol edebilirsiniz.

curl -XGET 'localhost:9200/?pretty'

Şimdi çıktı, kimlik doğrulamanın başarısız olduğunu söyleyecektir.

user@vultr:~# curl -XGET 'localhost:9200/?pretty'
{
  "error" : {
    "root_cause" : [
      {
        "type" : "security_exception",
        "reason" : "missing authentication token for REST request [/?pretty]",
        "header" : {
          "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
        }
      }
    ],
    "type" : "security_exception",
    "reason" : "missing authentication token for REST request [/?pretty]",
    "header" : {
      "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
    }
  },
  "status" : 401
}

changemeAşağıdaki komutu çalıştırarak varsayılan şifreyi değiştirin .

curl -XPUT -u elastic:changeme 'localhost:9200/_xpack/security/user/elastic/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewElasticPassword"
}
'

Kullanmak NewPasswordistediğiniz gerçek şifreyle değiştirin . Aşağıdaki komutu çalıştırarak yeni parolanın ayarlanıp ayarlanmadığını ve Elasticsearch'ün çalışıp çalışmadığını kontrol edebilirsiniz.

curl -XGET -u elastic:NewElasticPassword 'localhost:9200/?pretty'    

Sorgunun başarıyla yürütüldüğünü gösteren çıktıyı göreceksiniz.

Ayrıca, Elasticsearch yapılandırma dosyasını çalıştırarak düzenleyin:

sudo nano /etc/elasticsearch/elasticsearch.yml

Aşağıdaki satırları bulun, hatları açın ve verilen talimatlara göre değiştirin.

#cluster.name: my-application    #Provide the name of your cluster
#node.name: node-1               #Provide the name of your node
#network.host: 192.168.0.1

İçin network.host, sisteme atanan özel IP adresini girin. Elasticsearch örneğini çalıştırarak yeniden başlatın:

sudo systemctl restart elasticsearch

Şimdi bunun yerine localhost, sorguyu kullanarak çalıştırmak için IP adresini kullanmanız gerekecektir curl.

curl -XGET -u elastic:NewElasticPassword '192.168.0.1:9200/?pretty'

192.168.0.1Sunucunun gerçek özel IP adresiyle değiştirin . Elasticsearch'ü kurduğumuza göre, Kibana'yı yüklemeye devam edin.

Adım 4: Kibana'yı yükleyin

Kibana, bir web arayüzü kullanarak günlükleri ve işlem yapılabilir bilgileri görselleştirmek için kullanılır. Elasticsearch'ü yönetmek için de kullanılabilir. Elasticsearch ile aynı Kibana versiyonunun kurulması tavsiye edilir.

Elasticsearch veri havuzunu ve PGP anahtarını zaten eklediğimizden, Kibana'yı doğrudan çalıştırarak kurabiliriz:

sudo apt -y install kibana

Önceki komut sisteminize Kibana'nın en son sürümünü yükleyecektir. Kibana kurulduktan sonra, Systemd hizmet arka plan programını çalıştırarak yeniden yükleyin:

sudo systemctl daemon-reload

Kibana'yı başlatabilir ve önyükleme sırasında çalıştırarak otomatik olarak başlamasını sağlayabilirsiniz:

sudo systemctl enable kibana
sudo systemctl start kibana

Kibana için X-Pack'i yükleyin

Kibana için X-Pack'i doğrudan çalıştırarak kurabilirsiniz:

cd /usr/share/kibana
sudo bin/kibana-plugin install x-pack

Kibana için X-Pack varsayılan olarak Grafik, Makine Öğrenimi ve İzleme özelliğine sahiptir. X-Pack ayrıca Kibana için kimlik doğrulaması da sağlar. Varsayılan kullanıcı adı kibanave şifre changeme. Kibana kullanıcısının varsayılan şifresini değiştirmek önemlidir. Parolayı değiştirmek için aşağıdaki komutu çalıştırın.

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/kibana/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewKibanaPassword"
}
'

Değiştir 192.168.0.1sunucunun gerçek özel IP adresine sahip ve NewKibanaPasswordKibana kullanıcı için yeni şifre ile.

Kibana yapılandırma dosyasını çalıştırarak düzenleyin:

sudo nano /etc/kibana/kibana.yml

Aşağıdaki satırları bulun ve verilen talimatlara göre değerleri değiştirin.

#elasticsearch.url: "http://localhost:9200"
#elasticsearch.username: "user"
#elasticsearch.password: "password"

Yukarıdaki satırların işaretini kaldırın ve elasticsearch.urlElasticsearch örneği için URL'yi sağlayın. IP adresi, kullanılan IP ile aynı olmalıdır elasticsearch.yml. Ayrıca, gelen kullanıcı adı ayarlamak useriçin elasticve ayrıca daha önce ayarlamış elastik kullanıcının şifresini sağlarlar.

Kibana örneğini çalıştırarak yeniden başlatın:

sudo systemctl restart kibana

Kibana için Nginx'i ters proxy olarak yükleyin

Kibana'yı localhostbağlantı noktasında çalıştırdığımız 5601için, yerel ağ dışından Kibana'ya erişmek için Apache veya Nginx ile bir ters proxy kurmanız önerilir. Bu derste, Nginx'i Kibana için ters proxy olarak ayarlayacağız. Ayrıca Nginx örneğini Let's Encrypt ücretsiz SSL sertifikasıyla güvence altına alacağız.

Nginx'i çalıştırarak yükleyin:

sudo apt -y install nginx

Başlat ve Nginx'in önyükleme zamanında otomatik olarak başlamasını etkinleştir.

sudo systemctl start nginx
sudo systemctl enable nginx

Artık Nginx web sunucusu yüklü ve çalışıyor, resmi ve otomatik Let's Encrypt sertifika istemcisi olan Certbot'u kurmaya devam edebiliriz. Certbot PPA'yı çalıştırarak sisteminize ekleyin:

sudo add-apt-repository ppa:certbot/certbot

Havuz meta bilgilerini güncelleyin.

sudo apt update

Şimdi Certbot'un en son sürümünü çalıştırarak kolayca yükleyebilirsiniz:

sudo apt -y install python-certbot-nginx 

Önceki komut, Certbot paketi ile birlikte gerekli bağımlılıkları çözecek ve yükleyecektir.

Artık Certbot'u yüklediğimize göre, çalıştırarak alan adınız için sertifikalar oluşturun:

sudo certbot certonly --webroot -w /var/www/html/ -d kibana.example.com

kibana.example.comGerçek alan adınızla değiştirmeyi unutmayın . Önceki komut Certbot istemcisini kullanır. certonlyParametresi yalnızca sertifika nasıl oluşturulur Certbot müşteri söyler. Bu seçeneğin kullanılması sertifikaların otomatik olarak yüklenmemesini ve Nginx yapılandırmasının değişmemesini sağlar. Doğrulama, deneme dosyalarını belirtilen webrootdizine yerleştirerek yapılacaktır .

Certbot, yenileme bildirimi göndermek için sizden e-posta adresinizi vermenizi isteyecektir. Ayrıca lisans sözleşmesini de kabul etmeniz gerekir.

Let's Encrypt CA'dan sertifika almak için, oluşturmak istediğiniz sertifikaların etki alanının sunucuya yönlendirildiğinden emin olmalısınız. Değilse, alan adınızın DNS kayıtlarında gerekli değişiklikleri yapın ve sertifika isteğini tekrar yapmadan önce DNS'nin yayılmasını bekleyin. Certbot, sertifikaları vermeden önce etki alanı yetkilisini denetler.

Oluşturulan sertifikaların /etc/letsencrypt/live/kibana.example.com/dizinde depolanması muhtemeldir . SSL sertifikası olarak fullchain.pemve özel anahtar olarak depolanacaktır privkey.pem.

Let's Encrypt sertifikalarının geçerlilik süresi 90 gün içinde dolacak, bu nedenle cronjobs kullanan sertifikalar için otomatik yenileme ayarlanması önerilir. Cron, periyodik görevleri yürütmek için kullanılan bir sistem hizmetidir.

Cron iş dosyasını çalıştırarak açın:

sudo crontab -e

Dosyanın sonuna aşağıdaki satırı ekleyin.

30 5 * * 1 /usr/bin/certbot renew -a nginx --quiet

Yukarıdaki cron işi her Pazartesi 05: 30'da yapılacaktır. Sertifikanın süresinin dolması gerekiyorsa, sertifikaları otomatik olarak yeniler.

Aşağıdaki komutu çalıştırarak Nginx için varsayılan sanal ana bilgisayar dosyasını düzenleyin.

sudo nano /etc/nginx/sites-available/default

Mevcut içeriği aşağıdaki içerikle değiştirin.

server {
    listen 80 default_server;
    server_name kibana.example.com
    return 301 https://$server_name$request_uri;
}

server {
    listen 443 default_server ssl http2;

    server_name kibana.example.com;

    ssl_certificate           /etc/letsencrypt/live/kibana.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/kibana.example.com/privkey.pem;

    ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
    ssl_prefer_server_ciphers on;
    ssl_ciphers "EECDH+AESGCM:EDH+AESGCM:AES256+EECDH:AES256+EDH";
    ssl_ecdh_curve secp384r1;
    ssl_session_cache shared:SSL:10m;
    ssl_session_tickets off;
    ssl_stapling on;
    ssl_stapling_verify on;
    resolver 8.8.8.8 8.8.4.4 valid=300s;
    resolver_timeout 5s;
    add_header Strict-Transport-Security "max-age=63072000; includeSubdomains";
    add_header X-Frame-Options DENY;
    add_header X-Content-Type-Options nosniff;

    location / {
        proxy_pass http://localhost:5601;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection 'upgrade';
        proxy_set_header Host $host;
        proxy_cache_bypass $http_upgrade;
    }
}

kibana.example.comGerçek alan adınızla güncelleme yaptığınızdan emin olun , ayrıca SSL sertifikası ve özel anahtarın yolunu da doğrulayın.

Nginx web sunucusunu çalıştırarak yeniden başlatın:

sudo systemctl restart nginx

Her şey doğru yapılandırıldıysa, Kibana giriş ekranını göreceksiniz. Kullanıcı adını kibanave belirlediğiniz şifreyi kullanarak giriş yapın . Başarılı bir şekilde giriş yapabilmeniz ve Kibana kontrol panelini görebilmeniz gerekir. Gösterge tablosunu bırakın, şimdilik, daha sonra yapılandıracağız.

Logstash'ı yükleyin

Logstash, daha önce eklediğimiz resmi Elasticsearch deposu aracılığıyla da kurulabilir. Logstash'ı çalıştırarak yükleyin:

sudo apt -y install logstash

Yukarıdaki komut, Logstash'in en son sürümünü sisteminize yükleyecektir. Logstash kurulduktan sonra, Systemd hizmet arka plan programını çalıştırarak yeniden yükleyin:

sudo systemctl daemon-reload

Logstash'i başlatın ve önyükleme zamanında otomatik olarak başlamasını sağlayın.

sudo systemctl enable logstash
sudo systemctl start logstash

Logstash için X-Pack'i yükleyin

X-Pack for Logstash'ı doğrudan çalıştırarak kurabilirsiniz:

cd /usr/share/logstash
sudo bin/logstash-plugin install x-pack

Logstash için X-Pack varsayılan bir kullanıcıyla birlikte gelir logstash_system. Şifreyi çalıştırarak sıfırlayabilirsiniz:

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/logstash_system/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewLogstashPassword"
}
'

Değiştir 192.168.0.1sunucunun gerçek özel IP adresine sahip ve NewLogstashPasswordLogstash kullanıcı için yeni şifre ile.

Şimdi Logstash hizmetini çalıştırarak yeniden başlatın:

sudo systemctl restart logstash

Logstash yapılandırma dosyasını çalıştırarak düzenleyin:

sudo nano /etc/logstash/logstash.yml

Logstash örneğinin izlenmesini etkinleştirmek için dosyanın sonuna aşağıdaki satırları ekleyin.

xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.url: http://192.168.0.1:9200
xpack.monitoring.elasticsearch.username: logstash_system
xpack.monitoring.elasticsearch.password: NewLogstashPassword

Elasticsearch URL'sini ve Logstash şifresini kurulumunuza göre değiştirin.

Artık Logstash'ı farklı Beats'ları kullanarak veri alacak şekilde yapılandırabilirsiniz. Çeşitli Beats türleri mevcuttur: Packetbeat, Metricbeat, Filebeat, Winlogbeat ve Heartbeat. Her Beat'i ayrı olarak kurmanız gerekir.

Sonuç

Bu yazıda, Ubuntu 17.04 üzerine X-Pack'li Elastik Yığını kurduk. Sunucunuza temel bir ELK Yığını yüklenmiştir.