كيفية تثبيت المكدس المرن وتكوينه (Elasticsearch و Logstash و Kibana) على Ubuntu 17.04

• المتطلبات الأساسية
• الخطوة 1: قم بتحديث النظام
• الخطوة 2: تثبيت Java
• الخطوة 3: قم بتثبيت Elasticsearch
• الخطوة 4: تثبيت كيبانا
• قم بتثبيت Logstash
• استنتاج

نظرًا لانتقال البنية التحتية لتكنولوجيا المعلومات إلى السحابة وازدياد انتشار إنترنت الأشياء ، تستخدم المؤسسات والمتخصصون في تكنولوجيا المعلومات الخدمات السحابية العامة إلى حد كبير. مع تزايد الخوادم والخدمات التي تعمل عليها ، تزداد أيضًا كمية السجلات التي يتم إنشاؤها بواسطة النظام. تحليل هذه السجلات مهم للغاية في البنية التحتية لعدة أسباب. وهذا يشمل الامتثال للسياسات واللوائح الأمنية ، واستكشاف أخطاء النظام وإصلاحها ، والاستجابة لحادث متعلق بالأمان أو لفهم سلوك المستخدم.

تجتمع ثلاثة تطبيقات مفتوحة المصدر شائعة جدًا تسمى Elasticsearch و Logstash و Kibana معًا لإنشاء حزمة مرنة أو حزمة ELK. المرن هو أداة قوية جدا للبحث وتحليل وتصور السجلات والبيانات. Elasticsearch هو تطبيق موزع ، في الوقت الحقيقي ، قابل للتطوير ومتوفر للغاية لتخزين السجلات والبحث من خلالها. يجمع Logstash السجلات التي يرسلها Beats ويعززها ، ثم يرسلها إلى Elasticsearch. Kibana هي واجهة مستخدم الويب المستخدمة لتصور السجلات والإحصاءات القابلة للتنفيذ.

في هذا البرنامج التعليمي ، سنقوم بتثبيت أحدث إصدار من Elasticsearch و Logstash و Kibana مع X-Pack على Ubuntu 17.04.

المتطلبات الأساسية

لمتابعة هذا البرنامج التعليمي ، ستحتاج إلى نسخة خادم Vultr 64 بت Ubuntu 17.04 مع 4 غيغابايت على الأقل من ذاكرة الوصول العشوائي . بالنسبة لبيئة الإنتاج ، تزداد متطلبات الأجهزة مع عدد المستخدمين والسجلات.

هذا البرنامج التعليمي مكتوب من sudoمنظور المستخدم. لإعداد مستخدم sudo ، اتبع كيفية استخدام Sudo على دليل دبيان .

ستحتاج أيضًا إلى مجال موجه نحو الخادم الخاص بك للحصول على شهادات من Let's Encrypt CA.

الخطوة 1: قم بتحديث النظام

قبل تثبيت أي حزم على مثيل خادم Ubuntu ، يوصى بتحديث النظام. قم بتسجيل الدخول باستخدام sudo user وقم بتشغيل الأوامر التالية لتحديث النظام.

sudo apt update
sudo apt -y upgrade

بمجرد الانتهاء من ترقية النظام ، انتقل إلى الخطوة التالية.

الخطوة 2: تثبيت Java

يتطلب Elasticsearch جافا 8 للعمل. وهو يدعم كلاً من Oracle Java و OpenJDK. يوضح هذا القسم من البرنامج التعليمي تثبيت كل من Oracle Java و OpenJDK.

تأكد من تثبيت أي من إصدارات Java التالية. يوصى بتثبيت Oracle Java لـ Elasticsearch. ومع ذلك ، يمكنك أيضًا اختيار تثبيت OpenJDK وفقًا لتفضيلاتك.

تثبيت Oracle Java

لتثبيت Oracle Java على نظام Ubuntu الخاص بك ، ستحتاج إلى إضافة Oracle Java PPA عن طريق تشغيل:

sudo add-apt-repository ppa:webupd8team/java

الآن قم بتحديث معلومات المستودع عن طريق تشغيل:

sudo apt update

الآن يمكنك بسهولة تثبيت أحدث إصدار ثابت من Java 8 عن طريق تشغيل:

sudo apt -y install oracle-java8-installer

قبول اتفاقية الترخيص عند المطالبة بذلك. بمجرد الانتهاء من التثبيت ، يمكنك التحقق من إصدار Java عن طريق تشغيل:

java -version

من المفترض أن ترى نتائج مشابهة لما يلي:

user@vultr:~$ java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

يمكنك أيضًا تعيين JAVA_HOMEالإعدادات الافتراضية وغيرها عن طريق التثبيت oracle-java8-set-default. يركض:

sudo apt -y install oracle-java8-set-default

يمكنك الآن التحقق من JAVA_HOMEتعيين المتغير عن طريق تشغيل:

echo "$JAVA_HOME"

يجب أن يشبه الإخراج:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-oracle

إذا لم تحصل على الإخراج الموضح أعلاه ، فقد تحتاج إلى تسجيل الخروج والدخول إلى shell مرة أخرى. Oracle Java مثبت الآن على خادمك. يمكنك الآن المتابعة إلى الخطوة 3 من تثبيت تخطي البرنامج التعليمي لـ OpenJDK.

تثبيت OpenJDK

تثبيت OpenJDK واضح جدًا. ما عليك سوى تشغيل الأمر التالي لتثبيت OpenJDK.

sudo apt -y install default-jdk

بمجرد الانتهاء من التثبيت ، يمكنك التحقق من إصدار Java عن طريق تشغيل:

java -version

من المفترض أن ترى نتائج مشابهة لما يلي:

user@vultr:~$ java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-8u131-b11-2ubuntu1.17.04.2-b11)
OpenJDK 64-Bit Server VM (build 25.131-b11, mixed mode)

لتعيين JAVA_HOMEالمتغير ، قم بتشغيل الأمر التالي:

sudo echo "JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64" >> /etc/environment

إعادة تحميل ملف البيئة عن طريق تشغيل:

sudo source /etc/environment

يمكنك الآن التحقق من JAVA_HOMEتعيين المتغير عن طريق تشغيل:

echo "$JAVA_HOME"

يجب أن يشبه الإخراج:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-openjdk-amd64/

الخطوة 3: قم بتثبيت Elasticsearch

Elasticsearch هو محرك بحث RESTful فائق السرعة وموزع ومتوفر للغاية. أضف مستودع Elasticsearch APT عن طريق تشغيل:

echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list

يقوم الأمر أعلاه بإنشاء ملف مستودع جديد لـ Elasticsearch ويضيف إدخال المصدر إليه. الآن قم باستيراد مفتاح PGP المستخدم لتوقيع الحزم.

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

قم بتحديث بيانات تعريف مستودع APT عن طريق تشغيل:

sudo apt update

قم بتثبيت Elasticsearch بتشغيل الأمر التالي.

sudo apt -y install elasticsearch

سيقوم الأمر أعلاه بتثبيت أحدث إصدار من Elasticsearch على نظامك. بمجرد تثبيت Elasticsearch ، أعد تحميل البرنامج الخفي لخدمة Systemd عن طريق تشغيل:

sudo systemctl daemon-reload

قم بتشغيل Elasticsearch وتمكينه من البدء تلقائيًا في وقت التمهيد.

sudo systemctl enable elasticsearch
sudo systemctl start elasticsearch

لإيقاف البحث ، يمكنك تشغيل:

sudo systemctl stop elasticsearch

للتحقق من حالة الخدمة ، يمكنك تشغيل:

sudo systemctl status elasticsearch

يعمل Elasticsearch الآن على المنفذ 9200. يمكنك التحقق مما إذا كانت تعمل وتنتج نتائج عن طريق تشغيل الأمر التالي.

curl -XGET 'localhost:9200/?pretty'

ستتم طباعة رسالة مشابهة لما يلي.

user@vultr:~$ curl -XGET 'localhost:9200/?pretty'
{
  "name" : "wDaVa1K",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "71drjJ8PTyCcbai33Esy3Q",
  "version" : {
    "number" : "5.5.1",
    "build_hash" : "19c13d0",
    "build_date" : "2017-07-18T20:44:24.823Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.0"
  },
  "tagline" : "You Know, for Search"
}

قم بتثبيت X-Pack لـ Elasticsearch

X-Pack هو مكون إضافي مرن يوفر العديد من الميزات الإضافية مثل قدرات الأمان والتنبيه والمراقبة وإعداد التقارير والرسوم البيانية. يوفر X-Pack أيضًا مصادقة المستخدم لـ Elasticsearch و Kibana ، بالإضافة إلى مراقبة العقد المختلفة في Kibana. من المهم أن يتم تثبيت X-Pack و Elasticsearch بنفس الإصدار.

يمكنك تثبيت X-Pack لـ Elasticsearch مباشرة بتشغيل:

cd /usr/share/elasticsearch
sudo bin/elasticsearch-plugin install x-pack

لمتابعة التثبيت ، أدخل yعند مطالبتك بذلك. سيقوم هذا الأمر بتثبيت المكوّن الإضافي X-Pack على نظامك. عند التثبيت ، يتيح X-Pack المصادقة لـ Elasticsearch. اسم المستخدم الافتراضي وكلمة elasticالمرور changeme. يمكنك التحقق مما إذا تم تمكين المصادقة عن طريق تشغيل نفس الأمر الذي قمت بتشغيله للتحقق من عمل Elasticsearch.

curl -XGET 'localhost:9200/?pretty'

الآن سيقول الإخراج أن المصادقة فشلت.

user@vultr:~# curl -XGET 'localhost:9200/?pretty'
{
  "error" : {
    "root_cause" : [
      {
        "type" : "security_exception",
        "reason" : "missing authentication token for REST request [/?pretty]",
        "header" : {
          "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
        }
      }
    ],
    "type" : "security_exception",
    "reason" : "missing authentication token for REST request [/?pretty]",
    "header" : {
      "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
    }
  },
  "status" : 401
}

قم بتغيير كلمة المرور الافتراضية changemeعن طريق تشغيل الأمر التالي.

curl -XPUT -u elastic:changeme 'localhost:9200/_xpack/security/user/elastic/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewElasticPassword"
}
'

استبدلها NewPasswordبكلمة المرور الفعلية التي تريد استخدامها. يمكنك التحقق مما إذا كانت كلمة المرور الجديدة قد تم تعيينها وأن Elasticsearch يعمل عن طريق تشغيل الأمر التالي.

curl -XGET -u elastic:NewElasticPassword 'localhost:9200/?pretty'    

سترى إخراج يوضح التنفيذ الناجح للاستعلام.

علاوة على ذلك ، قم بتحرير ملف تكوين Elasticsearch بتشغيل:

sudo nano /etc/elasticsearch/elasticsearch.yml

ابحث عن الخطوط التالية ، وقم بإلغاء تعليق الخطوط وقم بتغييرها وفقًا للتعليمات المقدمة.

#cluster.name: my-application    #Provide the name of your cluster
#node.name: node-1               #Provide the name of your node
#network.host: 192.168.0.1

بالنسبة إلى network.host، قم بتوفير عنوان IP الخاص المعين للنظام. أعد تشغيل مثيل Elasticsearch بتشغيل:

sudo systemctl restart elasticsearch

الآن ، بدلاً من ذلك localhost، ستحتاج إلى استخدام عنوان IP لتشغيل الاستعلام باستخدام curl.

curl -XGET -u elastic:NewElasticPassword '192.168.0.1:9200/?pretty'

استبدل 192.168.0.1بعنوان IP الخاص الفعلي للخادم. الآن بعد أن قمنا بتثبيت Elasticsearch ، انتقل إلى تثبيت Kibana.

الخطوة 4: تثبيت كيبانا

يتم استخدام Kibana لتصور السجلات والرؤى القابلة للتنفيذ باستخدام واجهة الويب. يمكن استخدامه أيضًا لإدارة Elasticsearch. يوصى بتثبيت نفس الإصدار من Kibana مثل Elasticsearch.

نظرًا لأننا أضفنا بالفعل مستودع Elasticsearch ومفتاح PGP ، يمكننا تثبيت Kibana مباشرة عن طريق تشغيل:

sudo apt -y install kibana

سيقوم الأمر السابق بتثبيت أحدث إصدار من Kibana على نظامك. بمجرد تثبيت Kibana ، أعد تحميل البرنامج الخفي لخدمة Systemd عن طريق تشغيل:

sudo systemctl daemon-reload

يمكنك بدء Kibana وتمكينه من البدء تلقائيًا في وقت التمهيد عن طريق تشغيل:

sudo systemctl enable kibana
sudo systemctl start kibana

قم بتثبيت X-Pack لـ Kibana

يمكنك تثبيت X-Pack لـ Kibana مباشرة عن طريق تشغيل:

cd /usr/share/kibana
sudo bin/kibana-plugin install x-pack

X-Pack لـ Kibana تم تمكين الرسم البياني والتعلم الآلي والمراقبة بشكل افتراضي. يتيح X-Pack أيضًا مصادقة Kibana. اسم المستخدم الافتراضي وكلمة kibanaالمرور changeme. من المهم تغيير كلمة المرور الافتراضية لمستخدم Kibana. قم بتشغيل الأمر التالي لتغيير كلمة المرور.

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/kibana/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewKibanaPassword"
}
'

استبدل 192.168.0.1بعنوان IP الخاص الفعلي للخادم NewKibanaPasswordوكلمة المرور الجديدة لمستخدم Kibana.

قم بتحرير ملف تهيئة Kibana عن طريق تشغيل:

sudo nano /etc/kibana/kibana.yml

ابحث عن الأسطر التالية وقم بتغيير القيم وفقًا للتعليمات المقدمة.

#elasticsearch.url: "http://localhost:9200"
#elasticsearch.username: "user"
#elasticsearch.password: "password"

قم بإلغاء تعليق السطور أعلاه ، وفي elasticsearch.urlتوفير عنوان URL لمثيل Elasticsearch. يجب أن يكون عنوان IP هو نفس عنوان IP الذي تم استخدامه فيه elasticsearch.yml. علاوة على ذلك ، قم بتعيين اسم المستخدم من userإلى elasticوكذلك قم بتوفير كلمة مرور المستخدم المرن الذي قمت بتعيينه مسبقًا.

قم بإعادة تشغيل مثيل Kibana عن طريق تشغيل:

sudo systemctl restart kibana

قم بتثبيت Nginx كخادم عكسي لـ Kibana

نظرًا لأننا نقوم بتشغيل Kibana على localhostالمنفذ 5601، فمن المستحسن إعداد وكيل عكسي مع Apache أو Nginx للوصول إلى Kibana من خارج الشبكة المحلية. في هذا البرنامج التعليمي ، سنقوم بإعداد Nginx كوكيل عكسي لـ Kibana. سنقوم أيضًا بتأمين مثيل Nginx بشهادة Let's Encrypt المجانية SSL.

قم بتثبيت Nginx عن طريق تشغيل:

sudo apt -y install nginx

ابدأ وتمكين Nginx من البدء تلقائيًا في وقت التمهيد.

sudo systemctl start nginx
sudo systemctl enable nginx

الآن بعد تثبيت خادم الويب Nginx وتشغيله ، يمكننا متابعة تثبيت Certbot ، وهو عميل شهادة Let's Encrypt الرسمي والآلي. أضف Certbot PPA إلى نظامك بتشغيل:

sudo add-apt-repository ppa:certbot/certbot

تحديث معلومات تعريف المستودع.

sudo apt update

الآن يمكنك بسهولة تثبيت أحدث إصدار من Certbot عن طريق تشغيل:

sudo apt -y install python-certbot-nginx 

سيقوم الأمر السابق بحل وتثبيت التبعيات المطلوبة مع حزمة Certbot.

الآن بعد أن تم تثبيت Certbot ، أنشئ الشهادات لنطاقك من خلال تشغيل:

sudo certbot certonly --webroot -w /var/www/html/ -d kibana.example.com

لا تنس تغيير kibana.example.comاسم المجال الفعلي الخاص بك. سيستخدم الأمر السابق عميل Certbot. و certonlyالمعلمة يخبر العميل Certbot لتوليد الشهادات فقط. يضمن استخدام هذا الخيار عدم تثبيت الشهادات تلقائيًا ، وأن تكوين Nginx لم يتغير. سيتم التحقق عن طريق وضع ملفات التحدي في webrootالدليل المحدد .

سيطلب منك Certbot تقديم عنوان بريدك الإلكتروني لإرسال إشعار التجديد. ستحتاج أيضًا إلى قبول اتفاقية الترخيص.

للحصول على شهادات من Let's Encrypt CA ، يجب عليك التأكد من أن النطاق الذي ترغب في إنشاء الشهادات الخاصة به يتم توجيهه إلى الخادم. إذا لم يكن الأمر كذلك ، فقم بإجراء التغييرات اللازمة على سجلات DNS الخاصة بنطاقك وانتظر حتى يتم نشر DNS قبل إجراء طلب الشهادة مرة أخرى. يتحقق Certbot من سلطة المجال قبل تقديم الشهادات.

من المرجح أن يتم تخزين الشهادات التي تم إنشاؤها في /etc/letsencrypt/live/kibana.example.com/الدليل. سيتم تخزين شهادة SSL كـ وسيتم تخزين fullchain.pemالمفتاح الخاص كـ privkey.pem.

من المقرر أن تنتهي صلاحية صلاحية شهادات التشفير خلال 90 يومًا ، وبالتالي يوصى بإعداد التجديد التلقائي للشهادات باستخدام cronjobs. Cron هي خدمة نظام تُستخدم لتشغيل المهام الدورية.

افتح ملف مهمة cron عن طريق تشغيل:

sudo crontab -e

أضف السطر التالي في نهاية الملف.

30 5 * * 1 /usr/bin/certbot renew -a nginx --quiet

سيتم تشغيل وظيفة cron المذكورة أعلاه كل يوم إثنين الساعة 5:30 صباحًا. إذا كانت الشهادة مستحقة لانتهاء الصلاحية ، فسيتم تجديدها تلقائيًا.

قم بتحرير ملف المضيف الظاهري الافتراضي لـ Nginx عن طريق تشغيل الأمر التالي.

sudo nano /etc/nginx/sites-available/default

استبدل المحتوى الموجود بالمحتوى التالي.

server {
    listen 80 default_server;
    server_name kibana.example.com
    return 301 https://$server_name$request_uri;
}

server {
    listen 443 default_server ssl http2;

    server_name kibana.example.com;

    ssl_certificate           /etc/letsencrypt/live/kibana.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/kibana.example.com/privkey.pem;

    ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
    ssl_prefer_server_ciphers on;
    ssl_ciphers "EECDH+AESGCM:EDH+AESGCM:AES256+EECDH:AES256+EDH";
    ssl_ecdh_curve secp384r1;
    ssl_session_cache shared:SSL:10m;
    ssl_session_tickets off;
    ssl_stapling on;
    ssl_stapling_verify on;
    resolver 8.8.8.8 8.8.4.4 valid=300s;
    resolver_timeout 5s;
    add_header Strict-Transport-Security "max-age=63072000; includeSubdomains";
    add_header X-Frame-Options DENY;
    add_header X-Content-Type-Options nosniff;

    location / {
        proxy_pass http://localhost:5601;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection 'upgrade';
        proxy_set_header Host $host;
        proxy_cache_bypass $http_upgrade;
    }
}

تأكد من التحديث kibana.example.comباستخدام اسم المجال الفعلي ، وتحقق أيضًا من المسار إلى شهادة SSL والمفتاح الخاص.

أعد تشغيل خادم الويب Nginx عن طريق تشغيل:

sudo systemctl restart nginx

إذا تم تكوين كل شيء بشكل صحيح ، فسترى شاشة تسجيل دخول Kibana. قم بتسجيل الدخول باستخدام اسم المستخدم وكلمة kibanaالمرور التي قمت بتعيينها. يجب أن تكون قادرًا على تسجيل الدخول بنجاح ورؤية لوحة معلومات Kibana. اترك لوحة القيادة ، الآن ، سنقوم بتهيئتها لاحقًا.

قم بتثبيت Logstash

يمكن أيضًا تثبيت Logstash من خلال مستودع Elasticsearch الرسمي الذي أضفناه سابقًا. قم بتثبيت Logstash عن طريق تشغيل:

sudo apt -y install logstash

يقوم الأمر أعلاه بتثبيت أحدث إصدار من Logstash على نظامك. بمجرد تثبيت Logstash ، أعد تحميل البرنامج الخفي لخدمة Systemd عن طريق تشغيل:

sudo systemctl daemon-reload

بدء تشغيل Logstash وتمكينه من البدء تلقائيًا في وقت التمهيد.

sudo systemctl enable logstash
sudo systemctl start logstash

قم بتثبيت X-Pack لـ Logstash

يمكنك تثبيت X-Pack لـ Logstash مباشرة عن طريق تشغيل:

cd /usr/share/logstash
sudo bin/logstash-plugin install x-pack

يأتي X-Pack for Logstash مع مستخدم افتراضي logstash_system. يمكنك إعادة تعيين كلمة المرور عن طريق تشغيل:

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/logstash_system/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewLogstashPassword"
}
'

استبدل 192.168.0.1بعنوان IP الخاص الفعلي للخادم NewLogstashPasswordوكلمة المرور الجديدة لمستخدم Logstash.

أعد تشغيل خدمة Logstash عن طريق تشغيل:

sudo systemctl restart logstash

قم بتحرير ملف تكوين Logstash عن طريق تشغيل:

sudo nano /etc/logstash/logstash.yml

أضف الأسطر التالية في نهاية الملف لتمكين مراقبة مثيل Logstash.

xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.url: http://192.168.0.1:9200
xpack.monitoring.elasticsearch.username: logstash_system
xpack.monitoring.elasticsearch.password: NewLogstashPassword

استبدل عنوان URL لـ Elasticsearch وكلمة مرور Logstash وفقًا للإعداد.

يمكنك الآن تكوين Logstash لتلقي البيانات باستخدام Beats مختلفة. هناك العديد من أنواع الضربات المتاحة: Packetbeat و Metricbeat و Filebeat و Winlogbeat و Heartbeat. ستحتاج إلى تثبيت كل فوز بشكل منفصل.

استنتاج

في هذا البرنامج التعليمي ، قمنا بتثبيت المكدس المرن مع X-Pack على Ubuntu 17.04. يتم الآن تثبيت حزمة ELK Stack الأساسية على خادمك.