نحوه نصب و پیکربندی پشته الاستیک (Elasticsearch ، Logstash و Kibana) در اوبونتو 17.04

• پیش نیازها
• مرحله 1: بروزرسانی سیستم را انجام دهید
• مرحله 2: جاوا را نصب کنید
• مرحله 3: Elasticsearch را نصب کنید
• مرحله 4: Kibana را نصب کنید
• Logstash را نصب کنید
• نتیجه

از آنجا که زیرساخت های فناوری اطلاعات به ابر و اینترنت اشیا در حال رواج شدن است ، سازمان ها و متخصصان فناوری اطلاعات تا حد زیادی از خدمات عمومی ابر استفاده می کنند. با افزایش سرورها و خدماتی که روی آنها اجرا می شود ، میزان ورود به سیستم تولید شده نیز افزایش می یابد. تجزیه و تحلیل این سیاههها به دلایل مختلف در یک زیرساخت بسیار مهم است. این شامل رعایت قوانین و مقررات امنیتی ، عیب یابی سیستم ، پاسخ به یک حادثه مربوط به امنیت یا درک رفتار کاربر است.

سه برنامه منبع باز بسیار مشهور به نام های Elasticsearch ، Logstash و Kibana برای ایجاد Elastic Stack یا ELK Stack با یکدیگر ترکیب می شوند. Elastic Stack ابزاری بسیار قدرتمند برای جستجو ، تجزیه و تحلیل و تجسم گزارش ها و داده ها است. Elasticsearch یک برنامه توزیع شده ، در زمان واقعی ، مقیاس پذیر و بسیار در دسترس برای ذخیره سیاهههای مربوط و جستجو از طریق آنها است. Logstash گزارش های ارسال شده توسط Beats را جمع آوری می کند ، آن را تقویت می کند و سپس آن را به Elasticsearch می فرستد. Kibana UI وب است که برای تجسم گزارش ها و بینش های عملی مورد استفاده قرار می گیرد.

در این آموزش جدیدترین نسخه Elasticsearch ، Logstash و Kibana را با X-Pack روی اوبونتو 17.04 نصب خواهیم کرد.

پیش نیازها

برای پیروی از این آموزش ، به نمونه سرور 64 بیتی اوبونتو 17.04 با حداقل 4 گیگابایت رم نیاز دارید . برای یک محیط تولید ، نیازهای سخت افزاری با تعداد کاربر و ورود به سیستم افزایش می یابد.

این آموزش از sudoدیدگاه کاربر نوشته شده است . برای راه‌اندازی یک کاربر سودو ، نحوه استفاده از سودو را در راهنمای دبیان دنبال کنید .

برای به دست آوردن گواهینامه ها از Let Encrypt CA به یک دامنه نیز به سمت سرور خود نیز نیاز دارید.

مرحله 1: بروزرسانی سیستم را انجام دهید

قبل از نصب هر بسته در نمونه سرور اوبونتو ، توصیه می شود سیستم را به روز کنید. با استفاده از کاربر sudo وارد شوید و دستورالعمل های زیر را برای بروزرسانی سیستم اجرا کنید.

sudo apt update
sudo apt -y upgrade

پس از به روزرسانی سیستم ، به مرحله بعد بروید.

مرحله 2: جاوا را نصب کنید

Elasticsearch برای کار به Java 8 نیاز دارد. این نرم افزار هم از Oracle Java و هم OpenJDK پشتیبانی می کند. این بخش از آموزش نصب Oracle Java و OpenJDK را نشان می دهد.

اطمینان حاصل کنید که هر یک از نسخه های جاوا زیر را نصب کرده اید. نصب Oracle Java برای Elasticsearch توصیه می شود. با این حال ، شما همچنین می توانید مطابق ترجیح خود نصب OpenJDK را انتخاب کنید.

نصب اوراکل جاوا

برای نصب Oracle Java در سیستم اوبونتو ، باید با اجرای برنامه Oracle Java PPA اضافه کنید:

sudo add-apt-repository ppa:webupd8team/java

اکنون با اجرای اطلاعات اطلاعات مخزن را به روز کنید:

sudo apt update

اکنون می توانید با اجرای سریع آخرین نسخه پایدار Java 8 را نصب کنید:

sudo apt -y install oracle-java8-installer

موافقت نامه مجوز را هنگام سؤال بپذیرید. پس از اتمام نصب ، می توانید نسخه Java را با اجرای آن تأیید کنید:

java -version

شما باید خروجی شبیه به:

user@vultr:~$ java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

همچنین می توانید JAVA_HOMEبا نصب ، پیش فرض و سایر پیش فرض ها را تنظیم کنید oracle-java8-set-default. اجرا کن:

sudo apt -y install oracle-java8-set-default

اکنون می توانید تأیید کنید که JAVA_HOMEمتغیر با اجرای تنظیم شده است:

echo "$JAVA_HOME"

خروجی باید شبیه باشد:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-oracle

اگر خروجی نشان داده شده در بالا را ندارید ، ممکن است لازم باشد دوباره وارد سیستم شوید و وارد پوسته شوید. اکنون Oracle Java روی سرور شما نصب شده است. اکنون می توانید به مرحله 3 آموزش پرش نصب OpenJDK بروید.

نصب OpenJDK

نصب OpenJDK بسیار سر راست است. برای نصب OpenJDK کافیست دستور زیر را اجرا کنید.

sudo apt -y install default-jdk

پس از اتمام نصب ، می توانید نسخه Java را با اجرای آن تأیید کنید:

java -version

شما باید خروجی شبیه به:

user@vultr:~$ java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-8u131-b11-2ubuntu1.17.04.2-b11)
OpenJDK 64-Bit Server VM (build 25.131-b11, mixed mode)

برای تنظیم JAVA_HOMEمتغیر ، دستور زیر را اجرا کنید:

sudo echo "JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64" >> /etc/environment

بارگیری پرونده محیط با اجرا:

sudo source /etc/environment

اکنون می توانید تأیید کنید که JAVA_HOMEمتغیر با اجرای تنظیم شده است:

echo "$JAVA_HOME"

خروجی باید شبیه باشد:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-openjdk-amd64/

مرحله 3: Elasticsearch را نصب کنید

Elasticsearch یک موتور جستجوی سریع ، پراکنده ، بسیار در دسترس و RESTful است. با اجرای مخزن Elasticsearch APT APT:

echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list

دستور فوق یک پرونده مخزن جدید برای Elasticsearch ایجاد کرده و ورودی منبع را به آن می افزاید. اکنون کلید PGP مورد استفاده برای امضای بسته ها را وارد کنید.

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

با اجرای فراداده مخزن APT:

sudo apt update

با اجرای دستور زیر Elasticsearch را نصب کنید.

sudo apt -y install elasticsearch

دستور فوق آخرین نسخه Elasticsearch را روی سیستم شما نصب می کند. پس از نصب Elasticsearch ، Daemon service Systemd را با اجرای دوباره بارگیری کنید:

sudo systemctl daemon-reload

Elasticsearch را شروع کنید و آن را فعال کنید تا به طور خودکار در زمان بوت شروع شود.

sudo systemctl enable elasticsearch
sudo systemctl start elasticsearch

برای متوقف کردن Elasticsearch ، می توانید اجرا کنید:

sudo systemctl stop elasticsearch

برای بررسی وضعیت سرویس می توانید اجرا کنید:

sudo systemctl status elasticsearch

اکنون الاستیک جستجو در حال اجرا است 9200. با اجرای دستور زیر می توانید تأیید کنید که آیا این کار می کند و نتیجه را تولید می کند.

curl -XGET 'localhost:9200/?pretty'

پیامی مشابه موارد زیر چاپ خواهد شد.

user@vultr:~$ curl -XGET 'localhost:9200/?pretty'
{
  "name" : "wDaVa1K",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "71drjJ8PTyCcbai33Esy3Q",
  "version" : {
    "number" : "5.5.1",
    "build_hash" : "19c13d0",
    "build_date" : "2017-07-18T20:44:24.823Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.0"
  },
  "tagline" : "You Know, for Search"
}

X-Pack را برای Elasticsearch نصب کنید

X-Pack یک افزونه Elastic Stack است که امکانات بسیاری از جمله امنیت ، هشدار ، نظارت ، گزارش ، و نمودارهای اضافی را در اختیار شما قرار می دهد. X-Pack همچنین تأیید اعتبار کاربر برای Elasticsearch و Kibana ، و همچنین نظارت بر گره های مختلف در Kibana. مهم است که X-Pack و Elasticsearch با همان نسخه نصب شوند.

با اجرای مستقیم می توانید X-Pack را برای Elasticsearch بطور مستقیم نصب کنید:

cd /usr/share/elasticsearch
sudo bin/elasticsearch-plugin install x-pack

برای ادامه نصب ، در صورت درخواست وارد کنید y. این دستور افزونه X-Pack را به سیستم شما نصب می کند. هنگام نصب ، X-Pack احراز هویت را برای Elasticsearch امکان پذیر می کند. نام کاربری پیش فرض elasticو رمز عبور است changeme. می توانید با اجرای همان دستوری که اجرا کردید تأیید اعتبار را انجام دهید تا بررسی کنید که Elasticsearch در حال کار است یا خیر.

curl -XGET 'localhost:9200/?pretty'

اکنون خروجی می گوید که تأیید اعتبار انجام نشده است.

user@vultr:~# curl -XGET 'localhost:9200/?pretty'
{
  "error" : {
    "root_cause" : [
      {
        "type" : "security_exception",
        "reason" : "missing authentication token for REST request [/?pretty]",
        "header" : {
          "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
        }
      }
    ],
    "type" : "security_exception",
    "reason" : "missing authentication token for REST request [/?pretty]",
    "header" : {
      "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
    }
  },
  "status" : 401
}

changemeبا اجرای دستور زیر رمزعبور پیش فرض را تغییر دهید .

curl -XPUT -u elastic:changeme 'localhost:9200/_xpack/security/user/elastic/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewElasticPassword"
}
'

NewPasswordبا رمزعبور واقعی که می خواهید استفاده کنید جایگزین کنید. می توانید با اجرای دستور زیر ، رمز جدید را تنظیم کنید و Elasticsearch در حال کار است.

curl -XGET -u elastic:NewElasticPassword 'localhost:9200/?pretty'    

خروجی را نشان می دهد که اجرای موفق پرس و جو را نشان می دهد.

علاوه بر این ، فایل پیکربندی Elasticsearch را با اجرای ویرایش کنید:

sudo nano /etc/elasticsearch/elasticsearch.yml

خطوط زیر را پیدا کنید ، خطوط را فراموش نکنید و مطابق دستورالعمل ارائه شده آنها را تغییر دهید.

#cluster.name: my-application    #Provide the name of your cluster
#node.name: node-1               #Provide the name of your node
#network.host: 192.168.0.1

برای network.host، آدرس IP اختصاص داده شده به سیستم را تهیه کنید. با اجرای مجدد نمونه Elasticsearch:

sudo systemctl restart elasticsearch

حال به جای آن localhost، برای اجرای پرس و جو با استفاده از آدرس IP باید استفاده کنید curl.

curl -XGET -u elastic:NewElasticPassword '192.168.0.1:9200/?pretty'

192.168.0.1با آدرس IP واقعی سرور جایگزین کنید . اکنون که Elasticsearch را نصب کردیم ، نصب Kibana را ادامه دهید.

مرحله 4: Kibana را نصب کنید

Kibana برای تجسم گزارش ها و بینش های عملی با استفاده از یک رابط وب استفاده می شود. همچنین می تواند برای مدیریت Elasticsearch مورد استفاده قرار گیرد. توصیه می شود نسخه مشابه Kibana را با عنوان Elasticsearch نصب کنید.

همانطور که قبلاً مخزن Elasticsearch و کلید PGP را اضافه کرده ایم ، می توانیم با اجرای مستقیم Kibana را نصب کنیم:

sudo apt -y install kibana

دستور قبلی آخرین نسخه Kibana را روی سیستم شما نصب می کند. پس از نصب Kibana ، Daemon service Systemd را بارگیری مجدد کنید:

sudo systemctl daemon-reload

می توانید Kibana را راه اندازی کنید و آن را فعال کنید تا به طور خودکار در زمان بوت شدن با اجرای برنامه شروع شود:

sudo systemctl enable kibana
sudo systemctl start kibana

X-Pack را برای Kibana نصب کنید

با اجرای مستقیم می توانید X-Pack را برای Kibana نصب کنید:

cd /usr/share/kibana
sudo bin/kibana-plugin install x-pack

X-Pack برای Kibana دارای نمودار ، یادگیری ماشین و نظارت است که بصورت پیش فرض فعال شده است. X-Pack همچنین احراز هویت را برای Kibana امکان پذیر می کند. نام کاربری پیش فرض kibanaو رمز عبور است changeme. مهم است که رمزعبور پیش فرض کاربر Kibana را تغییر دهید. دستور زیر را برای تغییر رمز عبور اجرا کنید.

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/kibana/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewKibanaPassword"
}
'

جایگزین 192.168.0.1با واقعی آدرس IP خصوصی از سرور و NewKibanaPasswordبا رمز عبور جدید برای کاربران Kibana.

پرونده پیکربندی Kibana را با اجرای ویرایش کنید:

sudo nano /etc/kibana/kibana.yml

خطوط زیر را پیدا کنید و مقادیر را طبق دستورالعمل ارائه شده تغییر دهید.

#elasticsearch.url: "http://localhost:9200"
#elasticsearch.username: "user"
#elasticsearch.password: "password"

خطوط فوق را لغو کنید و elasticsearch.urlURL را برای نمونه Elasticsearch تهیه کنید. آدرس IP باید همان IP باشد که در آن استفاده شده بود elasticsearch.yml. علاوه بر این، از مجموعه ای از نام کاربری userبه elasticو همچنین رمز عبور از کاربر الاستیک که شما قبلا تعیین کرده اند فراهم می کند.

نمونه Kibana را با اجرای مجدد شروع کنید:

sudo systemctl restart kibana

Nginx را به عنوان پروکسی معکوس برای Kibana نصب کنید

از آنجا که ما در حال اجرای Kibana localhostدر بندر هستیم 5601، توصیه می شود یک پروکسی معکوس با Apache یا Nginx تنظیم کنید تا از خارج از شبکه محلی به Kibana دسترسی پیدا کنید. در این آموزش ، Nginx را به عنوان یک پروکسی معکوس برای Kibana تنظیم می کنیم. ما همچنین نمونه Nginx را با یک گواهی SSL رایگان رمزگذاری می کنیم.

با اجرای Nginx:

sudo apt -y install nginx

Nginx را شروع و فعال کنید تا به طور خودکار در زمان بوت شروع شود.

sudo systemctl start nginx
sudo systemctl enable nginx

اکنون که وب سرور Nginx نصب و راه اندازی شده است ، می توانیم نصب Certbot را که مشتری رسمی گواهینامه رمزگذاری رسمی و رمزگذار است ، نصب کنیم. با اجرای برنامه Certbot PPA به سیستم خود اضافه کنید:

sudo add-apt-repository ppa:certbot/certbot

اطلاعات متا مخزن را به روز کنید.

sudo apt update

اکنون می توانید با اجرای سریع آخرین نسخه Certbot را نصب کنید:

sudo apt -y install python-certbot-nginx 

دستور قبلی وابستگی های لازم را به همراه بسته Certbot حل و نصب می کند.

اکنون که ما Certbot نصب کرده ایم ، با اجرای گواهینامه های مربوط به دامنه شما:

sudo certbot certonly --webroot -w /var/www/html/ -d kibana.example.com

فراموش نکنید که kibana.example.comبا نام دامنه واقعی خود تغییر دهید . دستور قبلی از سرویس دهنده Certbot استفاده می کند. این certonlyپارامتر به مشتری Certbot می گوید که فقط گواهینامه ها را تولید کند. با استفاده از این گزینه اطمینان حاصل می شود که گواهینامه ها به طور خودکار نصب نشده اند ، و پیکربندی Nginx تغییر نکرده است. تأیید با قرار دادن پرونده های چالش در webrootفهرست مشخص شده انجام خواهد شد .

Certbot از شما می خواهد که آدرس ایمیل خود را برای ارسال اطلاعیه تمدید ارائه دهید. همچنین لازم است توافق نامه مجوز را بپذیرید.

برای به دست آوردن گواهینامه ها از Let Encrypt CA ، باید اطمینان حاصل کنید که دامنه ای که گواهینامه های مورد نظر برای تولید آنها به سمت سرور هدایت شده است. اگر اینگونه نیست ، پس از آنکه دوباره درخواست درخواست گواهینامه را منتشر کنید ، تغییرات لازم را در سوابق DNS دامنه خود ایجاد کرده و منتظر انتشار DNS باشید. Certbot قبل از ارائه گواهینامه ها ، دامنه را بررسی می کند.

گواهینامه های تولید شده احتمالاً در /etc/letsencrypt/live/kibana.example.com/دایرکتوری ذخیره می شوند . گواهینامه SSL ذخیره می شود fullchain.pemو کلید خصوصی نیز به عنوان ذخیره می شود privkey.pem.

بیایید مجوزهای رمزگذاری در طی 90 روز منقضی شوند ، از این رو توصیه می شود برای استفاده از گواهینامه ها با استفاده از cronjob ، نوسازی خودکار را تنظیم کنید. Cron یک سرویس سیستم است که برای انجام کارهای دوره ای استفاده می شود.

پرونده کار cron را با اجرای پرونده باز کنید:

sudo crontab -e

در انتهای پرونده خط زیر را اضافه کنید.

30 5 * * 1 /usr/bin/certbot renew -a nginx --quiet

کار فوق در مورد Cron هر دوشنبه ساعت 5:30 دقیقه صبح انجام می شود. اگر گواهی برای انقضا موقت باشد ، به طور خودکار آنها را تمدید می کند.

با اجرای دستور زیر ، فایل میزبان مجازی پیش فرض Nginx را ویرایش کنید.

sudo nano /etc/nginx/sites-available/default

محتوای موجود را با محتوای زیر جایگزین کنید.

server {
    listen 80 default_server;
    server_name kibana.example.com
    return 301 https://$server_name$request_uri;
}

server {
    listen 443 default_server ssl http2;

    server_name kibana.example.com;

    ssl_certificate           /etc/letsencrypt/live/kibana.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/kibana.example.com/privkey.pem;

    ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
    ssl_prefer_server_ciphers on;
    ssl_ciphers "EECDH+AESGCM:EDH+AESGCM:AES256+EECDH:AES256+EDH";
    ssl_ecdh_curve secp384r1;
    ssl_session_cache shared:SSL:10m;
    ssl_session_tickets off;
    ssl_stapling on;
    ssl_stapling_verify on;
    resolver 8.8.8.8 8.8.4.4 valid=300s;
    resolver_timeout 5s;
    add_header Strict-Transport-Security "max-age=63072000; includeSubdomains";
    add_header X-Frame-Options DENY;
    add_header X-Content-Type-Options nosniff;

    location / {
        proxy_pass http://localhost:5601;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection 'upgrade';
        proxy_set_header Host $host;
        proxy_cache_bypass $http_upgrade;
    }
}

اطمینان حاصل کنید که kibana.example.comبا نام دامنه واقعی خود به روزرسانی کرده اید ، همچنین مسیر گواهی SSL و کلید خصوصی را تأیید کنید.

با اجرای مجدد وب سرور Nginx:

sudo systemctl restart nginx

اگر همه چیز به درستی تنظیم شده است ، صفحه ورود به سیستم Kibana را مشاهده خواهید کرد. با استفاده از نام کاربری kibanaو رمز عبوری که تنظیم کرده اید وارد شوید. باید بتوانید با موفقیت وارد سیستم شوید و داشبورد Kibana را ببینید. داشبورد را رها کنید ، اکنون ، بعداً آن را پیکربندی می کنیم.

Logstash را نصب کنید

Logstash را می توان از طریق مخزن رسمی Elasticsearch که قبلاً نیز اضافه کردیم ، نصب کرد. Logstash را با اجرای نصب کنید:

sudo apt -y install logstash

دستور فوق آخرین نسخه Logstash را روی سیستم شما نصب می کند. پس از نصب Logstash ، Daemon service Systemd را بارگیری مجدد کنید:

sudo systemctl daemon-reload

Logstash را شروع کنید و آن را فعال کنید تا به طور خودکار در زمان بوت شروع شود.

sudo systemctl enable logstash
sudo systemctl start logstash

X-Pack را برای Logstash نصب کنید

با اجرای مستقیم می توانید X-Pack را برای Logstash نصب کنید:

cd /usr/share/logstash
sudo bin/logstash-plugin install x-pack

X-Pack برای Logstash همراه با یک کاربر پیش فرض است logstash_system. با اجرا می توانید رمز ورود را تنظیم مجدد کنید:

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/logstash_system/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewLogstashPassword"
}
'

جایگزین 192.168.0.1با واقعی آدرس IP خصوصی از سرور و NewLogstashPasswordبا رمز عبور جدید برای کاربران Logstash.

اکنون سرویس Logstash را با راه اندازی مجدد مجدداً راه اندازی کنید:

sudo systemctl restart logstash

با پیاده سازی پرونده پیکربندی Logstash:

sudo nano /etc/logstash/logstash.yml

خطوط زیر را در انتهای پرونده اضافه کنید تا امکان نظارت بر نمونه Logstash فراهم شود.

xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.url: http://192.168.0.1:9200
xpack.monitoring.elasticsearch.username: logstash_system
xpack.monitoring.elasticsearch.password: NewLogstashPassword

آدرس اینترنتی Elasticsearch و گذرواژه Logstash را مطابق راه اندازی خود جایگزین کنید.

اکنون می توانید Logstash را برای دریافت داده با استفاده از Beats های مختلف پیکربندی کنید. انواع مختلفی از Beats در دسترس است: Packetbeat ، Metricbeat ، Filebeat ، Winlogbeat و ضربان قلب. شما باید هر Beat را جداگانه نصب کنید.

نتیجه

در این آموزش Elastic Stack را با X-Pack در اوبونتو 17.04 نصب کرده ایم. اکنون یک پایه اصلی ELK بر روی سرور شما نصب شده است.