26 Büyük Veri Analitik Tekniğine Bir Bakış: 1. Bölüm
26 Büyük Veri Analitik Tekniğine Bir Bakış: 1. Bölüm
Graylog sunucusu, kurumsal kullanıma hazır açık kaynaklı bir günlük yönetim yazılımı paketidir. Çeşitli kaynaklardan günlükleri toplar ve sorunları keşfetmek ve çözmek için bunları analiz eder. Greylog sunucusu temel olarak Elasticsearch, MongoDB ve Graylog'un birleşimidir. Elasticsearch, metin depolamak ve çok güçlü arama yetenekleri sağlamak için çok popüler bir açık kaynak uygulamasıdır. MongoDB, verileri NoSQL formatında saklamak için kullanılan açık kaynaklı bir uygulamadır. Graylog, çeşitli kaynaklardan günlükler toplar ve günlükleri yönetmek ve aramak için web tabanlı bir kontrol paneli sağlar. Graylog ayrıca hem yapılandırma hem de veriler için bir REST API'si sağlar. Alan istatistiklerini, hızlı değerleri ve grafikleri tek bir merkezi konumdan kullanarak metrikleri görselleştirmek ve eğilimleri gözlemlemek için kullanılabilecek yapılandırılabilir bir gösterge tablosu sağlar.
Bu eğitimde, Ubuntu 16.04'e Graylog Sunucusu kurmayı öğreneceksiniz. Bu kılavuz Graylog Server 2.3 için yazılmıştır, ancak daha yeni sürümlerde de kullanılabilir. Ayrıca Java, Elasticsearch ve MongoDB kurmayı da öğreneceksiniz. Ayrıca MongoDB örneğini güvenli hale getireceğiz ve web tabanlı gösterge tablosu ve API için bir Nginx ters proxy'si kuracağız.
Bu öğreticide, 192.0.2.1
sunucunun genel IP adresi ve sunucuyu graylog.example.com
işaret eden etki alanı adı olarak kullanacağız. 192.0.2.1
İle ilgili tüm tekrarları Vultr genel IP adresinizle ve graylog.example.com
gerçek alan adınızla değiştirin.
Ubuntu 16.04 Güncelleme kılavuzunu kullanarak temel sisteminizi güncelleyin . Sisteminiz güncellendiğinde, Java'yı yüklemeye devam edin.
Elasticsearch, Java 8'in çalışmasını gerektirir. Hem Oracle Java hem de OpenJDK'yı destekler, ancak her zaman mümkün olduğunda Oracle Java kullanmanız önerilir. Oracle Java PPA veri havuzunu ekleyin:
sudo add-apt-repository ppa:webupd8team/java
APT veri havuzu meta verilerini güncelleyin:
sudo apt update
Java 8'in en son kararlı sürümünü yükleyin, çalıştırın:
sudo apt -y install oracle-java8-installer
İstendiğinde lisans sözleşmesini kabul edin. Java başarıyla yüklendiyse, sürümünü doğrulayabilmeniz gerekir.
java -version
Aşağıdaki çıktıyı göreceksiniz.
user@vultr:~$ java -version
java version "1.8.0_144"
Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)
Yükleyerek JAVA_HOME
ve diğer varsayılanları ayarlayın oracle-java8-set-default
. Çalıştırmak:
sudo apt -y install oracle-java8-set-default
echo $JAVA_HOME
Ortam değişkeninin ayarlanıp ayarlanmadığını kontrol etmek için komutu çalıştırın .
user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-oracle
Yukarıda gösterilen çıktıyı almazsanız, oturumu kapatıp tekrar kabukta oturum açmanız gerekebilir.
Elasticsearch, günlükleri depolamak ve bunlar arasında arama yapmak için kullanılan dağıtılmış, gerçek zamanlı, ölçeklenebilir ve yüksek oranda kullanılabilir bir uygulamadır. Verileri dizinlerde saklar ve veriler arasında arama yapmak çok hızlıdır. HTTP RESTful API ve yerel Java API gibi çeşitli API setleri sağlar. Elasticsearch doğrudan Elasticsearch veri havuzu üzerinden kurulabilir. Elasticsearch APT deposunu ekleyin:
echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list
Paketleri imzalamak için kullanılan PGP anahtarını içe aktarın. Bu paketlerin bütünlüğünü sağlayacaktır.
wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
APT veri havuzu meta verilerini güncelleyin.
sudo apt update
Elasticsearch paketini kurun:
sudo apt -y install elasticsearch
Paket yüklendikten sonra, Elasticsearch varsayılan yapılandırma dosyasını açın.
sudo nano /etc/elasticsearch/elasticsearch.yml
Aşağıdaki satırı bulun, yorumu kaldırın ve değerini olarak olarak my-application
değiştirin graylog
.
cluster.name: graylog
Elasticsearch'ü başlatabilir ve önyükleme zamanında otomatik olarak başlamasını sağlayabilirsiniz:
sudo systemctl enable elasticsearch
sudo systemctl start elasticsearch
Elasticsearch şu anda 9200 numaralı bağlantı noktasında çalışıyor. Aşağıdakileri çalıştırarak düzgün çalıştığını doğrulayın:
curl -XGET 'localhost:9200/?pretty'
Aşağıdakine benzer bir çıktı görmelisiniz.
[user@vultr ~]$ curl -XGET 'localhost:9200/?pretty'
{
"name" : "-kYzFA9",
"cluster_name" : "graylog",
"cluster_uuid" : "T3JQKehzSqmLThlVkEKPKg",
"version" : {
"number" : "5.5.1",
"build_hash" : "19c13d0",
"build_date" : "2017-07-18T20:44:24.823Z",
"build_snapshot" : false,
"lucene_version" : "6.6.0"
},
"tagline" : "You Know, for Search"
}
Hatalarla karşılaşırsanız, birkaç saniye bekleyin ve Elasticsearch'ün başlatma işlemini tamamlaması zaman aldığından tekrar deneyin. Elasticsearch artık kuruldu ve düzgün çalışıyor.
MongoDB ücretsiz ve açık kaynak kodlu bir NoSQL veritabanı sunucusudur. Verilerini düzenlemek için tabloları kullanan geleneksel veritabanının aksine, MongoDB belge yönelimlidir ve şema olmadan JSON benzeri belgeler kullanır. Graylog, yapılandırmasını ve meta bilgilerini depolamak için MongoDB'yi kullanır. Doğrudan MongoDB deposu üzerinden kurulabilir. Paketi imzalamak için kullanılan GPG anahtarını içe aktarın. Bu, paketlerin gerçekliğini sağlayacaktır.
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 0C49F3730359A14518585931BC711F9BA15703C6
Şimdi Depo dosyasını oluşturun:
echo "deb [ arch=amd64,arm64 ] http://repo.mongodb.org/apt/ubuntu xenial/mongodb-org/3.4 multiverse" | sudo tee /etc/apt/sources.list.d/mongodb-org-3.4.list
APT veri havuzu meta verilerini güncelleyin.
sudo apt update
MongoDB paketini kurun:
sudo apt -y install mongodb-org
MongoDB sunucusunu başlatın ve otomatik olarak başlamasını sağlayın.
sudo systemctl start mongod
sudo systemctl enable mongod
İndir ve Graylog sunucusu için en son depo.
wget https://packages.graylog2.org/repo/packages/graylog-2.3-repository_latest.deb
sudo dpkg -i graylog-2.3-repository_latest.deb
sudo apt update
Graylog paketini yükle:
sudo apt install graylog-server
Graylog sunucusu artık sunucunuza yüklenmiştir. Başlamadan önce birkaç şey yapılandırmanız gerekir.
pwgen
Güçlü parolalar oluşturmak için yardımcı programı yükleyin .
sudo apt -y install pwgen
Şimdi güçlü bir şifre sırrı oluşturun.
pwgen -N 1 -s 96
Şuna benzer çıktılar alacaksınız:
[user@vultr ~]$ pwgen -N 1 -s 96
pJqhNbdEY9FtNBfFUtq20lG2m9daacmsZQr59FhyoA0Wu3XQyVZcu5FedPZ9eCiDfjdiYWfRcEQ7a36bVqxSyTzcMMx5Rz8v
Ayrıca, kök admin
kullanıcının parolası için 256 bit karma oluşturun :
echo -n StrongPassword | sha256sum
Kullanıcı StrongPassword
için belirlemek istediğiniz şifreyle değiştirin admin
. Göreceksin:
[user@vultr ~]$ echo -n StrongPassword | sha256sum
05a181f00c157f70413d33701778a6ee7d2747ac18b9c0fbb8bd71a62dd7a223 -
Graylog yapılandırma dosyasını açın:
sudo nano /etc/graylog/server/server.conf
Komut ile password_secret =
oluşturulan şifreyi bulun , kopyalayın ve yapıştırın pwgen
. root_password_sha2 =
Yönetici şifrenizin dönüştürülmüş SHA 256 bit karmasını bulun , kopyalayın ve yapıştırın. #root_email =
E-posta adresinizi bulun , açın ve sağlayın. Açık konuma getirin ve saat diliminizi olarak ayarlayın root_timezone
. Örneğin:
password_secret = pJqhNbdEY9FtNBfFUtq20lG2m9daacmsZQr59FhyoA0Wu3XQyVZcu5FedPZ9eCiDfjdiYWfRcEQ7a36bVqxSyTzcMMx5Rz8v
root_password_sha2 = 05a181f00c157f70413d33701778a6ee7d2747ac18b9c0fbb8bd71a62dd7a223
root_email = [email protected]
root_timezone = Asia/Kolkata
Web tabanlı Graylog arabirimini etkinleştirerek #web_enable = false
değerini ayarlayarak etkinleştirin true
. Ayrıca, aşağıdaki satırları da belirtin ve değiştirin.
rest_listen_uri = http://0.0.0.0:9000/api/
rest_transport_uri = http://192.0.2.1:9000/api/
web_enable = true
web_listen_uri = http://0.0.0.0:9000/
Dosyayı kaydedin ve metin düzenleyicinizden çıkın.
Graylog hizmetini aşağıdakileri çalıştırarak yeniden başlatın ve etkinleştirin:
sudo systemctl restart graylog-server
sudo systemctl enable graylog-server
Varsayılan olarak, Graylog web arayüzü localhost
9000 numaralı bağlantı noktasını dinler ve API 9000 numaralı bağlantı noktasını URL ile dinler /api
. Bu öğreticide, uygulamanın standart HTTP bağlantı noktası üzerinden erişilebilmesi için Nginx'i ters proxy olarak kullanacağız. Nginx web sunucusunu çalıştırarak kurun:
sudo apt -y install nginx
Varsayılan sanal ana bilgisayar dosyasını yazarak açın.
sudo nano /etc/nginx/sites-available/default
Mevcut içeriği aşağıdaki satırlarla değiştirin:
server
{
listen 80 default_server;
listen [::]:80 default_server ipv6only=on;
server_name 192.0.2.1 graylog.example.com;
location / {
proxy_set_header Host $http_host;
proxy_set_header X-Forwarded-Host $host;
proxy_set_header X-Forwarded-Server $host;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Graylog-Server-URL http://$server_name/api;
proxy_pass http://127.0.0.1:9000;
}
}
Nginx'i başlatın ve önyükleme zamanında otomatik olarak başlamasını sağlayın:
sudo systemctl restart nginx
sudo systemctl enable nginx
Graylog sunucusunun kurulumu ve temel yapılandırması artık tamamlanmıştır. Artık Graylog sunucusuna http://192.0.2.1
veya http://graylog.example.com
yapılandırılmış DNS'niz varsa erişebilirsiniz . admin
Daha root_password_sha2
önce ayarladığınız parolanın kullanıcı adını ve düz metin sürümünü kullanarak oturum açın .
Tebrikler - Ubuntu 16.04 sunucunuzda tam olarak çalışan bir Graylog sunucunuz var.
26 Büyük Veri Analitik Tekniğine Bir Bakış: 1. Bölüm
Birçoğunuz Switch'in Mart 2017'de çıkacağını ve yeni özelliklerini biliyorsunuz. Bilmeyenler için, 'Switch'i 'olmazsa olmaz bir gadget' yapan özelliklerin bir listesini hazırladık.
Teknoloji devlerinin sözlerini yerine getirmesini mi bekliyorsunuz? teslim edilmeyenleri kontrol edin.
Büyük Veri Mimarisindeki farklı katmanları ve işlevlerini en basit şekilde öğrenmek için blogu okuyun.
Yapay Zekanın küçük ölçekli şirketler arasında nasıl popüler hale geldiğini ve onları büyütme ve rakiplerine üstünlük sağlama olasılıklarını nasıl artırdığını öğrenmek için bunu okuyun.
CAPTCHA, son birkaç yılda kullanıcıların çözmesi oldukça zorlaştı. Gelecekte spam ve bot tespitinde etkili kalabilecek mi?
Bilim hızla gelişip birçok çabamızı üstlendikçe, kendimizi açıklanamaz bir Tekilliğe maruz bırakmanın riskleri de artıyor. Okuyun, tekillik bizim için ne anlama gelebilir.
Teletıp, uzaktan sağlık hizmetleri ve gelecek nesiller üzerindeki etkisi nedir? Pandemi durumunda iyi bir yer mi değil mi? Bir görünüm bulmak için blogu okuyun!
Bilgisayar korsanlarının çok para kazandığını duymuş olabilirsiniz, ancak bu kadar parayı nasıl kazandıklarını hiç merak ettiniz mi? Hadi tartışalım.
Son zamanlarda Apple, sorunları gidermek için macOS Catalina 10.15.4'ü ek bir güncelleme yayınladı, ancak güncelleme, mac makinelerinde tuğla oluşmasına neden olan daha fazla soruna neden oluyor gibi görünüyor. Daha fazla bilgi edinmek için bu makaleyi okuyun