Wawasan tentang 26 Teknik Analisis Data Besar: Bagian 1
Wawasan tentang 26 Teknik Analisis Data Besar: Bagian 1
Graylog server adalah perangkat lunak manajemen log sumber terbuka siap pakai perusahaan. Ia mengumpulkan log dari berbagai sumber dan menganalisisnya untuk menemukan dan menyelesaikan masalah. Server Greylog pada dasarnya adalah kombinasi dari Elasticsearch, MongoDB dan Graylog. Elasticsearch adalah aplikasi open source yang sangat populer untuk menyimpan teks dan menyediakan kemampuan pencarian yang sangat kuat. MongoDB adalah aplikasi open source untuk menyimpan data dalam format NoSQL. Graylog mengumpulkan log dari berbagai sumber dan menyediakan dasbor berbasis web untuk mengelola dan mencari melalui log. Graylog juga menyediakan API REST untuk konfigurasi dan data. Ini menyediakan dasbor yang dapat dikonfigurasi yang dapat digunakan untuk memvisualisasikan metrik dan mengamati tren dengan menggunakan statistik lapangan, nilai cepat, dan grafik dari satu lokasi pusat.
Dalam tutorial ini, Anda akan belajar menginstal Graylog Server di Ubuntu 16.04. Panduan ini ditulis untuk Graylog Server 2.3, tetapi juga dapat digunakan pada versi yang lebih baru. Anda juga akan belajar menginstal Java, Elasticsearch dan MongoDB. Kami juga akan mengamankan instance MongoDB dan menyiapkan proxy reverse Nginx untuk dasbor dan API berbasis web.
Dalam tutorial ini, kita akan menggunakan 192.0.2.1
alamat IP publik dari server dan graylog.example.com
sebagai nama domain yang menunjuk ke server. Ganti semua kemunculan 192.0.2.1
dengan alamat IP publik Vultr Anda dan graylog.example.com
dengan nama domain Anda yang sebenarnya.
Perbarui sistem basis Anda menggunakan panduan Cara Memperbarui Ubuntu 16.04 . Setelah sistem Anda diperbarui, lanjutkan untuk menginstal Java.
Elasticsearch membutuhkan Java 8 untuk dijalankan. Ini mendukung Oracle Java dan OpenJDK, tetapi selalu disarankan agar Anda menggunakan Oracle Java jika memungkinkan. Tambahkan repositori Oracle Java PPA:
sudo add-apt-repository ppa:webupd8team/java
Perbarui metadata repositori APT:
sudo apt update
Instal versi stabil terbaru Java 8, jalankan:
sudo apt -y install oracle-java8-installer
Terima perjanjian lisensi saat diminta. Jika Java telah diinstal dengan sukses, maka Anda harus dapat memverifikasi versinya.
java -version
Anda akan melihat output berikut.
user@vultr:~$ java -version
java version "1.8.0_144"
Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)
Atur JAVA_HOME
dan default lainnya dengan menginstal oracle-java8-set-default
. Lari:
sudo apt -y install oracle-java8-set-default
Jalankan echo $JAVA_HOME
perintah untuk memeriksa apakah variabel lingkungan disetel atau tidak.
user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-oracle
Jika Anda tidak mendapatkan output seperti yang ditunjukkan di atas, Anda mungkin harus keluar dan masuk lagi ke shell.
Elasticsearch adalah aplikasi terdistribusi, waktu nyata, terukur dan sangat tersedia yang digunakan untuk menyimpan log dan mencari melalui mereka. Ini menyimpan data dalam indeks dan mencari melalui data sangat cepat. Ini menyediakan berbagai set API, seperti HTTP RESTful API dan Java API asli. Elasticsearch dapat diinstal langsung melalui repositori Elasticsearch. Tambahkan repositori APT Elasticsearch:
echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list
Impor kunci PGP yang digunakan untuk menandatangani paket. Ini akan memastikan integritas paket.
wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
Perbarui metadata repositori APT.
sudo apt update
Instal paket Elasticsearch:
sudo apt -y install elasticsearch
Setelah paket diinstal, buka file konfigurasi default Elasticsearch.
sudo nano /etc/elasticsearch/elasticsearch.yml
Temukan baris berikut, batalkan komentar dan ubah nilainya dari my-application
menjadi graylog
.
cluster.name: graylog
Anda dapat memulai Elasticsearch dan mengaktifkannya secara otomatis mulai saat boot:
sudo systemctl enable elasticsearch
sudo systemctl start elasticsearch
Elasticsearch sekarang berjalan pada port 9200. Pastikan itu berfungsi dengan baik dengan menjalankan:
curl -XGET 'localhost:9200/?pretty'
Anda akan melihat output yang mirip dengan yang berikut ini.
[user@vultr ~]$ curl -XGET 'localhost:9200/?pretty'
{
"name" : "-kYzFA9",
"cluster_name" : "graylog",
"cluster_uuid" : "T3JQKehzSqmLThlVkEKPKg",
"version" : {
"number" : "5.5.1",
"build_hash" : "19c13d0",
"build_date" : "2017-07-18T20:44:24.823Z",
"build_snapshot" : false,
"lucene_version" : "6.6.0"
},
"tagline" : "You Know, for Search"
}
Jika Anda menemukan kesalahan, tunggu beberapa detik dan coba lagi, karena Elasticsearch membutuhkan waktu untuk menyelesaikan proses start-upnya. Elasticsearch sekarang diinstal dan berfungsi dengan benar.
MongoDB adalah server database NoSQL gratis dan open source. Tidak seperti database tradisional yang menggunakan tabel untuk mengatur data mereka, MongoDB berorientasi pada dokumen dan menggunakan dokumen mirip JSON tanpa skema. Graylog menggunakan MongoDB untuk menyimpan konfigurasinya dan informasi meta. Itu dapat diinstal langsung melalui repositori MongoDB. Impor kunci GPG yang digunakan untuk menandatangani paket. Ini akan memastikan keaslian paket.
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 0C49F3730359A14518585931BC711F9BA15703C6
Sekarang buat file Repositori:
echo "deb [ arch=amd64,arm64 ] http://repo.mongodb.org/apt/ubuntu xenial/mongodb-org/3.4 multiverse" | sudo tee /etc/apt/sources.list.d/mongodb-org-3.4.list
Perbarui metadata repositori APT.
sudo apt update
Instal paket MongoDB:
sudo apt -y install mongodb-org
Mulai server MongoDB dan aktifkan untuk memulai secara otomatis.
sudo systemctl start mongod
sudo systemctl enable mongod
Unduh dan repositori terbaru untuk server Graylog.
wget https://packages.graylog2.org/repo/packages/graylog-2.3-repository_latest.deb
sudo dpkg -i graylog-2.3-repository_latest.deb
sudo apt update
Instal paket Graylog:
sudo apt install graylog-server
Server Graylog sekarang diinstal di server Anda. Sebelum Anda dapat memulainya, Anda perlu mengonfigurasi beberapa hal.
Instal pwgen
utilitas untuk menghasilkan kata sandi yang kuat.
sudo apt -y install pwgen
Sekarang hasilkan rahasia kata sandi yang kuat.
pwgen -N 1 -s 96
Anda akan menghasilkan mirip dengan:
[user@vultr ~]$ pwgen -N 1 -s 96
pJqhNbdEY9FtNBfFUtq20lG2m9daacmsZQr59FhyoA0Wu3XQyVZcu5FedPZ9eCiDfjdiYWfRcEQ7a36bVqxSyTzcMMx5Rz8v
Juga, hasilkan hash 256-bit untuk kata sandi admin
pengguna root :
echo -n StrongPassword | sha256sum
Ganti StrongPassword
dengan kata sandi yang ingin Anda atur untuk admin
pengguna. Kamu akan lihat:
[user@vultr ~]$ echo -n StrongPassword | sha256sum
05a181f00c157f70413d33701778a6ee7d2747ac18b9c0fbb8bd71a62dd7a223 -
Buka file konfigurasi Graylog:
sudo nano /etc/graylog/server/server.conf
Temukan password_secret =
, salin dan tempel kata sandi yang dihasilkan melalui pwgen
perintah. Temukan root_password_sha2 =
, salin dan tempel hash SHA 256-bit yang dikonversi dari kata sandi admin Anda. Temukan #root_email =
, batalkan komentar dan berikan alamat email Anda. Batalkan komentar dan atur zona waktu Anda di root_timezone
. Sebagai contoh:
password_secret = pJqhNbdEY9FtNBfFUtq20lG2m9daacmsZQr59FhyoA0Wu3XQyVZcu5FedPZ9eCiDfjdiYWfRcEQ7a36bVqxSyTzcMMx5Rz8v
root_password_sha2 = 05a181f00c157f70413d33701778a6ee7d2747ac18b9c0fbb8bd71a62dd7a223
root_email = [email protected]
root_timezone = Asia/Kolkata
Aktifkan antarmuka Graylog berbasis web dengan membatalkan komentar #web_enable = false
dan mengatur nilainya true
. Batalkan komentar dan ubah baris berikut seperti yang ditentukan.
rest_listen_uri = http://0.0.0.0:9000/api/
rest_transport_uri = http://192.0.2.1:9000/api/
web_enable = true
web_listen_uri = http://0.0.0.0:9000/
Simpan file dan keluar dari editor teks Anda.
Mulai ulang dan aktifkan layanan Graylog dengan menjalankan:
sudo systemctl restart graylog-server
sudo systemctl enable graylog-server
Secara default, antarmuka web Graylog mendengarkan localhost
pada port 9000 dan API mendengarkan pada port 9000 dengan URL /api
. Dalam tutorial ini, kita akan menggunakan Nginx sebagai proxy terbalik sehingga aplikasi dapat diakses melalui port HTTP standar. Instal server web Nginx dengan menjalankan:
sudo apt -y install nginx
Buka file host virtual standar dengan mengetik.
sudo nano /etc/nginx/sites-available/default
Ganti konten yang ada dengan baris berikut:
server
{
listen 80 default_server;
listen [::]:80 default_server ipv6only=on;
server_name 192.0.2.1 graylog.example.com;
location / {
proxy_set_header Host $http_host;
proxy_set_header X-Forwarded-Host $host;
proxy_set_header X-Forwarded-Server $host;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Graylog-Server-URL http://$server_name/api;
proxy_pass http://127.0.0.1:9000;
}
}
Mulai Nginx dan aktifkan untuk memulai secara otomatis saat boot:
sudo systemctl restart nginx
sudo systemctl enable nginx
Instalasi dan konfigurasi dasar server Graylog sekarang selesai. Anda sekarang dapat mengakses server Graylog pada http://192.0.2.1
atau http://graylog.example.com
jika Anda telah mengkonfigurasi DNS. Login menggunakan nama pengguna admin
dan kata sandi versi teks yang telah Anda tentukan root_password_sha2
sebelumnya.
Selamat - Anda memiliki server Graylog yang berfungsi penuh diinstal pada server Ubuntu 16.04 Anda.
Wawasan tentang 26 Teknik Analisis Data Besar: Bagian 1
Banyak dari Anda tahu Switch keluar pada Maret 2017 dan fitur-fitur barunya. Bagi yang belum tahu, kami sudah menyiapkan daftar fitur yang membuat 'Switch' menjadi 'gadget yang wajib dimiliki'.
Apakah Anda menunggu raksasa teknologi untuk memenuhi janji mereka? periksa apa yang belum terkirim.
Baca blog untuk mengetahui berbagai lapisan dalam Arsitektur Big Data dan fungsinya dengan cara yang paling sederhana.
Baca ini untuk mengetahui bagaimana Kecerdasan Buatan menjadi populer di antara perusahaan skala kecil dan bagaimana hal itu meningkatkan kemungkinan untuk membuat mereka tumbuh dan memberi keunggulan pada pesaing mereka.
CAPTCHA telah berkembang cukup sulit bagi pengguna untuk dipecahkan dalam beberapa tahun terakhir. Apakah itu akan tetap efektif dalam deteksi spam dan bot di masa mendatang?
Saat Sains Berkembang dengan kecepatan tinggi, mengambil alih banyak upaya kita, risiko menundukkan diri kita pada Singularitas yang tidak dapat dijelaskan juga meningkat. Baca, apa arti singularitas bagi kita.
Apa itu telemedicine, perawatan kesehatan jarak jauh dan dampaknya terhadap generasi mendatang? Apakah itu tempat yang bagus atau tidak dalam situasi pandemi? Baca blog untuk menemukan tampilan!
Anda mungkin pernah mendengar bahwa peretas menghasilkan banyak uang, tetapi pernahkah Anda bertanya-tanya bagaimana cara mereka mendapatkan uang sebanyak itu? mari berdiskusi.
Baru-baru ini Apple merilis macOS Catalina 10.15.4 pembaruan suplemen untuk memperbaiki masalah tetapi tampaknya pembaruan menyebabkan lebih banyak masalah yang mengarah ke bricking mesin mac. Baca artikel ini untuk mempelajari lebih lanjut