Pandangan tentang 26 Teknik Analisis Data Besar: Bahagian 1
Pandangan tentang 26 Teknik Analisis Data Besar: Bahagian 1
Pelayan Graylog adalah rangkaian perisian pengurusan sumber terbuka yang sedia untuk syarikat. Ia mengumpulkan log dari pelbagai sumber dan menganalisisnya untuk mencari dan menyelesaikan masalah. Pelayan Graylog pada dasarnya adalah gabungan Elasticsearch, MongoDB dan Graylog. Elasticsearch adalah aplikasi sumber terbuka yang sangat popular untuk menyimpan teks dan memberikan keupayaan carian yang sangat kuat. MongoDB adalah aplikasi sumber terbuka untuk menyimpan data dalam format NoSQL. Graylog mengumpulkan log dari pelbagai sumber dan menyediakan papan pemuka berasaskan web untuk mengurus dan mencari melalui log. Graylog juga menyediakan REST API untuk konfigurasi dan data. Ini menyediakan papan pemuka yang dapat dikonfigurasi yang dapat digunakan untuk memvisualisasikan metrik dan mengamati tren dengan menggunakan statistik lapangan, nilai cepat, dan carta dari satu lokasi pusat.
Dalam tutorial ini, anda akan belajar memasang Graylog Server di CentOS 7. Panduan ini ditulis untuk Graylog Server 2.3, tetapi mungkin juga berfungsi pada versi yang lebih baru. Anda juga akan belajar memasang Java, Elasticsearch dan MongoDB. Kami juga akan melindungi instance MongoDB dan menyediakan proksi terbalik Nginx untuk papan pemuka dan API berasaskan web.
Dalam tutorial ini, kami akan menggunakan 192.0.2.1
sebagai alamat IP awam pelayan dan graylog.example.com
sebagai nama domain yang ditunjukkan ke pelayan. Ganti semua kejadian 192.0.2.1
dengan alamat IP awam Vultr anda dan graylog.example.com
dengan nama domain sebenar anda.
Kemas kini sistem asas anda menggunakan panduan Cara Mengemas kini CentOS 7 . Apabila sistem anda telah dikemas kini, teruskan untuk memasang Java.
Elasticsearch memerlukan Java 8 untuk dijalankan. Ini menyokong Oracle Java dan OpenJDK, tetapi selalu disarankan agar anda menggunakan Oracle Java bila mungkin. Oracle menyediakan pakej RPM yang siap dipasang. Muat turun RPM Oracle JDK:
wget --no-cookies --no-check-certificate --header "Cookie:oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u144-b01/090f390dda5b47b9b721c7dfaa008135/jdk-8u144-linux-x64.rpm"
Pasang pakej RPM.
sudo yum -y install jdk-8u144-linux-x64.rpm
Sekiranya Java berjaya dipasang, anda seharusnya dapat mengesahkan versinya.
java -version
Anda akan melihat output berikut.
[user@vultr ~]$ java -version
java version "1.8.0_144"
Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)
Tetapkan JAVA_HOME
dan JRE_HOME
pemboleh ubah persekitaran dengan menjalankan:
echo "export JAVA_HOME=/usr/java/jdk1.8.0_144/" >> ~/.bash_profile
echo "export JRE_HOME=/usr/java/jdk1.8.0_144/jre" >> ~/.bash_profile
Sekarang, cari fail menggunakan arahan berikut.
source ~/.bash_profile
Jalankan echo $JAVA_HOME
arahan untuk memeriksa sama ada pemboleh ubah persekitaran ditetapkan atau tidak.
[user@vultr ~]$ echo $JAVA_HOME
/usr/java/jdk1.8.0_144/
Elasticsearch adalah aplikasi diedarkan, masa nyata, berskala dan sangat tersedia yang digunakan untuk menyimpan log dan mencarinya. Ia menyimpan data dalam indeks dan mencari melalui data sangat cepat. Ini menyediakan pelbagai set API, seperti HTTP RESTful API dan Java Java asli. Elasticsearch boleh dipasang terus melalui repositori Elasticsearch. Buat fail repositori baru untuk Elasticsearch.
sudo nano /etc/yum.repos.d/elasticsearch.repo
Isi fail dengan kandungan berikut.
[elasticsearch-5.x]
name=Elasticsearch repository for 5.x packages
baseurl=https://artifacts.elastic.co/packages/5.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
Import kunci PGP yang digunakan untuk menandatangani pakej. Ini akan memastikan integriti pakej.
sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
Pasang pakej Elasticsearch:
sudo yum -y install elasticsearch
Setelah pakej dipasang, buka fail konfigurasi lalai Elasticsearch.
sudo nano /etc/elasticsearch/elasticsearch.yml
Cari baris berikut, tanggalkan dan ubah nilainya dari my-application
menjadi graylog
.
cluster.name: graylog
Anda boleh memulakan Elasticsearch dan membolehkannya bermula secara automatik pada waktu boot:
sudo systemctl enable elasticsearch
sudo systemctl start elasticsearch
Elasticsearch kini berjalan di port 9200. Sahkan bahawa ia berfungsi dengan betul dengan menjalankan:
curl -XGET 'localhost:9200/?pretty'
Anda mesti melihat output yang serupa dengan yang berikut.
[user@vultr ~]$ curl -XGET 'localhost:9200/?pretty'
{
"name" : "-kYzFA9",
"cluster_name" : "graylog",
"cluster_uuid" : "T3JQKehzSqmLThlVkEKPKg",
"version" : {
"number" : "5.5.1",
"build_hash" : "19c13d0",
"build_date" : "2017-07-18T20:44:24.823Z",
"build_snapshot" : false,
"lucene_version" : "6.6.0"
},
"tagline" : "You Know, for Search"
}
Sekiranya anda menghadapi kesilapan, tunggu selama beberapa saat dan cuba lagi, kerana memerlukan masa untuk Elasticsearch menyelesaikan proses permulaannya. Elasticsearch kini dipasang dan berfungsi dengan betul.
MongoDB adalah pelayan pangkalan data NoSQL sumber terbuka dan bebas. Tidak seperti pangkalan data tradisional yang menggunakan jadual untuk mengatur data mereka, MongoDB berorientasikan dokumen dan menggunakan dokumen seperti JSON tanpa skema. Graylog menggunakan MongoDB untuk menyimpan konfigurasi dan maklumat meta. Ia boleh dipasang secara langsung melalui repositori MongoDB. Buat fail repositori baru untuk MongoDB.
sudo nano /etc/yum.repos.d/mongodb.repo
Isi fail dengan kandungan berikut.
[mongodb-org-3.4]
name=MongoDB Repository
baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.4/x86_64/
gpgcheck=1
enabled=1
gpgkey=https://www.mongodb.org/static/pgp/server-3.4.asc
Pasang MongoDB dengan menjalankan:
sudo yum -y install mongodb-org
Mulakan pelayan MongoDB dan aktifkan secara automatik.
sudo systemctl start mongod
sudo systemctl enable mongod
Muat turun repositori terkini untuk pelayan Graylog.
sudo rpm -Uvh https://packages.graylog2.org/repo/packages/graylog-2.3-repository_latest.rpm
sudo yum -y update
Pasang Graylog dengan menjalankan:
sudo yum -y install graylog-server
Pelayan Graylog kini dipasang pada pelayan anda. Sebelum memulakannya, anda perlu mengkonfigurasi beberapa perkara.
Pasang pwgen
utiliti untuk menghasilkan kata laluan yang kuat.
sudo yum -y install pwgen
Sekarang buat rahsia kata laluan yang kuat.
pwgen -N 1 -s 96
Anda akan menghasilkan yang serupa dengan:
[user@vultr ~]$ pwgen -N 1 -s 96
pJqhNbdEY9FtNBfFUtq20lG2m9daacmsZQr59FhyoA0Wu3XQyVZcu5FedPZ9eCiDfjdiYWfRcEQ7a36bVqxSyTzcMMx5Rz8v
Juga, hasilkan hash 256-bit untuk kata laluan admin
pengguna root :
echo -n StrongPassword | sha256sum
Ganti StrongPassword
dengan kata laluan yang ingin anda tetapkan untuk admin
pengguna. Awak akan lihat:
[user@vultr ~]$ echo -n StrongPassword | sha256sum
05a181f00c157f70413d33701778a6ee7d2747ac18b9c0fbb8bd71a62dd7a223 -
Buka fail konfigurasi Graylog:
sudo nano /etc/graylog/server/server.conf
Cari password_secret =
, salin dan tampal kata laluan yang dihasilkan melalui pwgen
arahan. Cari root_password_sha2 =
, salin dan tampal hash SHA 256-bit kata laluan pentadbir anda yang ditukar. Cari #root_email =
, beri komen dan berikan alamat e-mel anda. Ketidakpuasan dan tetapkan zon waktu anda di root_timezone
. Sebagai contoh:
password_secret = pJqhNbdEY9FtNBfFUtq20lG2m9daacmsZQr59FhyoA0Wu3XQyVZcu5FedPZ9eCiDfjdiYWfRcEQ7a36bVqxSyTzcMMx5Rz8v
root_password_sha2 = 05a181f00c157f70413d33701778a6ee7d2747ac18b9c0fbb8bd71a62dd7a223
root_email = [email protected]
root_timezone = Asia/Kolkata
Aktifkan antara muka Graylog berasaskan web dengan melepaskan #web_enable = false
dan menetapkan nilai ke true
. Juga tidak teratur dan ubah baris berikut seperti yang ditentukan.
rest_listen_uri = http://0.0.0.0:9000/api/
rest_transport_uri = http://45.76.214.19:9000/api/
web_enable = true
web_listen_uri = http://0.0.0.0:9000/
Simpan fail dan keluar dari editor teks anda.
Mulakan semula perkhidmatan Graylog dengan menjalankan:
sudo systemctl restart graylog-server
Secara lalai, antara muka web Graylog mendengar localhost
di port 9000 dan API mendengar di port 9000 dengan URL /api
. Dalam tutorial ini, kami akan menggunakan Nginx sebagai proksi terbalik sehingga aplikasi dapat diakses melalui port HTTP standard. Pasang pelayan web Nginx dengan menjalankan:
sudo yum -y install nginx
Buka hos maya lalai dengan menaip.
sudo nano /etc/nginx/nginx.conf
Cari server
blok di bawah http
, dan ganti keseluruhan server
blok dengan baris berikut.
server
{
listen 80 default_server;
listen [::]:80 default_server ipv6only=on;
server_name graylog.example.com 192.0.2.1;
location / {
proxy_set_header Host $http_host;
proxy_set_header X-Forwarded-Host $host;
proxy_set_header X-Forwarded-Server $host;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Graylog-Server-URL http://$server_name/api;
proxy_pass http://127.0.0.1:9000;
}
}
Mulakan Nginx dan aktifkan secara automatik semasa boot:
sudo systemctl start nginx
sudo systemctl enable nginx
Sekiranya anda menjalankan firewall di pelayan anda, anda perlu mengkonfigurasi firewall untuk menetapkan pengecualian untuk port tertentu. Benarkan perkhidmatan Elasticsearch dan Nginx membalikkan proksi untuk berhubung dari luar rangkaian.
sudo firewall-cmd --zone=public --permanent --add-service=http
sudo firewall-cmd --zone=public --permanent --add-port=9200/tcp
sudo firewall-cmd --reload
Sekiranya SELinux diaktifkan pada sistem anda, anda perlu menambahkan beberapa pengecualian dalam dasar SELinux.
sudo setsebool -P httpd_can_network_connect 1
sudo semanage port -a -t http_port_t -p tcp 9000
sudo semanage port -a -t http_port_t -p tcp 9200
sudo semanage port -a -t mongod_port_t -p tcp 27017
Pemasangan dan konfigurasi asas pelayan Graylog kini selesai. Anda kini boleh mengakses pelayan Graylog pada http://192.0.2.1
atau http://graylog.example.com
jika anda telah dikonfigurasi DNS. Log masuk menggunakan nama pengguna admin
dan versi teks biasa kata laluan yang telah anda tetapkan root_password_sha2
sebelumnya.
Tahniah - anda mempunyai pelayan Graylog yang berfungsi sepenuhnya dipasang pada pelayan CentOS 7 anda.
Pandangan tentang 26 Teknik Analisis Data Besar: Bahagian 1
Ramai daripada anda tahu Switch akan keluar pada Mac 2017 dan ciri baharunya. Bagi yang tidak tahu, kami telah menyediakan senarai ciri yang menjadikan 'Tukar' sebagai 'gajet yang mesti ada'.
Adakah anda menunggu gergasi teknologi memenuhi janji mereka? semak apa yang masih belum dihantar.
Baca blog untuk mengetahui lapisan berbeza dalam Seni Bina Data Besar dan fungsinya dengan cara yang paling mudah.
Baca ini untuk mengetahui cara Kecerdasan Buatan semakin popular di kalangan syarikat berskala kecil dan cara ia meningkatkan kebarangkalian untuk menjadikan mereka berkembang dan memberikan pesaing mereka kelebihan.
CAPTCHA telah menjadi agak sukar untuk diselesaikan oleh pengguna dalam beberapa tahun kebelakangan ini. Adakah ia dapat kekal berkesan dalam pengesanan spam dan bot pada masa hadapan?
Apabila Sains Berkembang pada kadar yang pantas, mengambil alih banyak usaha kita, risiko untuk menundukkan diri kita kepada Ketunggalan yang tidak dapat dijelaskan juga meningkat. Baca, apakah makna ketunggalan bagi kita.
Apakah teleperubatan, penjagaan kesihatan jauh dan impaknya kepada generasi akan datang? Adakah ia tempat yang baik atau tidak dalam situasi pandemik? Baca blog untuk mencari paparan!
Anda mungkin pernah mendengar bahawa penggodam memperoleh banyak wang, tetapi pernahkah anda terfikir bagaimana mereka memperoleh wang seperti itu? Mari berbincang.
Baru-baru ini Apple mengeluarkan macOS Catalina 10.15.4 kemas kini tambahan untuk menyelesaikan masalah tetapi nampaknya kemas kini itu menyebabkan lebih banyak masalah yang membawa kepada pemusnahan mesin mac. Baca artikel ini untuk mengetahui lebih lanjut