Pandangan tentang 26 Teknik Analisis Data Besar: Bahagian 1
Pandangan tentang 26 Teknik Analisis Data Besar: Bahagian 1
Pelayan Graylog adalah rangkaian perisian pengurusan sumber terbuka yang sedia untuk syarikat. Ia mengumpulkan log dari pelbagai sumber dan menganalisisnya untuk mencari dan menyelesaikan masalah. Pelayan Greylog pada dasarnya adalah gabungan Elasticsearch, MongoDB dan Graylog. Elasticsearch adalah aplikasi sumber terbuka yang sangat popular untuk menyimpan teks dan memberikan keupayaan carian yang sangat kuat. MongoDB adalah aplikasi sumber terbuka untuk menyimpan data dalam format NoSQL. Graylog mengumpulkan log dari pelbagai sumber dan menyediakan papan pemuka berasaskan web untuk mengurus dan mencari melalui log. Graylog juga menyediakan REST API untuk konfigurasi dan data. Ini menyediakan papan pemuka yang dapat dikonfigurasi yang dapat digunakan untuk memvisualisasikan metrik dan mengamati tren dengan menggunakan statistik lapangan, nilai cepat, dan carta dari satu lokasi pusat.
Dalam tutorial ini, anda akan belajar memasang Graylog Server di Ubuntu 16.04. Panduan ini ditulis untuk Graylog Server 2.3, tetapi mungkin juga berfungsi pada versi yang lebih baru. Anda juga akan belajar memasang Java, Elasticsearch dan MongoDB. Kami juga akan melindungi instance MongoDB dan menyediakan proksi terbalik Nginx untuk papan pemuka dan API berasaskan web.
Dalam tutorial ini, kami akan menggunakan 192.0.2.1
sebagai alamat IP awam pelayan dan graylog.example.com
sebagai nama domain yang ditunjukkan ke pelayan. Ganti semua kejadian 192.0.2.1
dengan alamat IP awam Vultr anda dan graylog.example.com
dengan nama domain sebenar anda.
Kemas kini sistem asas anda menggunakan panduan Cara Kemaskini Ubuntu 16.04 . Apabila sistem anda telah dikemas kini, teruskan untuk memasang Java.
Elasticsearch memerlukan Java 8 untuk dijalankan. Ini menyokong Oracle Java dan OpenJDK, tetapi selalu disarankan agar anda menggunakan Oracle Java bila mungkin. Tambahkan repositori PPA Oracle Java:
sudo add-apt-repository ppa:webupd8team/java
Kemas kini metadata repositori APT:
sudo apt update
Pasang versi stabil terbaru Java 8, jalankan:
sudo apt -y install oracle-java8-installer
Terima perjanjian lesen apabila diminta. Sekiranya Java berjaya dipasang, anda seharusnya dapat mengesahkan versinya.
java -version
Anda akan melihat output berikut.
user@vultr:~$ java -version
java version "1.8.0_144"
Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)
Tetapkan JAVA_HOME
lalai dan lain-lain dengan memasang oracle-java8-set-default
. Jalankan:
sudo apt -y install oracle-java8-set-default
Jalankan echo $JAVA_HOME
arahan untuk memeriksa sama ada pemboleh ubah persekitaran ditetapkan atau tidak.
user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-oracle
Sekiranya anda tidak mendapat output seperti di atas, anda mungkin perlu log keluar dan log masuk ke shell semula.
Elasticsearch adalah aplikasi diedarkan, masa nyata, berskala dan sangat tersedia yang digunakan untuk menyimpan log dan mencarinya. Ia menyimpan data dalam indeks dan mencari melalui data sangat cepat. Ini menyediakan pelbagai set API, seperti HTTP RESTful API dan Java Java asli. Elasticsearch boleh dipasang terus melalui repositori Elasticsearch. Tambahkan repositori APT Elasticsearch:
echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list
Import kunci PGP yang digunakan untuk menandatangani pakej. Ini akan memastikan integriti pakej.
wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
Kemas kini metadata repositori APT.
sudo apt update
Pasang pakej Elasticsearch:
sudo apt -y install elasticsearch
Setelah pakej dipasang, buka fail konfigurasi lalai Elasticsearch.
sudo nano /etc/elasticsearch/elasticsearch.yml
Cari baris berikut, tanggalkan dan ubah nilainya dari my-application
menjadi graylog
.
cluster.name: graylog
Anda boleh memulakan Elasticsearch dan membolehkannya bermula secara automatik pada waktu boot:
sudo systemctl enable elasticsearch
sudo systemctl start elasticsearch
Elasticsearch kini berjalan di port 9200. Sahkan bahawa ia berfungsi dengan betul dengan menjalankan:
curl -XGET 'localhost:9200/?pretty'
Anda mesti melihat output yang serupa dengan yang berikut.
[user@vultr ~]$ curl -XGET 'localhost:9200/?pretty'
{
"name" : "-kYzFA9",
"cluster_name" : "graylog",
"cluster_uuid" : "T3JQKehzSqmLThlVkEKPKg",
"version" : {
"number" : "5.5.1",
"build_hash" : "19c13d0",
"build_date" : "2017-07-18T20:44:24.823Z",
"build_snapshot" : false,
"lucene_version" : "6.6.0"
},
"tagline" : "You Know, for Search"
}
Sekiranya anda menghadapi kesilapan, tunggu selama beberapa saat dan cuba lagi, kerana memerlukan masa untuk Elasticsearch menyelesaikan proses permulaannya. Elasticsearch kini dipasang dan berfungsi dengan betul.
MongoDB adalah pelayan pangkalan data NoSQL sumber terbuka dan bebas. Tidak seperti pangkalan data tradisional yang menggunakan jadual untuk mengatur data mereka, MongoDB berorientasikan dokumen dan menggunakan dokumen seperti JSON tanpa skema. Graylog menggunakan MongoDB untuk menyimpan konfigurasi dan maklumat meta. Ia boleh dipasang secara langsung melalui repositori MongoDB. Import kunci GPG yang digunakan untuk menandatangani pakej. Ini akan memastikan kesahihan pakej.
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 0C49F3730359A14518585931BC711F9BA15703C6
Sekarang buat fail Repositori:
echo "deb [ arch=amd64,arm64 ] http://repo.mongodb.org/apt/ubuntu xenial/mongodb-org/3.4 multiverse" | sudo tee /etc/apt/sources.list.d/mongodb-org-3.4.list
Kemas kini metadata repositori APT.
sudo apt update
Pasang pakej MongoDB:
sudo apt -y install mongodb-org
Mulakan pelayan MongoDB dan aktifkan secara automatik.
sudo systemctl start mongod
sudo systemctl enable mongod
Muat turun dan repositori terkini untuk pelayan Graylog.
wget https://packages.graylog2.org/repo/packages/graylog-2.3-repository_latest.deb
sudo dpkg -i graylog-2.3-repository_latest.deb
sudo apt update
Pasang pakej Graylog:
sudo apt install graylog-server
Pelayan Graylog kini dipasang pada pelayan anda. Sebelum memulakannya, anda perlu mengkonfigurasi beberapa perkara.
Pasang pwgen
utiliti untuk menghasilkan kata laluan yang kuat.
sudo apt -y install pwgen
Sekarang buat rahsia kata laluan yang kuat.
pwgen -N 1 -s 96
Anda akan menghasilkan yang serupa dengan:
[user@vultr ~]$ pwgen -N 1 -s 96
pJqhNbdEY9FtNBfFUtq20lG2m9daacmsZQr59FhyoA0Wu3XQyVZcu5FedPZ9eCiDfjdiYWfRcEQ7a36bVqxSyTzcMMx5Rz8v
Juga, hasilkan hash 256-bit untuk kata laluan admin
pengguna root :
echo -n StrongPassword | sha256sum
Ganti StrongPassword
dengan kata laluan yang ingin anda tetapkan untuk admin
pengguna. Awak akan lihat:
[user@vultr ~]$ echo -n StrongPassword | sha256sum
05a181f00c157f70413d33701778a6ee7d2747ac18b9c0fbb8bd71a62dd7a223 -
Buka fail konfigurasi Graylog:
sudo nano /etc/graylog/server/server.conf
Cari password_secret =
, salin dan tampal kata laluan yang dihasilkan melalui pwgen
arahan. Cari root_password_sha2 =
, salin dan tampal hash SHA 256-bit kata laluan pentadbir anda yang ditukar. Cari #root_email =
, beri komen dan berikan alamat e-mel anda. Ketidakpuasan dan tetapkan zon waktu anda di root_timezone
. Sebagai contoh:
password_secret = pJqhNbdEY9FtNBfFUtq20lG2m9daacmsZQr59FhyoA0Wu3XQyVZcu5FedPZ9eCiDfjdiYWfRcEQ7a36bVqxSyTzcMMx5Rz8v
root_password_sha2 = 05a181f00c157f70413d33701778a6ee7d2747ac18b9c0fbb8bd71a62dd7a223
root_email = [email protected]
root_timezone = Asia/Kolkata
Aktifkan antara muka Graylog berasaskan web dengan #web_enable = false
melepaskan dan menetapkan nilainya ke true
. Juga tidak teratur dan ubah baris berikut seperti yang ditentukan.
rest_listen_uri = http://0.0.0.0:9000/api/
rest_transport_uri = http://192.0.2.1:9000/api/
web_enable = true
web_listen_uri = http://0.0.0.0:9000/
Simpan fail dan keluar dari editor teks anda.
Mulakan semula dan aktifkan perkhidmatan Graylog dengan menjalankan:
sudo systemctl restart graylog-server
sudo systemctl enable graylog-server
Secara lalai, antara muka web Graylog mendengar localhost
di port 9000 dan API mendengar di port 9000 dengan URL /api
. Dalam tutorial ini, kami akan menggunakan Nginx sebagai proksi terbalik sehingga aplikasi dapat diakses melalui port HTTP standard. Pasang pelayan web Nginx dengan menjalankan:
sudo apt -y install nginx
Buka fail hos maya lalai dengan menaip.
sudo nano /etc/nginx/sites-available/default
Gantikan kandungan yang ada dengan baris berikut:
server
{
listen 80 default_server;
listen [::]:80 default_server ipv6only=on;
server_name 192.0.2.1 graylog.example.com;
location / {
proxy_set_header Host $http_host;
proxy_set_header X-Forwarded-Host $host;
proxy_set_header X-Forwarded-Server $host;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Graylog-Server-URL http://$server_name/api;
proxy_pass http://127.0.0.1:9000;
}
}
Mulakan Nginx dan aktifkan secara automatik semasa boot:
sudo systemctl restart nginx
sudo systemctl enable nginx
Pemasangan dan konfigurasi asas pelayan Graylog kini selesai. Anda kini boleh mengakses pelayan Graylog pada http://192.0.2.1
atau http://graylog.example.com
jika anda telah dikonfigurasi DNS. Log masuk menggunakan nama pengguna admin
dan versi teks biasa kata laluan yang telah anda tetapkan root_password_sha2
sebelumnya.
Tahniah - anda mempunyai pelayan Graylog yang berfungsi sepenuhnya dipasang pada pelayan Ubuntu 16.04 anda.
Pandangan tentang 26 Teknik Analisis Data Besar: Bahagian 1
Ramai daripada anda tahu Switch akan keluar pada Mac 2017 dan ciri baharunya. Bagi yang tidak tahu, kami telah menyediakan senarai ciri yang menjadikan 'Tukar' sebagai 'gajet yang mesti ada'.
Adakah anda menunggu gergasi teknologi memenuhi janji mereka? semak apa yang masih belum dihantar.
Baca blog untuk mengetahui lapisan berbeza dalam Seni Bina Data Besar dan fungsinya dengan cara yang paling mudah.
Baca ini untuk mengetahui cara Kecerdasan Buatan semakin popular di kalangan syarikat berskala kecil dan cara ia meningkatkan kebarangkalian untuk menjadikan mereka berkembang dan memberikan pesaing mereka kelebihan.
CAPTCHA telah menjadi agak sukar untuk diselesaikan oleh pengguna dalam beberapa tahun kebelakangan ini. Adakah ia dapat kekal berkesan dalam pengesanan spam dan bot pada masa hadapan?
Apabila Sains Berkembang pada kadar yang pantas, mengambil alih banyak usaha kita, risiko untuk menundukkan diri kita kepada Ketunggalan yang tidak dapat dijelaskan juga meningkat. Baca, apakah makna ketunggalan bagi kita.
Apakah teleperubatan, penjagaan kesihatan jauh dan impaknya kepada generasi akan datang? Adakah ia tempat yang baik atau tidak dalam situasi pandemik? Baca blog untuk mencari paparan!
Anda mungkin pernah mendengar bahawa penggodam memperoleh banyak wang, tetapi pernahkah anda terfikir bagaimana mereka memperoleh wang seperti itu? Mari berbincang.
Baru-baru ini Apple mengeluarkan macOS Catalina 10.15.4 kemas kini tambahan untuk menyelesaikan masalah tetapi nampaknya kemas kini itu menyebabkan lebih banyak masalah yang membawa kepada pemusnahan mesin mac. Baca artikel ini untuk mengetahui lebih lanjut