O perspectivă asupra a 26 de tehnici de analiză a datelor mari: partea 1
O perspectivă asupra a 26 de tehnici de analiză a datelor mari: partea 1
Serverul Graylog este o suită de software de gestionare a jurnalului de jurnal open source. Colectează jurnalele din diverse surse și le analizează pentru a descoperi și a rezolva problemele. Serverul Greylog este practic combinația de Elasticsearch, MongoDB și Graylog. Elasticsearch este o aplicație open source foarte populară pentru a stoca text și a oferi funcții de căutare foarte puternice. MongoDB este o aplicație open source pentru stocarea datelor în format NoSQL. Graylog colectează jurnalele din diverse surse și furnizează un tablou de bord bazat pe web pentru a gestiona și căuta prin jurnale. Graylog oferă, de asemenea, o API REST atât pentru configurare, cât și pentru date. Oferă un tablou de bord configurabil, care poate fi utilizat pentru a vizualiza valorile și pentru a observa tendințele folosind statistici de câmp, valori rapide și diagrame dintr-o locație centrală.
În acest tutorial, veți învăța să instalați Graylog Server pe Ubuntu 16.04. Acest ghid a fost scris pentru Graylog Server 2.3, dar poate funcționa și la versiuni mai noi. Veți învăța, de asemenea, să instalați Java, Elasticsearch și MongoDB. De asemenea, vom securiza instanța MongoDB și vom configura un proxy invers Nginx pentru tabloul de bord și API-ul web.
În acest tutorial, vom folosi 192.0.2.1
ca adresă IP publică a serverului și graylog.example.com
ca nume de domeniu indicat către server. Înlocuiți toate aparițiile 192.0.2.1
cu adresa dvs. publică Vultr și graylog.example.com
cu numele dvs. de domeniu real.
Actualizați-vă sistemul de bază utilizând ghidul Cum să actualizați Ubuntu 16.04 . După ce sistemul dvs. a fost actualizat, continuați să instalați Java.
Elasticsearch necesită executarea Java 8. Acceptă atât Oracle Java cât și OpenJDK, dar este întotdeauna recomandat să utilizați Oracle Java când este posibil. Adăugați depozitul Oracle Java PPA:
sudo add-apt-repository ppa:webupd8team/java
Actualizați metadatele depozitului APT:
sudo apt update
Instalați cea mai recentă versiune stabilă a Java 8, rulați:
sudo apt -y install oracle-java8-installer
Acceptați acordul de licență atunci când vi se solicită. Dacă Java s-a instalat cu succes, atunci ar trebui să poți verifica versiunea sa.
java -version
Veți vedea următoarea ieșire.
user@vultr:~$ java -version
java version "1.8.0_144"
Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)
Setați JAVA_HOME
și alte setări implicite instalând oracle-java8-set-default
. Alerga:
sudo apt -y install oracle-java8-set-default
Rulați echo $JAVA_HOME
comanda pentru a verifica dacă variabila de mediu este setată sau nu.
user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-oracle
Dacă nu primiți ieșirea arătată mai sus, poate fi necesar să vă deconectați și să vă autentificați din nou pe shell.
Elasticsearch este o aplicație distribuită, în timp real, scalabilă și extrem de disponibilă, utilizată pentru a stoca jurnalele și a căuta prin ele. Stochează datele în indexuri și căutarea prin date este foarte rapidă. Acesta oferă diverse seturi de API-uri, cum ar fi API-ul HTTP RESTful și API-ul Java nativ. Elasticsearch poate fi instalat direct prin intermediul depozitului Elasticsearch. Adăugați depozitul APT Elasticsearch:
echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list
Importați cheia PGP folosită pentru semnarea pachetelor. Acest lucru va asigura integritatea pachetelor.
wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
Actualizați metadatele depozitului APT.
sudo apt update
Instalați pachetul Elasticsearch:
sudo apt -y install elasticsearch
După instalarea pachetului, deschideți fișierul de configurare implicit Elasticsearch.
sudo nano /etc/elasticsearch/elasticsearch.yml
Găsiți următoarea linie, decomandați-o și schimbați valoarea de la my-application
la graylog
.
cluster.name: graylog
Puteți porni Elasticsearch și puteți să îl porniți automat la momentul de pornire:
sudo systemctl enable elasticsearch
sudo systemctl start elasticsearch
Elasticsearch rulează acum pe portul 9200. Verificați că funcționează corect rulând:
curl -XGET 'localhost:9200/?pretty'
Ar trebui să vedeți o ieșire similară cu cea următoare.
[user@vultr ~]$ curl -XGET 'localhost:9200/?pretty'
{
"name" : "-kYzFA9",
"cluster_name" : "graylog",
"cluster_uuid" : "T3JQKehzSqmLThlVkEKPKg",
"version" : {
"number" : "5.5.1",
"build_hash" : "19c13d0",
"build_date" : "2017-07-18T20:44:24.823Z",
"build_snapshot" : false,
"lucene_version" : "6.6.0"
},
"tagline" : "You Know, for Search"
}
Dacă întâmpinați erori, așteptați câteva secunde și încercați din nou, deoarece Elasticsearch necesită timp pentru a finaliza procesul de pornire. Elasticsearch este acum instalat și funcționează corect.
MongoDB este un server de baze de date NoSQL gratuit și open source. Spre deosebire de baza de date tradițională care folosește tabele pentru organizarea datelor lor, MongoDB este orientat pe documente și folosește documente asemănătoare JSON fără scheme. Graylog utilizează MongoDB pentru a stoca configurația și meta informațiile sale. Poate fi instalat direct prin intermediul depozitului MongoDB. Importați cheia GPG folosită pentru semnarea pachetului. Acest lucru va asigura autenticitatea pachetelor.
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 0C49F3730359A14518585931BC711F9BA15703C6
Acum creați fișierul Repository:
echo "deb [ arch=amd64,arm64 ] http://repo.mongodb.org/apt/ubuntu xenial/mongodb-org/3.4 multiverse" | sudo tee /etc/apt/sources.list.d/mongodb-org-3.4.list
Actualizați metadatele depozitului APT.
sudo apt update
Instalați pachetul MongoDB:
sudo apt -y install mongodb-org
Porniți serverul MongoDB și permiteți-l să pornească automat.
sudo systemctl start mongod
sudo systemctl enable mongod
Descărcați și cel mai recent depozit pentru serverul Graylog.
wget https://packages.graylog2.org/repo/packages/graylog-2.3-repository_latest.deb
sudo dpkg -i graylog-2.3-repository_latest.deb
sudo apt update
Instalează pachetul Graylog:
sudo apt install graylog-server
Serverul Graylog este acum instalat pe serverul dvs. Înainte de a putea începe, va trebui să configurați câteva lucruri.
Instalați pwgen
utilitarul pentru a genera parole puternice.
sudo apt -y install pwgen
Acum generează un secret de parolă puternic.
pwgen -N 1 -s 96
Vei ieși similar cu:
[user@vultr ~]$ pwgen -N 1 -s 96
pJqhNbdEY9FtNBfFUtq20lG2m9daacmsZQr59FhyoA0Wu3XQyVZcu5FedPZ9eCiDfjdiYWfRcEQ7a36bVqxSyTzcMMx5Rz8v
De asemenea, generați un hash de 256 biți pentru parola admin
utilizatorului root :
echo -n StrongPassword | sha256sum
Înlocuiți StrongPassword
cu parola pe care doriți să o setați pentru admin
utilizator. Vei vedea:
[user@vultr ~]$ echo -n StrongPassword | sha256sum
05a181f00c157f70413d33701778a6ee7d2747ac18b9c0fbb8bd71a62dd7a223 -
Deschideți fișierul de configurare Graylog:
sudo nano /etc/graylog/server/server.conf
Găsiți password_secret =
, copiați și inserați parola generată prin pwgen
comandă. Găsiți root_password_sha2 =
, copiați și inserați hașa SHA de 256 biți convertită a parolei dvs. de admin Găsiți #root_email =
, necomentați și furnizați adresa dvs. de e-mail. Decomandați și setați fusul orar la root_timezone
. De exemplu:
password_secret = pJqhNbdEY9FtNBfFUtq20lG2m9daacmsZQr59FhyoA0Wu3XQyVZcu5FedPZ9eCiDfjdiYWfRcEQ7a36bVqxSyTzcMMx5Rz8v
root_password_sha2 = 05a181f00c157f70413d33701778a6ee7d2747ac18b9c0fbb8bd71a62dd7a223
root_email = [email protected]
root_timezone = Asia/Kolkata
Activați interfața Graylog bazată pe web, deconectând #web_enable = false
și setând valoarea acesteia true
. De asemenea, dezacordează și modifică următoarele linii, după cum este specificat.
rest_listen_uri = http://0.0.0.0:9000/api/
rest_transport_uri = http://192.0.2.1:9000/api/
web_enable = true
web_listen_uri = http://0.0.0.0:9000/
Salvați fișierul și ieșiți din editorul de text.
Reporniți și activați serviciul Graylog rulând:
sudo systemctl restart graylog-server
sudo systemctl enable graylog-server
În mod implicit, interfața web Graylog ascultă localhost
portul 9000, iar API-ul ascultă portul 9000 cu URL /api
. În acest tutorial, vom folosi Nginx ca proxy invers, astfel încât aplicația să poată fi accesată prin port HTTP standard. Instalați serverul web Nginx rulând:
sudo apt -y install nginx
Deschideți fișierul gazdă virtual implicit tastând.
sudo nano /etc/nginx/sites-available/default
Înlocuiți conținutul existent cu următoarele linii:
server
{
listen 80 default_server;
listen [::]:80 default_server ipv6only=on;
server_name 192.0.2.1 graylog.example.com;
location / {
proxy_set_header Host $http_host;
proxy_set_header X-Forwarded-Host $host;
proxy_set_header X-Forwarded-Server $host;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Graylog-Server-URL http://$server_name/api;
proxy_pass http://127.0.0.1:9000;
}
}
Porniți Nginx și permiteți-l să pornească automat la momentul de pornire:
sudo systemctl restart nginx
sudo systemctl enable nginx
Instalarea și configurația de bază a serverului Graylog este acum finalizată. Acum puteți accesa serverul Graylog pe http://192.0.2.1
sau http://graylog.example.com
dacă aveți DNS configurat. Autentificați-vă folosind numele de utilizator admin
și versiunea text simplu a parolei pe care ați setat-o root_password_sha2
anterior.
Felicitări - aveți un server Graylog complet funcțional instalat pe serverul dvs. Ubuntu 16.04.
O perspectivă asupra a 26 de tehnici de analiză a datelor mari: partea 1
Mulți dintre voi cunoașteți Switch care va fi lansat în martie 2017 și noile sale funcții. Pentru cei care nu știu, am pregătit o listă de funcții care fac din „Switch” un „gadget obligatoriu”.
Aștepți ca giganții tehnologiei să-și îndeplinească promisiunile? vezi ce a ramas nelivrat.
Citiți blogul pentru a cunoaște diferitele straturi din Arhitectura Big Data și funcționalitățile acestora în cel mai simplu mod.
Citiți asta pentru a afla cum devine populară inteligența artificială în rândul companiilor la scară mică și cum crește probabilitățile de a le face să crească și de a le oferi concurenților avantaje.
CAPTCHA a devenit destul de dificil de rezolvat pentru utilizatori în ultimii ani. Va fi capabil să rămână eficient în detectarea spam-ului și a botului în viitor?
Pe măsură ce Știința Evoluează într-un ritm rapid, preluând multe dintre eforturile noastre, crește și riscurile de a ne supune unei Singularități inexplicabile. Citiți, ce ar putea însemna singularitatea pentru noi.
Ce este telemedicina, îngrijirea medicală la distanță și impactul acesteia asupra generației viitoare? Este un loc bun sau nu în situația de pandemie? Citiți blogul pentru a găsi o vedere!
Poate ați auzit că hackerii câștigă mulți bani, dar v-ați întrebat vreodată cum câștigă acești bani? sa discutam.
Recent, Apple a lansat macOS Catalina 10.15.4 o actualizare suplimentară pentru a remedia problemele, dar se pare că actualizarea provoacă mai multe probleme care duc la blocarea mașinilor Mac. Citiți acest articol pentru a afla mai multe