Funkcjonalności warstw architektury referencyjnej Big Data
Przeczytaj blog, aby w najprostszy sposób poznać różne warstwy w architekturze Big Data i ich funkcjonalności.
Chronograf jest graficznym programem do szeregów czasowych, podobnym do Grafana, który wykorzystuje InfluxDB jako backend. Chronograf to jednak znacznie więcej niż tylko narzędzie do wizualizacji danych; za pośrednictwem Kapacitor zapewnia się cały backend do alarmowania i monitorowania.
W tym przewodniku zastosowano różne narzędzia do różnych celów, dlatego upewnij się, że w twoim systemie są zainstalowane następujące pakiety.
sudo apt-get install wget curl
Ponieważ Chronograf opiera się na InfluxDB jako głównym źródle danych, najpierw musimy zainstalować najnowszą wersję. Można go zarchiwizować, pobierając i instalując wcześniej utworzony .deb
plik.
wget https://dl.influxdata.com/influxdb/releases/influxdb_1.2.4_amd64.deb
sudo dpkg -i influxdb_1.2.4_amd64.deb
Jeśli instalacja się powiedzie, możemy kontynuować włączanie i uruchamianie usługi za pomocą systemctl
.
sudo systemctl enable influxdb
sudo systemctl start influxdb
Aby upewnić się, że usługa działa poprawnie, możemy wywołać następujące polecenie, łącząc się bezpośrednio z InfluxDB HTTP API
.
curl "http://localhost:8086/query?q=show+databases"
Jeśli wszystko jest w porządku, wynik powinien wyglądać podobnie do poniższego.
{"results":[{"statement_id":0,"series":[{"name":"databases","columns":["name"]}]}]}
Jeśli podczas uruchamiania powyższego polecenia występuje błąd, upewnij się, że InfluxDB jest włączony i działa poprawnie, i spróbuj ponownie.
Kapacitor zapewnia większość funkcji Chronografu. W szczególności odpowiada za wysyłanie powiadomień. Alerty można wysyłać za pomocą różnych usług, od i SMTP
do . Ten pakiet jest również dostarczany w postaci gotowego pliku.Slack
HipChat
.deb
wget https://dl.influxdata.com/kapacitor/releases/kapacitor_1.3.1_amd64.deb
sudo dpkg -i kapacitor_1.3.1_amd64.deb
Włącz i uruchom usługę za pomocą systemctl
.
sudo systemctl enable kapacitor
sudo systemctl start kapacitor
Aby sprawdzić, czy wszystko zostało poprawnie zainstalowane, możemy wywołać następującą komendę, która zwykle zwróci aktualnie ustawione zadania w kolejce.
kapacitor list tasks
Upewnij się, że wynik wygląda jak ten tekst.
ID Type Status Executing Databases and Retention Policies
W przypadku napotkania błędu wyświetlony zostanie szczegółowy raport o błędzie.
Po zainstalowaniu InfluxDB
i Kapacitor
skutecznie możemy kontynuować instalacji Telegraf
. Telegraf jest odpowiedzialny za zebranie wszystkich danych, które będą dodatkowo wizualizowane przez Chronograf.
wget https://dl.influxdata.com/telegraf/releases/telegraf_1.3.2-1_amd64.deb
sudo dpkg -i telegraf_1.3.2-1_amd64.deb
Włącz i uruchom usługę.
sudo systemctl enable telegraf
sudo systemctl start telegraf
Sprawdź dokładnie początkową konfigurację dostarczoną podczas instalacji. Otwórz /etc/telegraf/telegraf.conf
i upewnij się, że poniższe linie odzwierciedlają twoją konfigurację.
urls = ["http://localhost:8086"]
database = "telegraf"
Następnie przystąpimy do instalacji pakietu podstawowego Chronografu.
wget https://dl.influxdata.com/chronograf/releases/chronograf_1.3.3.0_amd64.deb
sudo dpkg -i chronograf_1.3.3.0_amd64.deb
Następnie usługę można włączyć i uruchomić.
sudo systemctl enable chronograf
sudo systemctl start chronograf
Aby sprawdzić, czy instalacja się powiodła, wskaż w przeglądarce, na http://<server-ip>:8888
której stronie początkowej znajduje się strona konfiguracji, na której będziemy kontynuować.
Wprowadź szczegóły połączenia InfluxDB. Wypełnij dostępne formularze, jak wskazano poniżej.
"Connection String" - http://localhost:8086
"Name" - InfluxDB
"Telegraf Database" - telegraf
Upewnij się również, aby zaznaczyć pole oznaczone Make this the default source
.
Kliknij ikonę koła zębatego na lewym pasku nawigacyjnym (ostatni element). Pod Active Kapacitor
kolumną naciśnij Add config
. Wypełnij dostarczony formularz, używając poniższych wartości.
"Kapacitor URL" - http://localhost:9092
"Name" - Kapacitor
Możesz teraz kontynuować dodawanie punktów końcowych alertów za pośrednictwem udostępnionego formularza.
Aby dodać inne hosty do Chronografu za pomocą SNMP, musimy wprowadzić zmiany w naszej konfiguracji Telegraf i zainstalować kilka niezbędnych wtyczek.
sudo apt-get install snmp snmp-mibs-downloader
Po autoryzacji hosta z uruchomionym Chronografem na innym hoście, możemy dodać tego hosta do naszej konfiguracji Telegraf przy użyciu poniższych linii.
[[inputs.snmp]]
agents = [ "<ip-address-of-other-host>:161" ]
version = 2
community = "<snmp-community>"
name = "snmp"
[[inputs.snmp.field]]
name = "hostname"
oid = "RFC1213-MIB::sysName.0"
is_tag = true
[[inputs.snmp.table]]
name = "snmp"
inherit_tags = [ "hostname" ]
oid = "IF-MIB::ifXTable"
[[inputs.snmp.table.field]]
name = "ifName"
oid = "IF-MIB::ifName"
is_tag = true
W szczególności monitoruje wszystkie metryki, takie jak użycie procesora, zużycie pamięci i podział sieci na interfejs z dogłębnymi statystykami, w tym wartościami takimi jak pakiety emisji pojedynczej i błędy interfejsu.
W tej chwili Chronograf nie zapewnia klasycznego systemu uwierzytelniania, takiego jak username
i password
uwierzytelnianie. Aby zabezpieczyć naszą instalację, wykorzystamy tę Vultr Firewall
funkcję do zablokowania wszelkich portów prowadzących do portu 8888
TCP i dodamy regułę wyjątku dla adresu IP naszego klienta, który powinien mieć możliwość jego przeglądania.
Ponieważ inne zainstalowane usługi nasłuchują tylko na sprzężonym adresie IP ( 127.0.0.1
), nie jesteśmy zobowiązani do jawnego blokowania przechodzących do niego żądań.
Chronograf to bardzo elastyczne i piękne narzędzie do wizualizacji metryk, w pakiecie z przyzwoitymi pakietami alertów i gromadzenia danych, które tworzą godne rozwiązanie do monitorowania.
Przeczytaj blog, aby w najprostszy sposób poznać różne warstwy w architekturze Big Data i ich funkcjonalności.
Chcesz zobaczyć rewolucyjne wynalazki Google i jak te wynalazki zmieniły życie każdego człowieka dzisiaj? Następnie czytaj na blogu, aby zobaczyć wynalazki Google.
13 komercyjnych narzędzi do ekstrakcji danych z Big Data
Whatsapp w końcu uruchomił aplikację Desktop dla użytkowników komputerów Mac i Windows. Teraz możesz łatwo uzyskać dostęp do Whatsapp z systemu Windows lub Mac. Dostępne dla Windows 8+ i Mac OS 10.9+
Energia jądrowa jest zawsze pogardzana, nigdy jej nie szanujemy z powodu przeszłych wydarzeń, ale nie zawsze jest zła. Przeczytaj post, aby dowiedzieć się więcej na ten temat.
Koncepcja autonomicznych samochodów, które wyjadą na drogi za pomocą sztucznej inteligencji, to marzenie, które mamy już od jakiegoś czasu. Ale pomimo kilku obietnic nigdzie ich nie widać. Przeczytaj ten blog, aby dowiedzieć się więcej…
Wzrasta liczba ataków ransomware, ale czy sztuczna inteligencja może pomóc w radzeniu sobie z najnowszym wirusem komputerowym? Czy AI jest odpowiedzią? Przeczytaj tutaj, wiedz, że sztuczna inteligencja jest zmorą lub zgubą
Sztuczna inteligencja nie jest dla ludzi nową nazwą. Ponieważ sztuczna inteligencja jest włączona do każdego strumienia, jednym z nich jest opracowywanie narzędzi zwiększających ludzką wydajność i dokładność. Skorzystaj z tych niesamowitych narzędzi uczenia maszynowego i uprość swoje codzienne zadania.
Zawsze potrzebujemy Big Data Analytics do efektywnego zarządzania danymi. W tym artykule omówiliśmy kilka technik analizy Big Data. Sprawdź ten artykuł.
Czy jesteś również ofiarą ataków DDOS i nie masz pewności co do metod zapobiegania? Przeczytaj ten artykuł, aby rozwiązać swoje pytania.