Funkcjonalności warstw architektury referencyjnej Big Data
Przeczytaj blog, aby w najprostszy sposób poznać różne warstwy w architekturze Big Data i ich funkcjonalności.
Sysctlpozwala użytkownikowi dostroić jądro bez konieczności jego przebudowywania. Zastosuje również zmiany natychmiast, więc serwer nie będzie musiał być ponownie uruchamiany, aby zmiany zostały wprowadzone. Ten samouczek zawiera krótkie wprowadzenie sysctli pokazuje, jak używać go do poprawiania określonych części jądra Linux.
Aby rozpocząć korzystanie z sysctl, przejrzyj parametry i przykłady wymienione poniżej.
-a : Wyświetli wszystkie wartości aktualnie dostępne w konfiguracji sysctl.
-A : Wyświetli wszystkie wartości aktualnie dostępne w konfiguracji sysctl w formie tabeli.
-e : Ta opcja zignoruje błędy dotyczące nieznanych kluczy.
-p : Służy do ładowania określonej konfiguracji sysctl, domyślnie będzie używana/etc/sysctl.conf
-n : Ta opcja wyłącza wyświetlanie nazw kluczy podczas drukowania wartości.
-w : Ta opcja służy do zmiany (lub dodania) wartości do sysctl na żądanie.
$ sysctl -a
$ sysctl -n fs.file-max
$ sysctl -w fs.file-max=2097152
$ sysctl -p
Najpierw sprawdzamy wartości domyślne. Jeśli twój /etc/sysctl.confjest pusty, pokaże wszystkie domyślne klucze i wartości. Po drugie, sprawdzamy, jaka jest wartość, fs.file-maxa następnie ustawiamy nową wartość na 2097152. Wreszcie ładujemy nowy /etc/sysctl.confplik konfiguracyjny.
Jeśli szukasz dodatkowej pomocy, możesz skorzystać man sysctl.
Aby zmiany były trwałe, będziemy musieli dodać te wartości do pliku konfiguracyjnego. Użyj pliku konfiguracyjnego CentOS udostępnia domyślnie /etc/sysctl.conf.
Otwórz plik w swoim ulubionym edytorze.
Domyślnie powinieneś zobaczyć coś podobnego do tego.
# sysctl settings are defined through files in
# /usr/lib/sysctl.d/, /run/sysctl.d/, and /etc/sysctl.d/.
#
# Vendors settings live in /usr/lib/sysctl.d/.
# To override a whole file, create a new file with the same in
# /etc/sysctl.d/ and put new settings there. To override
# only specific settings, add a file with a lexically later
# name in /etc/sysctl.d/ and put new settings there.
#
# For more information, see sysctl.conf(5) and sysctl.d(5).
Najpierw poprawmy zarządzanie pamięcią systemową.
Zamierzamy zminimalizować liczbę wymian, które musimy wykonać, zwiększyć rozmiar uchwytów plików i pamięci podręcznej i-węzłów oraz ograniczyć zrzuty pamięci.
# Minimizing the amount of swapping
vm.swappiness = 20
vm.dirty_ratio = 80
vm.dirty_background_ratio = 5
# Increases the size of file handles and inode cache & restricts core dumps
fs.file-max = 2097152
fs.suid_dumpable = 0
Następnie dostrój optymalizację wydajności sieci.
Zamierzamy zmienić liczbę połączeń przychodzących i zaległości połączeń przychodzących, zwiększyć maksymalną liczbę buforów pamięci oraz zwiększyć domyślne i maksymalne bufory wysyłania / odbierania.
# Change the amount of incoming connections and incoming connections backlog
net.core.somaxconn = 65535
net.core.netdev_max_backlog = 262144
# Increase the maximum amount of memory buffers
net.core.optmem_max = 25165824
# Increase the default and maximum send/receive buffers
net.core.rmem_default = 31457280
net.core.rmem_max = 67108864
net.core.wmem_default = 31457280
net.core.wmem_max = 67108864
Wreszcie, poprawimy ogólne bezpieczeństwo sieci.
Zamierzamy włączyć ochronę plików cookie TCP SYN, ochronę przed fałszowaniem adresów IP, ignorowanie żądań ICMP, ignorowanie żądań rozgłaszania i logowanie do sfałszowanych pakietów, źródłowych pakietów przekierowanych i pakietów przekierowujących. Oprócz tego wyłączymy routing źródła IP i akceptację przekierowania ICMP.
# Enable TCP SYN cookie protection
net.ipv4.tcp_syncookies = 1
# Enable IP spoofing protection
net.ipv4.conf.all.rp_filter = 1
# Enable ignoring to ICMP requests and broadcasts request
net.ipv4.icmp_echo_ignore_all = 1
net.ipv4.icmp_echo_ignore_broadcasts = 1
# Enable logging of spoofed packets, source routed packets and redirect packets
net.ipv4.conf.all.log_martians = 1
# Disable IP source routing
net.ipv4.conf.all.accept_source_route = 0
# Disable ICMP redirect acceptance
net.ipv4.conf.all.accept_redirects = 0
Zapisz i zamknij plik, a następnie załaduj plik za pomocą sysctl -ppolecenia.
Ostatecznie plik powinien wyglądać podobnie do tego.
# sysctl settings are defined through files in
# /usr/lib/sysctl.d/, /run/sysctl.d/, and /etc/sysctl.d/.
#
# Vendors settings live in /usr/lib/sysctl.d/.
# To override a whole file, create a new file with the same in
# /etc/sysctl.d/ and put new settings there. To override
# only specific settings, add a file with a lexically later
# name in /etc/sysctl.d/ and put new settings there.
#
# For more information, see sysctl.conf(5) and sysctl.d(5).
# Minimizing the amount of swapping
vm.swappiness = 20
vm.dirty_ratio = 80
vm.dirty_background_ratio = 5
# Increases the size of file handles and inode cache & restricts core dumps
fs.file-max = 2097152
fs.suid_dumpable = 0
# Change the amount of incoming connections and incoming connections backlog
net.core.somaxconn = 65535
net.core.netdev_max_backlog = 262144
# Increase the maximum amount of memory buffers
net.core.optmem_max = 25165824
# Increase the default and maximum send/receive buffers
net.core.rmem_default = 31457280
net.core.rmem_max = 67108864
net.core.wmem_default = 31457280
net.core.wmem_max = 67108864
# Enable TCP SYN cookie protection
net.ipv4.tcp_syncookies = 1
# Enable IP spoofing protection
net.ipv4.conf.all.rp_filter = 1
# Enable ignoring to ICMP requests and broadcasts request
net.ipv4.icmp_echo_ignore_all = 1
net.ipv4.icmp_echo_ignore_broadcasts = 1
# Enable logging of spoofed packets, source routed packets and redirect packets
net.ipv4.conf.all.log_martians = 1
# Disable IP source routing
net.ipv4.conf.all.accept_source_route = 0
# Disable ICMP redirect acceptance
net.ipv4.conf.all.accept_redirects = 0
Przeczytaj blog, aby w najprostszy sposób poznać różne warstwy w architekturze Big Data i ich funkcjonalności.
Chcesz zobaczyć rewolucyjne wynalazki Google i jak te wynalazki zmieniły życie każdego człowieka dzisiaj? Następnie czytaj na blogu, aby zobaczyć wynalazki Google.
13 komercyjnych narzędzi do ekstrakcji danych z Big Data
Whatsapp w końcu uruchomił aplikację Desktop dla użytkowników komputerów Mac i Windows. Teraz możesz łatwo uzyskać dostęp do Whatsapp z systemu Windows lub Mac. Dostępne dla Windows 8+ i Mac OS 10.9+
Energia jądrowa jest zawsze pogardzana, nigdy jej nie szanujemy z powodu przeszłych wydarzeń, ale nie zawsze jest zła. Przeczytaj post, aby dowiedzieć się więcej na ten temat.
Koncepcja autonomicznych samochodów, które wyjadą na drogi za pomocą sztucznej inteligencji, to marzenie, które mamy już od jakiegoś czasu. Ale pomimo kilku obietnic nigdzie ich nie widać. Przeczytaj ten blog, aby dowiedzieć się więcej…
Sztuczna inteligencja nie jest dla ludzi nową nazwą. Ponieważ sztuczna inteligencja jest włączona do każdego strumienia, jednym z nich jest opracowywanie narzędzi zwiększających ludzką wydajność i dokładność. Skorzystaj z tych niesamowitych narzędzi uczenia maszynowego i uprość swoje codzienne zadania.
Wzrasta liczba ataków ransomware, ale czy sztuczna inteligencja może pomóc w radzeniu sobie z najnowszym wirusem komputerowym? Czy AI jest odpowiedzią? Przeczytaj tutaj, wiedz, że sztuczna inteligencja jest zmorą lub zgubą
Zawsze potrzebujemy Big Data Analytics do efektywnego zarządzania danymi. W tym artykule omówiliśmy kilka technik analizy Big Data. Sprawdź ten artykuł.
Czy jesteś również ofiarą ataków DDOS i nie masz pewności co do metod zapobiegania? Przeczytaj ten artykuł, aby rozwiązać swoje pytania.