Funkcjonalności warstw architektury referencyjnej Big Data
Przeczytaj blog, aby w najprostszy sposób poznać różne warstwy w architekturze Big Data i ich funkcjonalności.
Jeśli prowadzisz serwer, niewątpliwie dojdziesz do punktu, w którym musisz rozwiązać niektóre problemy związane z siecią. Oczywiście łatwo byłoby po prostu wysłać wiadomość do działu wsparcia, ale czasami trzeba ubrudzić sobie ręce. W tym przypadku tcpdump
jest narzędziem do tego zadania. Tcpdump to analizator pakietów sieciowych działający w wierszu poleceń.
Ten artykuł zostanie podzielony na trzy części:
Ponieważ tcpdump nie jest dołączony do większości systemów podstawowych, musisz go zainstalować. Jednak prawie wszystkie dystrybucje Linuksa mają tcpdump w swoich podstawowych repozytoriach. W przypadku dystrybucji opartych na Debianie, polecenie instalacji tcpdump to:
apt-get install tcpdump
W przypadku CentOS / RedHat użyj następującego polecenia:
yum install tcpdump
FreeBSD oferuje wstępnie zbudowany pakiet, który można zainstalować, wydając:
pkg install tcpdump
Dostępny jest również port, net/tcpdump
który można zainstalować za pomocą:
cd /usr/ports/net/tcpdump
make install clean
Jeśli biegniesz tcpdump
bez żadnych argumentów, będziesz obijany wynikami. Uruchomienie go na świeżo rozwiniętej instancji na Vultr przez mniej niż pięć sekund daje następujące wyniki:
2661 packets captured
2663 packets received by filter
0 packets dropped by kernel
Zanim przejdziesz do dalszych szczegółów na temat filtrowania danych wejściowych, powinieneś rzucić okiem na niektóre parametry, które można przekazać do tcpdump:
-i
- Określa interfejs chcesz słuchać tego, na przykład: tcpdump -i eth0
.-n
- Nie próbuj wyszukiwać wstecz na adresach IP, na przykład: tcpdump -n
(jeśli dodasz inny program n
tcpdump wyświetli numery portów zamiast nazw).-X
- Pokaż zawartość zebranych pakietów: tcpdump -X
.-c
- Przechwytuj tylko x
pakiety, które x
są dowolnymi liczbami, na przykład tcpdump -c 10
przechwytuje dokładnie 10 pakietów.-v
- Zwiększ ilość wyświetlanych informacji o pakietach, więcej v
s dodaj więcej gadatliwości.Każdy z wymienionych tutaj parametrów można łączyć ze sobą. Jeśli chcesz przechwycić 100 pakietów, ale tylko na interfejsie VPN tun0, wówczas polecenie tcpdump wyglądałoby tak:
tcpdump -i tun0 -c 100 -X
Oprócz tych kilku są dziesiątki (jeśli nie setki) opcji, ale są one najczęściej spotykane. Zapraszam do przeczytania strony podręcznika tcpdump w twoim systemie.
Teraz, gdy znasz podstawy tcpdump, czas spojrzeć na jedną z najbardziej niesamowitych funkcji tcpdump: wyrażenia. Wyrażenia znacznie ułatwią ci życie. Są one również znane jako BPF lub Berkeley Packet Filters. Używanie wyrażeń umożliwia selektywne wyświetlanie (lub ignorowanie) pakietów w oparciu o pewne cechy charakterystyczne - takie jak pochodzenie, miejsce docelowe, rozmiar, a nawet numer kolejny TCP.
Do tej pory udało ci się ograniczyć wyszukiwanie do określonej liczby pakietów na określonym interfejsie, ale bądźmy szczerzy: wciąż pozostawia zbyt dużo hałasu w tle, aby skutecznie pracować z zebranymi danymi. To tutaj pojawiają się wyrażenia. Pomysł jest dość prosty, więc pomińmy suchą teorię tutaj i popieramy zrozumienie kilkoma praktycznymi przykładami.
Wyrażenia, których prawdopodobnie będziesz używać najczęściej, to:
host
- Poszukaj ruchu na podstawie nazw hostów lub adresów IP.src
lub dst
- Poszukaj ruchu z lub do określonego hosta.proto
- Poszukaj ruchu określonego protokołu. Działa z tcp, udp, icmp i innymi. proto
Możliwe jest także pominięcie słowa kluczowego.net
- Poszukaj ruchu do / z określonego zakresu adresów IP.port
- Poszukaj ruchu do / z określonego portu.greater
lub less
- Poszukaj ruchu większego lub mniejszego niż pewna ilość bajtów.Podczas gdy strona man tcpdump
zawiera tylko kilka przykładów, strona man pcap-filter
zawiera bardzo szczegółowe wyjaśnienia dotyczące działania każdego filtra i można je zastosować.
Jeśli chcesz zobaczyć, jak przebiega komunikacja z określonym serwerem, możesz host
na przykład użyć słowa kluczowego (w tym niektórych parametrów z powyższego):
tcpdump -i eth0 host vultr.com
Czasami w sieci są komputery, które nie honorują MTU ani nie wysyłają spamu dużymi pakietami; ich odfiltrowanie może czasem być trudne. Wyrażenia pozwalają na odfiltrowanie pakietów większych lub mniejszych niż pewna liczba bajtów:
tcpdump -i eth0 -nn greater 128
or
tcpdump -i eth0 -nn less 32
Może interesuje Cię tylko określony port. W takim przypadku użyj port
wyrażenia:
tcpdump -i eth0 -X port 21
Możesz także poszukać zakresów portów:
tcdump -i eth0 -X portrange 22-25
Ponieważ bramy NAT są dość powszechne, możesz szukać tylko portów docelowych:
tcpdump dst port 80
Jeśli oglądasz ruch do swojego serwera internetowego, możesz chcieć przyjrzeć się tylko ruchowi TCP do portu 80:
tcpdump tcp and dst port 80
Prawdopodobnie zastanawiasz się, co and
tam robi słowo kluczowe . Dobre pytanie. To prowadzi nas do ostatniej części tego artykułu.
tcpdump
oferuje podstawową obsługę wyrażeń logicznych, a dokładniej:
and
/ &&
- Logiczne ”i„.or
/ ||
- Logiczne ”lub„.not
/ !
- Logiczne „nie”.Wraz z możliwością grupowania wyrażeń razem pozwala to na tworzenie bardzo skutecznych wyszukiwań ruchu przychodzącego i wychodzącego. Odfiltrujmy więc ruch przychodzący z vultr.com na porcie 22 lub 443:
tcpdump -i eth0 src host vultr.com and (dst port 22 or 443)
Uruchomienie tego w wierszu polecenia spowoduje następujący błąd:
bash: syntax error near unexpected token `('
Jest tak, ponieważ istnieje zastrzeżenie: bash
próbuje ocenić każdą postać, jaką potrafi. Obejmuje to znaki (
i )
. Aby uniknąć tego błędu, należy używać pojedynczych cudzysłowów wokół połączonego wyrażenia:
tcpdump -i eth0 'src host vultr.com and (dst port 22 or 443)'
Kolejny przydatny przykład: debugując problemy SSH z jednym z użytkowników, możesz zignorować wszystko, co jest związane z twoją sesją SSH:
tcpdump '!(host $youripaddress) && port 22)'
Ponownie, przypadki użycia są nieograniczone i możesz określić w ekstremalnych głębokościach, jaki rodzaj ruchu chcesz zobaczyć. Następujące polecenie pokaże tylko pakiety SYNACK uzgadniania TCP:
tcpdump -i eth0 'tcp[13]=18'
Działa to poprzez sprawdzenie trzynastego przesunięcia nagłówka TCP i osiemnastego bajtu w nim zawartego.
Jeśli udało Ci się to zrobić tutaj, jesteś gotowy na większość przypadków użycia, które się pojawią. Ledwo mogę dotknąć powierzchni bez wchodzenia w zbyt wiele szczegółów. Gorąco polecam eksperymentowanie z różnymi opcjami i wyrażeniami nieco dalej; i jak zwykle: zajrzyj do strony podręcznika, gdy się zgubisz.
Last but not least - szybkie spojrzenie wstecz. Pamiętasz początek tego artykułu? Z tysiącami pakietów przechwyconych w ciągu kilku sekund? Moc tcpdump
może to znacznie obniżyć:
tcpdump -i eth0 tcp port 22
Wynik jest teraz:
81 packets captured
114 packets received by filter
0 packets dropped by kerne
Jest to znacznie zdrowsze i łatwiejsze do debugowania. Udanego nawiązywania kontaktów!
Przeczytaj blog, aby w najprostszy sposób poznać różne warstwy w architekturze Big Data i ich funkcjonalności.
Chcesz zobaczyć rewolucyjne wynalazki Google i jak te wynalazki zmieniły życie każdego człowieka dzisiaj? Następnie czytaj na blogu, aby zobaczyć wynalazki Google.
13 komercyjnych narzędzi do ekstrakcji danych z Big Data
Whatsapp w końcu uruchomił aplikację Desktop dla użytkowników komputerów Mac i Windows. Teraz możesz łatwo uzyskać dostęp do Whatsapp z systemu Windows lub Mac. Dostępne dla Windows 8+ i Mac OS 10.9+
Energia jądrowa jest zawsze pogardzana, nigdy jej nie szanujemy z powodu przeszłych wydarzeń, ale nie zawsze jest zła. Przeczytaj post, aby dowiedzieć się więcej na ten temat.
Koncepcja autonomicznych samochodów, które wyjadą na drogi za pomocą sztucznej inteligencji, to marzenie, które mamy już od jakiegoś czasu. Ale pomimo kilku obietnic nigdzie ich nie widać. Przeczytaj ten blog, aby dowiedzieć się więcej…
Wzrasta liczba ataków ransomware, ale czy sztuczna inteligencja może pomóc w radzeniu sobie z najnowszym wirusem komputerowym? Czy AI jest odpowiedzią? Przeczytaj tutaj, wiedz, że sztuczna inteligencja jest zmorą lub zgubą
Sztuczna inteligencja nie jest dla ludzi nową nazwą. Ponieważ sztuczna inteligencja jest włączona do każdego strumienia, jednym z nich jest opracowywanie narzędzi zwiększających ludzką wydajność i dokładność. Skorzystaj z tych niesamowitych narzędzi uczenia maszynowego i uprość swoje codzienne zadania.
Zawsze potrzebujemy Big Data Analytics do efektywnego zarządzania danymi. W tym artykule omówiliśmy kilka technik analizy Big Data. Sprawdź ten artykuł.
Czy jesteś również ofiarą ataków DDOS i nie masz pewności co do metod zapobiegania? Przeczytaj ten artykuł, aby rozwiązać swoje pytania.