Изучение 26 методов анализа больших данных: часть 1
Изучение 26 методов анализа больших данных: часть 1
Если вы запустите сервер, вы, несомненно, дойдете до того момента, когда вам понадобится решить некоторые проблемы, связанные с сетью. Конечно, было бы просто отправить письмо в отдел поддержки, но иногда вам нужно испачкать руки. В данном случае tcpdump
это инструмент для этой работы. Tcpdump - это анализатор сетевых пакетов, который запускается из командной строки.
Эта статья будет разделена на три части:
Поскольку tcpdump не входит в большинство базовых систем, вам нужно будет установить его. Однако почти все дистрибутивы Linux имеют tcpdump в своих основных репозиториях. Для дистрибутивов на основе Debian команда для установки tcpdump:
apt-get install tcpdump
Для CentOS / RedHat используйте следующую команду:
yum install tcpdump
FreeBSD предлагает готовый пакет, который можно установить, выполнив:
pkg install tcpdump
Также имеется порт, net/tcpdump
который можно установить через:
cd /usr/ports/net/tcpdump
make install clean
Если вы запускаете tcpdump
без каких-либо аргументов, вы будете побеждены результатами. Запуск его на недавно запущенном экземпляре в Vultr менее чем за пять секунд дает следующие результаты:
2661 packets captured
2663 packets received by filter
0 packets dropped by kernel
Прежде чем перейти к более подробной информации о том, как фильтровать ввод, вы должны взглянуть на некоторые параметры, которые можно передать в tcpdump:
-i
- Определяет интерфейс вы хотите прослушивать, например: tcpdump -i eth0
.-n
- Не пытайтесь выполнять обратный поиск по IP-адресам, например: tcpdump -n
(если вы добавите другой n
tcpdump, вы увидите номера портов вместо имен).-X
- Показывает содержимое собранных пакетов: tcpdump -X
.-c
- Только захватывать x
пакеты, x
являющиеся произвольным числом, например, tcpdump -c 10
захватывает ровно 10 пакетов.-v
- Увеличьте объем отображаемой вами информации о пакете, чем больше, тем v
больше подробности.Каждый из упомянутых здесь параметров может быть объединен вместе. Если вы хотите захватить 100 пакетов, но только на вашем VPN-интерфейсе tun0, то команда tcpdump будет выглядеть так:
tcpdump -i tun0 -c 100 -X
Есть десятки (если не сотни) вариантов в дополнение к этим немногим, но они являются наиболее распространенными. Не стесняйтесь читать справочную страницу tcpdump в вашей системе.
Теперь, когда у вас есть общее представление о tcpdump, пришло время взглянуть на одну из самых удивительных функций tcpdump: выражения. Выражения сделают вашу жизнь намного проще. Они также известны как пакетные фильтры ��ПФ или Беркли. Использование выражений позволяет выборочно отображать (или игнорировать) пакеты на основе определенных характеристик, таких как источник, место назначения, размер или даже порядковый номер TCP.
До сих пор вам удавалось ограничить ваш поиск определенным количеством пакетов на определенном интерфейсе, но давайте будем честными: здесь все еще остается слишком много фонового шума для эффективной работы с собранными данными. Вот где в игру вступают выражения. Концепция довольно проста, поэтому мы оставим здесь сухую теорию и подкрепим понимание некоторыми практическими примерами.
Выражения, которые вы, вероятно, будете использовать чаще всего:
host
- Ищите трафик на основе имен хостов или IP-адресов.src
или dst
- Ищите трафик от или до определенного хоста.proto
- Ищите трафик определенного протокола. Работает для tcp, udp, icmp и других. Опускание proto
ключевого слова также возможно.net
- Ищите трафик в / из определенного диапазона IP-адресов.port
- Ищите трафик в / из определенного порта.greater
или less
- ищите трафик, больший или меньший, чем определенное количество байтов.В то время как справочная страница tcpdump
просто содержит несколько примеров, на справочной странице pcap-filter
есть очень подробные объяснения того, как работает каждый фильтр и как его можно применять.
Если вы хотите посмотреть, как происходит ваше общение с определенным сервером, вы можете использовать host
ключевое слово, например (включая некоторые параметры из приведенных выше):
tcpdump -i eth0 host vultr.com
Иногда в сети есть компьютеры, которые не соблюдают MTU и не рассылают спам большими пакетами; иногда их трудно отфильтровать. Выражения позволяют вам отфильтровывать пакеты, которые больше или меньше определенного количества байтов:
tcpdump -i eth0 -nn greater 128
or
tcpdump -i eth0 -nn less 32
Может быть, вам интересен только определенный порт. В этом случае используйте port
выражение:
tcpdump -i eth0 -X port 21
Вы также можете посмотреть диапазоны портов:
tcdump -i eth0 -X portrange 22-25
Поскольку шлюзы NAT довольно распространены, вы можете искать только порты назначения:
tcpdump dst port 80
Если вы смотрите трафик на ваш веб-сервер, вы можете посмотреть только трафик TCP на порт 80:
tcpdump tcp and dst port 80
Вы, вероятно, спрашиваете себя, что там and
делает ключевое слово . Хороший вопрос. Это подводит нас к последней части этой статьи.
tcpdump
предлагает базовую поддержку логических выражений, а именно:
and
/ &&
- Логическое «а».or
/ ||
- Логическое «или».not
/ !
- Логическое "не".Вместе с возможностью группировать выражения вместе, это позволяет вам создавать очень мощный поиск входящего и исходящего трафика. Итак, давайте отфильтруем трафик, поступающий с vultr.com через порт 22 или 443:
tcpdump -i eth0 src host vultr.com and (dst port 22 or 443)
Выполнение этого в командной строке выдаст вам следующую ошибку:
bash: syntax error near unexpected token `('
Это потому, что есть предостережение: он bash
пытается оценить каждый символ, который может. Это включает в себя (
и )
символы. Чтобы избежать этой ошибки, вы должны использовать одинарные кавычки вокруг объединенного выражения:
tcpdump -i eth0 'src host vultr.com and (dst port 22 or 443)'
Еще один полезный пример: при отладке проблем SSH с одним из ваших пользователей вы можете игнорировать все, что связано с вашим сеансом SSH:
tcpdump '!(host $youripaddress) && port 22)'
Опять же, варианты использования бесконечны, и вы можете указать в крайности, какой тип трафика вы хотите видеть. Следующая команда покажет вам только SYNACK-пакеты TCP-рукопожатия:
tcpdump -i eth0 'tcp[13]=18'
Это работает, глядя на тринадцатое смещение заголовка TCP и восемнадцатый байт в нем.
Если вы сделали это полностью здесь, то вы готовы к большинству вариантов использования, которые возникнут. Я могу едва касаться поверхности, не вдаваясь в слишком много деталей. Я настоятельно рекомендую вам поэкспериментировать с различными опциями и выражениями немного дальше; и как обычно: обратитесь к странице справки, когда вы заблудились.
Последнее, но не менее важное - быстрый взгляд назад. Помните начало этой статьи? С тысячами пакетов, захваченных в считанные секунды? Сила tcpdump
может урезать все это:
tcpdump -i eth0 tcp port 22
Результат сейчас:
81 packets captured
114 packets received by filter
0 packets dropped by kerne
Это намного разумнее и проще для отладки. Счастливого общения!
Изучение 26 методов анализа больших данных: часть 1
Многие из вас знают Switch, который выйдет в марте 2017 года, и его новые функции. Для тех, кто не знает, мы подготовили список функций, которые делают «Switch» обязательным гаджетом.
Вы ждете, когда технологические гиганты выполнят свои обещания? проверить, что осталось недоставленным.
Прочтите блог, чтобы узнать о различных уровнях архитектуры больших данных и их функциях самым простым способом.
Прочтите это, чтобы узнать, как искусственный интеллект становится популярным среди небольших компаний и как он увеличивает вероятность их роста и дает преимущество перед конкурентами.
CAPTCHA стало довольно сложно решать пользователям за последние несколько лет. Сможет ли он оставаться эффективным в обнаружении спама и ботов в ближайшем будущем?
По мере того, как наука развивается быстрыми темпами, принимая на себя большую часть наших усилий, также возрастает риск подвергнуться необъяснимой сингулярности. Прочтите, что может значить для нас необычность.
Что такое телемедицина, дистанционное здравоохранение и их влияние на будущее поколение? Это хорошее место или нет в ситуации пандемии? Прочтите блог, чтобы узнать мнение!
Возможно, вы слышали, что хакеры зарабатывают много денег, но задумывались ли вы когда-нибудь о том, как они зарабатывают такие деньги? Давайте обсудим.
Недавно Apple выпустила macOS Catalina 10.15.4, дополнительное обновление для исправления проблем, но похоже, что это обновление вызывает больше проблем, приводящих к поломке компьютеров Mac. Прочтите эту статью, чтобы узнать больше