نظرة ثاقبة على 26 أسلوبًا لتحليل البيانات الضخمة: الجزء الأول
نظرة ثاقبة على 26 أسلوبًا لتحليل البيانات الضخمة: الجزء الأول
إذا قمت بتشغيل خادم ، ستصل بلا شك إلى النقطة التي تحتاج فيها إلى حل بعض المشاكل المتعلقة بالشبكة. بالطبع سيكون من السهل فقط إرسال بريد إلى قسم الدعم ، ولكن في بعض الأحيان تحتاج إلى جعل يديك متسختين. في هذه الحالة ، tcpdumpهي الأداة لتلك المهمة. Tcpdump هو محلل حزم شبكة يعمل تحت سطر الأوامر.
سيتم تقسيم هذه المقالة إلى ثلاثة أجزاء:
نظرًا لأن tcpdump غير مضمّن في معظم أنظمة القاعدة ، ستحتاج إلى تثبيته. ومع ذلك ، فإن جميع توزيعات لينكس تقريبًا لديها tcpdump في مستودعاتها الأساسية. بالنسبة إلى التوزيعات القائمة على دبيان ، فإن الأمر لتثبيت tcpdump هو:
apt-get install tcpdump
بالنسبة لـ CentOS / RedHat ، استخدم الأمر التالي:
yum install tcpdump
يقدم فري بي إس دي حزمة مسبقة الصنع يمكن تثبيتها بإصدار:
pkg install tcpdump
هناك أيضًا منفذ متاح net/tcpdumpيمكن تثبيته عبر:
cd /usr/ports/net/tcpdump
make install clean
إذا قمت بتشغيل tcpdumpبدون أي وسيطات ، سيتم ضربك بالنتائج. إن تشغيله على مثيل جديد طازج هنا على Vultr لمدة تقل عن خمس ثوان يعطي النتائج التالية:
2661 packets captured
2663 packets received by filter
0 packets dropped by kernel
قبل الدخول في مزيد من التفاصيل حول كيفية تصفية الإدخال ، يجب إلقاء نظرة على بعض المعلمات التي يمكن تمريرها إلى tcpdump:
-i- يحدد واجهة كنت ترغب في الاستماع، على سبيل المثال: tcpdump -i eth0.-n- لا تحاول إجراء عمليات بحث عكسية على عناوين IP ، على سبيل المثال: tcpdump -n(إذا قمت بإضافة ntcpdump آخر سيعرض لك أرقام المنافذ بدلاً من الأسماء).-X- عرض محتوى الحزم التي تم جمعها: tcpdump -X.-c- xحزم التقاط فقط ، xكونها رقمًا تعسفيًا ، على سبيل المثال tcpdump -c 10تلتقط بالضبط 10 حزم.-v- زيادة كمية معلومات الحزمة التي تظهر لك ، والمزيد من vإضافة المزيد من الإسهاب.يمكن دمج كل من هذه المعلمات المذكورة هنا معًا. إذا كنت ترغب في التقاط 100 حزمة ، ولكن فقط على واجهة VPN الخاصة بك tun0 ، فسيبدو الأمر tcpdump كما يلي:
tcpdump -i tun0 -c 100 -X
هناك العشرات (إن لم يكن المئات) من الخيارات بالإضافة ��لى تلك القليلة ، لكنها الأكثر شيوعًا. لا تتردد في قراءة صفحة tcpdump على نظامك.
الآن بعد أن أصبح لديك فهم أساسي لـ tcpdump ، حان الوقت لإلقاء نظرة على واحدة من أكثر ميزات tcpdump الرائعة: التعبيرات. التعبيرات ستجعل حياتك أسهل كثيرًا. تُعرف أيضًا باسم عوامل تصفية حزم BPF أو Berkeley. يسمح لك استخدام التعبيرات بعرض (أو تجاهل) الحزم بشكل انتقائي بناءً على خصائص معينة - مثل الأصل أو الوجهة أو الحجم أو حتى رقم تسلسل TCP.
لقد تمكنت حتى الآن من قصر بحثك على كمية معينة من الحزم على واجهة معينة ، ولكن لنكن صادقين هنا: لا يزال هذا يترك الكثير من الضوضاء في الخلفية للعمل بفعالية مع البيانات التي تم جمعها. وهنا يأتي دور التعبيرات. المفهوم واضح ومباشر ، لذا سنترك النظرية الجافة هنا وسندعم الفهم ببعض الأمثلة العملية.
التعبيرات التي ستستخدمها على الأرجح هي:
host - ابحث عن حركة المرور على أساس أسماء المضيفين أو عناوين IP.srcأو dst- ابحث عن حركة المرور من أو إلى مضيف معين.proto- ابحث عن حركة بروتوكول معين. يعمل لـ tcp و udp و icmp وغيرها. من protoالممكن أيضًا حذف الكلمة الرئيسية.net - ابحث عن حركة المرور من / إلى نطاق معين من عناوين IP.port - ابحث عن حركة المرور من / إلى منفذ معين.greaterأو less- ابحث عن حركة المرور أكبر أو أصغر من كمية معينة من وحدات البايت.في حين أن صفحة man tcpdumpتحتوي فقط على بعض الأمثلة ، فإن صفحة man pcap-filterتحتوي على تفسيرات مفصلة للغاية حول كيفية عمل كل مرشح ويمكن تطبيقه.
إذا كنت تريد أن ترى كيف تسير اتصالاتك مع خادم معين ، فيمكنك استخدام hostالكلمة الرئيسية ، على سبيل المثال (بما في ذلك بعض المعلمات من أعلاه):
tcpdump -i eth0 host vultr.com
في بعض الأحيان توجد أجهزة كمبيوتر على الشبكة لا تحترم MTU أو ترسل بريدًا مزعجًا لك بحزم كبيرة ؛ قد يكون تصفيتها أمرًا صعبًا في بعض الأحيان. تسمح لك التعبيرات بتصفية الحزم التي تكون أكبر أو أصغر من عدد معين من وحدات البايت:
tcpdump -i eth0 -nn greater 128
or
tcpdump -i eth0 -nn less 32
ربما فقط منفذ معين يهمك. في هذه الحالة ، استخدم portالتعبير:
tcpdump -i eth0 -X port 21
يمكنك أيضًا البحث عن نطاقات المنافذ:
tcdump -i eth0 -X portrange 22-25
نظرًا لأن بوابات NAT شائعة جدًا ، قد تبحث فقط عن منافذ الوجهة:
tcpdump dst port 80
إذا كنت تشاهد حركة المرور إلى خادم الويب الخاص بك ، فقد ترغب فقط في إلقاء نظرة على حركة مرور TCP إلى المنفذ 80:
tcpdump tcp and dst port 80
ربما تسأل نفسك ماذا andتفعل الكلمة الرئيسية هناك. سؤال جيد. هذا يقودنا إلى الجزء الأخير من هذه المقالة.
tcpdump يقدم الدعم الأساسي للتعبيرات المنطقية ، وبشكل أكثر تحديدًا:
and/ &&- منطقي "و".or/ ||- منطقي "أو".not/ !- منطقي "لا".إلى جانب القدرة على تجميع التعبيرات معًا ، يتيح لك هذا إنشاء عمليات بحث قوية جدًا لحركة المرور الواردة والصادرة. لنقم بتصفية حركة المرور الواردة من vultr.com على المنفذ 22 أو 443:
tcpdump -i eth0 src host vultr.com and (dst port 22 or 443)
يمنحك تشغيل هذا في سطر الأوامر الخطأ التالي:
bash: syntax error near unexpected token `('
هذا بسبب وجود تحذير: bashيحاول تقييم كل شخصية يمكنه ذلك. يتضمن هذا (و ). لتجنب هذا الخطأ ، يجب عليك استخدام علامات الاقتباس المفردة حول التعبير المدمج:
tcpdump -i eth0 'src host vultr.com and (dst port 22 or 443)'
مثال مفيد آخر: عند تصحيح مشكلات SSH مع أحد المستخدمين لديك ، قد ترغب في تجاهل كل ما يتعلق بجلسة SSH الخاصة بك:
tcpdump '!(host $youripaddress) && port 22)'
مرة أخرى ، حالات الاستخدام لا حصر لها ، ويمكنك تحديد الأعماق القصوى نوع حركة المرور التي تريد رؤيتها. سيظهر لك الأمر التالي حزم SYNACK فقط لمصافحة TCP:
tcpdump -i eth0 'tcp[13]=18'
يعمل هذا بالنظر إلى الإزاحة الثالثة عشر لرأس TCP والبايت الثامن عشر بداخله.
إذا قمت بذلك طوال الطريق هنا ، فأنت جاهز لمعظم حالات الاستخدام التي ستنشأ. بالكاد أستطيع لمس السطح دون الخوض في تفاصيل كثيرة. أوصي بشدة بتجربة الخيارات والتعبيرات المختلفة قليلاً ؛ وكالعادة: راجع الصفحة الرئيسية عندما تضيع.
أخيرًا وليس آخرًا - نظرة سريعة إلى الوراء. تذكر بداية هذه المقالة؟ مع الآلاف من الحزم التي تم التقاطها في غضون ثوان؟ يمكن لقوة tcpdumpأن تقلص ذلك إلى حد كبير:
tcpdump -i eth0 tcp port 22
والنتيجة الآن:
81 packets captured
114 packets received by filter
0 packets dropped by kerne
هذا أكثر صحة وأسهل في التصحيح. شبكة سعيدة!
نظرة ثاقبة على 26 أسلوبًا لتحليل البيانات الضخمة: الجزء الأول
اقرأ المدونة لمعرفة الطبقات المختلفة في بنية البيانات الضخمة ووظائفها بأبسط طريقة.
يعرف الكثير منكم أن Switch سيصدر في مارس 2017 وميزاته الجديدة. بالنسبة لأولئك الذين لا يعرفون ، قمنا بإعداد قائمة بالميزات التي تجعل "التبديل" "أداة لا غنى عنها".
هل تنتظر عمالقة التكنولوجيا للوفاء بوعودهم؟ تحقق من ما تبقى دون تسليم.
اقرأ هذا لمعرفة مدى انتشار الذكاء الاصطناعي بين الشركات الصغيرة وكيف أنه يزيد من احتمالات نموها ومنح منافسيها القدرة على التفوق.
مع تطور العلم بمعدل سريع ، واستلام الكثير من جهودنا ، تزداد أيضًا مخاطر تعريض أنفسنا إلى تفرد غير قابل للتفسير. اقرأ ، ماذا يمكن أن يعني التفرد بالنسبة لنا.
لقد أصبح حل CAPTCHA صعبًا جدًا على المستخدمين في السنوات القليلة الماضية. هل ستكون قادرة على أن تظل فعالة في اكتشاف البريد العشوائي والروبوتات في المستقبل القريب؟
ما هو التطبيب عن بعد والرعاية الصحية عن بعد وأثره على الأجيال القادمة؟ هل هو مكان جيد أم لا في حالة الوباء؟ اقرأ المدونة لتجد طريقة عرض!
ربما سمعت أن المتسللين يكسبون الكثير من المال ، لكن هل تساءلت يومًا كيف يجنون هذا النوع من المال؟ دعنا نناقش.
أصدرت Apple مؤخرًا macOS Catalina 10.15.4 تحديثًا تكميليًا لإصلاح المشكلات ولكن يبدو أن التحديث يتسبب في المزيد من المشكلات التي تؤدي إلى إنشاء أجهزة macOS. قراءة هذه المادة لمعرفة المزيد