نظرة ثاقبة على 26 أسلوبًا لتحليل البيانات الضخمة: الجزء الأول
نظرة ثاقبة على 26 أسلوبًا لتحليل البيانات الضخمة: الجزء الأول
GoAccess هو محلل سجل ويب مفتوح المصدر. يمكنك استخدامه لتحليل السجلات على أساس الوقت الحقيقي في المحطة الطرفية أو متصفح الويب. يعالج العديد من أنواع سجلات الوصول إلى الويب. يسمح لك بإنشاء تقارير بتنسيق HTML و JSON و CSV.
في هذا البرنامج التعليمي ، سنقوم بتثبيت أحدث إصدار من GoAccess على CentOS 7.
قبل تثبيت أي حزم على مثيل خادم CentOS ، يوصى بتحديث النظام. قم بتسجيل الدخول باستخدام sudo user وقم بتشغيل الأوامر التالية لتحديث النظام.
sudo yum -y install epel-release
sudo yum -y update
sudo shutdown -r now
بمجرد انتهاء النظام من إعادة التشغيل ، قم بتسجيل الدخول مرة أخرى كمستخدم sudo وانتقل إلى الخطوة التالية.
GoAccess مكتوب بلغة البرمجة C. وبالتالي ، فإن الاعتماد الوحيد المطلوب هو ncursesالمكتبة و gcc. لتثبيت ncursesو gcc، قم بتشغيل:
sudo yum -y install ncurses-devel gcc
قم بتثبيت الحزم الاختيارية بكتابة:
sudo yum -y install geoip-devel tokyocabinet-devel
قم بتنزيل GoAccess tarball عن طريق تشغيل:
wget http://tar.goaccess.io/goaccess-1.2.tar.gz
يمكنك العثور على أحدث إصدار من GoAccess على صفحة التنزيل الرسمية .
استخرج كرة القماش.
tar -xzvf goaccess-1.2.tar.gz
تكوين وتثبيت الحزمة.
cd goaccess-1.2
sudo ./configure --enable-utf8 --enable-geoip=legacy
sudo make
sudo make install
قم بإنشاء ارتباط ناعم goaccessفي /usr/binالدليل عن طريق تشغيل:
sudo ln -s /usr/local/bin/goaccess /usr/bin/goaccess
تم تثبيت GoAccess الآن على الخادم الخاص بك.
GoAccess هو محلل سجل الويب. إذا لم يكن لديك خادم ويب قيد التشغيل ، فقم بتثبيت خادم الويب Apache.
sudo yum -y install httpd
قم بتشغيل وتمكين خادم الويب للتشغيل في وقت التمهيد.
sudo systemctl start httpd
sudo systemctl enable httpd
اسمح بمنفذ HTTP المطلوب عبر جدار حماية النظام.
sudo firewall-cmd --add-service=http --permanent
sudo firewall-cmd --reload
الآن يمكنك الوصول إلى خادم الويب باستخدام http://Vultr_Server_IP. عند الوصول إلى صفحة الويب ، سيضيف Apache بعض إدخالات السجل في access_logالملف الافتراضي . المسار إلى ملف السجل على CentOS 7 هو /var/log/httpd/access_log.
لتحليل السجل باستخدام GoAccess من محطة طرفية ، اكتب:
sudo goaccess /var/log/httpd/access_log --log-format=COMBINED
سيعرض لك البرنامج التقرير الذي تم إنشاؤه بعد تحليل ملف السجل. يشبه تقرير مثال التقرير الموضح أدناه.
Dashboard - Overall Analyzed Requests (29/Jun/2017 - 29/Jun/2017) [Active Panel: Visitors]
Total Requests 16 Unique Visitors 1 Unique Files 1 Referrers 0
Valid Requests 16 Init. Proc. Time 0s Static Files 4 Log Size 3.92 KiB
Failed Requests 0 Excl. IP Hits 0 Unique 404 6 Bandwidth 41.82 KiB
Log Source /var/log/httpd/access_log
> 1 - Unique visitors per day - Including spiders Total: 1/1
Hits h% Vis. v% Bandwidth Data
---- ------- ---- ------- ----------- ----
16 100.00% 1 100.00% 41.82 KiB 29/Jun/2017 |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
2 - Requested Files (URLs) Total: 1/1
Hits h% Vis. v% Bandwidth Mtd Proto Data
---- ------- ---- ----- ----------- --- -------- ----
2 100.00% 0 0.00% 9.56 KiB GET HTTP/1.1 /
3 - Static Requests Total: 4/4
Hits h% Vis. v% Bandwidth Mtd Proto Data
---- ------ ---- ------ ----------- --- -------- ----
[?] Help [Enter] Exp. Panel 0 - Thu Jun 29 10:20:31 2017 [Q]uit GoAccess 1.2
لإنشاء تقرير HTML ، اكتب:
sudo goaccess /var/log/httpd/access_log --log-format=COMBINED -a -o /var/www/html/report.html
افتح متصفح الويب الخاص بك وانتقل إلى URL http://Vultr_Server_IP/report.htmlباستخدام متصفح الويب المفضل لديك. سيعرض لك المتصفح أنواعًا عديدة من الإحصاءات باستخدام الرسوم البيانية التفاعلية.
نظرة ثاقبة على 26 أسلوبًا لتحليل البيانات الضخمة: الجزء الأول
اقرأ المدونة لمعرفة الطبقات المختلفة في بنية البيانات الضخمة ووظائفها بأبسط طريقة.
يعرف الكثير منكم أن Switch سيصدر في مارس 2017 وميزاته الجديدة. بالنسبة لأولئك الذين لا يعرفون ، قمنا بإعداد قائمة بالميزات التي تجعل "التبديل" "أداة لا غنى عنها".
هل تنتظر عمالقة التكنولوجيا للوفاء بوعودهم؟ تحقق من ما تبقى دون تسليم.
اقرأ هذا لمعرفة مدى انتشار الذكاء الاصطناعي بين الشركات الصغيرة وكيف أنه يزيد من احتمالات نموها ومنح منافسيها القدرة على التفوق.
مع تطور العلم بمعدل سريع ، واستلام الكثير من جهودنا ، تزداد أيضًا مخاطر تعريض أنفسنا إلى تفرد غير قابل للتفسير. اقرأ ، ماذا يمكن أن يعني التفرد بالنسبة لنا.
لقد أصبح حل CAPTCHA صعبًا جدًا على المستخدمين في السنوات القليلة الماضية. هل ستكون قادرة على أن تظل فعالة في اكتشاف البريد العشوائي والروبوتات في المستقبل القريب؟
ما هو التطبيب عن بعد والرعاية الصحية عن بعد وأثره على الأجيال القادمة؟ هل هو مكان جيد أم لا في حالة الوباء؟ اقرأ المدونة لتجد طريقة عرض!
ربما سمعت أن المتسللين يكسبون الكثير من المال ، لكن هل تساءلت يومًا كيف يجنون هذا النوع من المال؟ دعنا نناقش.
أصدرت Apple مؤخرًا macOS Catalina 10.15.4 تحديثًا تكميليًا لإصلاح المشكلات ولكن يبدو أن التحديث يتسبب في المزيد من المشكلات التي تؤدي إلى إنشاء أجهزة macOS. قراءة هذه المادة لمعرفة المزيد