نظرة ثاقبة على 26 أسلوبًا لتحليل البيانات الضخمة: الجزء الأول
نظرة ثاقبة على 26 أسلوبًا لتحليل البيانات الضخمة: الجزء الأول
المشرف هو نظام عميل / خادم يستخدم للتحكم في عدد من عمليات UNIX ، وبشكل أكثر تحديدًا العمليات المتعلقة بمشروع أو عميل. على سبيل المثال ، يمكنك استخدام المشرف لتوليد ومراقبة عدد عشوائي من قوائم انتظار العمال لتطبيق الويب الخاص بك.
مكونات هذا النظام هي:
في هذا البرنامج التعليمي ، سنقوم بتثبيت أحدث إصدار من المشرف ، وشرح كيفية تفرخ البرامج وإدارتها من خلال supervisorctl
، وتكوين واجهة ويب لإدارة برامجنا.
سنقوم بتركيب المشرف من خلال easy_install
ميزة أدوات إعداد الثعبان.
أولاً ، قم بتحديث قائمة الحزم المحلية الخاصة بك ثم قم بتثبيت python setuptools
.
sudo apt-get update && sudo apt-get install python-setuptools
الآن يمكننا تثبيت المشرف.
sudo easy_install supervisor
بمجرد اكتمال التثبيت ، يتعين علينا إنشاء ملف التكوين الخاص بنا. قم بإنشاء مجلد يسمى supervisor
بالداخل /etc
.
sudo mkdir /etc/supervisor
ثم نفذ ما يلي.
echo_supervisord_conf > /etc/supervisor/supervisord.conf
إذا لم تقم بتسجيل الدخول مع root
المستخدم ، فقد تحصل على Permission denied
خطأ (حتى مع sudo
). هذا يرجع إلى إعادة التوجيه. للتغلب على هذا ، قم بتسجيل الدخول كجذر.
sudo su
ثم يمكنك تشغيل الأمر مرة أخرى.
echo_supervisord_conf > /etc/supervisor/supervisord.conf
يمكنك الآن ترك الأمر root
للمستخدم exit
. و echo_supervisord_conf
قدمت الأوامر تركيب المشرف لدينا.
افتح /etc/supervisor/supervisord.conf
الملف وتحقق من محتوياته. ستلاحظ أن ملف التكوين هذا يتبع INI
بناء الجملة ، ويتم تقسيمه حسب الأقسام (يمثله الأقواس كما في [section-name]
).
لإضافة برامج يديرها المشرف ، نحتاج فقط إلى إنشاء [program]
الأقسام المناسبة . ومع ذلك ، لتجنب العبث مع ملف التكوين الرئيسي في كل مرة نحتاج فيها إلى إضافة (أو تغيير) برنامج ، سنستخدم [include]
القسم. ابحث عن هذا القسم ، قم بإلغاء تعليقه ثم قم بتحريره ليبدو كما يلي.
[include]
files=conf.d/*.conf
الآن لكل برنامج نريد إضافته ، سنقوم بإنشاء .ini
ملف داخل /etc/supervisor/conf.d/
الدليل. يتيح إنشاء هذا المجلد.
sudo mkdir /etc/supervisor/conf.d
كما أشرنا من قبل ، يتألف المشرف من خادم وعملاء يتصلون به. حتى نتمكن من إدارة البرامج والتحكم فيها ، نحتاج إلى تشغيل الخادم. للقيام بذلك ، سوف نقوم بتسجيل خادم المشرف في systemd
، حتى يمكن بدء تشغيل الخادم عند بدء تشغيل النظام.
للقيام بذلك ، قم بإنشاء ملف يسمى supervisord.service
في /etc/systemd/system
الدليل.
sudo touch /etc/systemd/system/supervisord.service
أضف المحتويات التالية إلى الملف.
[Unit]
Description=Supervisor daemon
Documentation=http://supervisord.org
After=network.target
[Service]
ExecStart=/usr/local/bin/supervisord -n -c /etc/supervisor/supervisord.conf
ExecStop=/usr/local/bin/supervisorctl $OPTIONS shutdown
ExecReload=/usr/local/bin/supervisorctl $OPTIONS reload
KillMode=process
Restart=on-failure
RestartSec=42s
[Install]
WantedBy=multi-user.target
Alias=supervisord.service
تفعيل خدمة المشرف.
sudo systemctl start supervisord.service
طالما أن ملف الخدمة موجود في /etc/systemd/system
الدليل ، فسيبدأ تشغيله تلقائيًا عند بدء تشغيل النظام.
يمكنك التحقق من حالة الخدمة.
systemctl status supervisord.service
أيضا ، يمكنك التحقق من السجلات.
sudo journalctl -u supervisord.service
يتم إعطاء البرامج التي يتحكم بها المشرف من قبل [program]
أقسام مختلفة في التكوين. لكل برنامج نريد إدارته ، سنقوم بإنشاء ملف تكوين مستقل لإبلاغ المسار القابل للتنفيذ للأوامر ، أي متغيرات بيئية ، وكيفية التنفيذ في حالة إيقاف التشغيل.
أولاً ، لننشئ نصًا بسيطًا يسجل الطابع الزمني. قم بإنشاء ملف يسمى hello_supervisor.sh
(في أي مكان ترغب فيه ، سنشير إلى المسار الكامل لهذا البرنامج النصي).
touch hello_supervisor.sh
الآن ، ضع المحتويات التالية فيه
#!/bin/bash
while true
do
# Echo current timestamp to stdout
echo Hello Supervisor: `date`
# Echo 'error!' to stderr
echo An error ocurred at `date`! >&2
sleep 1
done
الآن اجعلها قابلة للتنفيذ
chmod +x hello_supervisor.sh
من الناحية العملية ، هذا النص غير مجدي إلى حد كبير. ومع ذلك ، يمكننا استخدامه لإثبات قوة المشرف. قم بإنشاء ملف التكوين المقابل عن طريق تشغيل ما يلي.
sudo touch /etc/supervisor/conf.d/hello_supervisor.conf
الآن ضع المحتويات التالية في هذا الملف.
[program:hello_supervisor]
command=/home/USER/hello_supervisor.sh
autostart=true
autorestart=true
stderr_logfile=/var/log/hello_supervisor.err.log
stdout_logfile=/var/log/hello_supervisor.out.log
ملاحظة: تأكد من استبدال USER
اسم المستخدم الخاص بك.
سنراجع هذا التكوين خطوة بخطوة.
[program:hello_supervisor]
command=/home/USER/hello_supervisor.sh
أولاً ، يبدأ التكوين بتحديد برنامج للاسم hello_supervisor . كما أنه يعلم المسار الكامل للملف التنفيذي ليتم تشغيله.
autostart=true
يوضح هذا السطر أن هذا البرنامج يجب أن يبدأ تلقائيًا عند بدء تشغيل المشرف.
autorestart=true
إذا تم إنهاء البرنامج ، لأي سبب من الأسباب ، يبلغ هذا السطر المشرف بإعادة تشغيل العملية تلقائيًا.
stderr_logfile=/var/log/hello_supervisor.err.log
stdout_logfile=/var/log/hello_supervisor.out.log
تحدد هذه السطور موقع ملف التسجيل لـ stderr
و stdout
، على التوالي.
الآن بعد أن قمنا بتثبيت وتكوين المشرف ، أصبحنا قادرين على إدارة عملياتنا.
بعد إضافة برنامج جديد ، يجب علينا تشغيل الأمرين التاليين ، لإبلاغ الخادم بإعادة قراءة ملفات التكوين وتطبيق أي تغييرات.
sudo supervisorctl reread
sudo supervisorctl update
الآن تنفيذ supervisorctl
العميل.
sudo supervisorctl
سيتم استقبالك بقائمة المندوبات المسجلة. سترى نعالج دعا hello_supervisor
مع RUNNING
الوضع.
hello_supervisor RUNNING pid 6853, uptime 0:22:30
supervisor>
اكتب help
للحصول على قائمة بالأوامر المتاحة.
supervisor> help
default commands (type help <topic>):
=====================================
add exit open reload restart start tail
avail fg pid remove shutdown status update
clear maintail quit reread signal stop version
باختصار، نستطيع start
، stop
و restart
البرامج التي يمر اسم البرنامج كحجة إلى الأمر منها.
supervisor> stop hello_supervisor
hello_supervisor: stopped
supervisor> start hello_supervisor
hello_supervisor: started
supervisor> restart hello_supervisor
hello_supervisor: stopped
hello_supervisor: started
supervisor>
يمكننا أيضًا إلقاء نظرة على إخراج البرنامج باستخدام tail
الأمر.
supervisor> tail hello_supervisor
Hello Supervisor: Mon Sep 25 19:27:29 UTC 2017
Hello Supervisor: Mon Sep 25 19:27:30 UTC 2017
Hello Supervisor: Mon Sep 25 19:27:31 UTC 2017
ل stderr
الإخراج، يمكنك استخدام tail
أيضا.
supervisor> tail hello_supervisor stderr
An error ocurred at Mon Sep 25 19:31:12 UTC 2017!
An error ocurred at Mon Sep 25 19:31:13 UTC 2017!
An error ocurred at Mon Sep 25 19:31:14 UTC 2017!
من خلال استدعاء status
الأمر ، يمكنك عرض حالة جميع البرامج المسجلة.
بمجرد الانتهاء ، يمكنك الإقلاع عن التدخين.
supervisor> quit
للسماح بالوصول إلى خادم الويب المشرف ، افتح ملف تكوين المشرف وحدد [inet_http_server]
القسم.
nano /etc/supervisor/supervisord.conf
الآن قم بتحديث تكوين هذا القسم بما يلي.
[inet_http_server]
port=*:9001
username=your_username
password=your_password
استبدال your_username
و your_password
مع اعتمادك المطلوب، حفظ التعديلات وخدمة supervisord إعادة التشغيل.
sudo systemctl restart supervisord.service
تذكر أن تسمح TCP
بالوصول إلى المنفذ 9001
على جدار الحماية الخاص بك ومن ثم الوصول http://{server-ip}:9001
من متصفحك. عندما يطلب منك username
، قدم لك و password
. يمكنك الآن التحكم في عملياتك من الويب.
لقد قمنا بتثبيت أحدث إصدار من المشرف ، وتعلمنا كيفية تكوينه لبدء التشغيل التلقائي للنظام مع systemd كما راجعنا الاستخدام الأساسي لـ supervisorctl
. لمزيد من التكوين المتقدم وحالات الاستخدام ، يمكنك الرجوع إلى وثائق المشرف الرسمية .
نظرة ثاقبة على 26 أسلوبًا لتحليل البيانات الضخمة: الجزء الأول
يعرف الكثير منكم أن Switch سيصدر في مارس 2017 وميزاته الجديدة. بالنسبة لأولئك الذين لا يعرفون ، قمنا بإعداد قائمة بالميزات التي تجعل "التبديل" "أداة لا غنى عنها".
هل تنتظر عمالقة التكنولوجيا للوفاء بوعودهم؟ تحقق من ما تبقى دون تسليم.
اقرأ المدونة لمعرفة الطبقات المختلفة في بنية البيانات الضخمة ووظائفها بأبسط طريقة.
اقرأ هذا لمعرفة مدى انتشار الذكاء الاصطناعي بين الشركات الصغيرة وكيف أنه يزيد من احتمالات نموها ومنح منافسيها القدرة على التفوق.
لقد أصبح حل CAPTCHA صعبًا جدًا على المستخدمين في السنوات القليلة الماضية. هل ستكون قادرة على أن تظل فعالة في اكتشاف البريد العشوائي والروبوتات في المستقبل القريب؟
مع تطور العلم بمعدل سريع ، واستلام الكثير من جهودنا ، تزداد أيضًا مخاطر تعريض أنفسنا إلى تفرد غير قابل للتفسير. اقرأ ، ماذا يمكن أن يعني التفرد بالنسبة لنا.
ما هو التطبيب عن بعد والرعاية الصحية عن بعد وأثره على الأجيال القادمة؟ هل هو مكان جيد أم لا في حالة الوباء؟ اقرأ المدونة لتجد طريقة عرض!
ربما سمعت أن المتسللين يكسبون الكثير من المال ، لكن هل تساءلت يومًا كيف يجنون هذا النوع من المال؟ دعنا نناقش.
أصدرت Apple مؤخرًا macOS Catalina 10.15.4 تحديثًا تكميليًا لإصلاح المشكلات ولكن يبدو أن التحديث يتسبب في المزيد من المشكلات التي تؤدي إلى إنشاء أجهزة macOS. قراءة هذه المادة لمعرفة المزيد