نظرة ثاقبة على 26 أسلوبًا لتحليل البيانات الضخمة: الجزء الأول
نظرة ثاقبة على 26 أسلوبًا لتحليل البيانات الضخمة: الجزء الأول
Beanstalk هو طابور عمل سريع وبسيط. يسمح لك بتشغيل المهام التي تستغرق وقتًا طويلاً بشكل غير متزامن ، مثل إرسال رسائل البريد الإلكتروني أو الاتصال بواجهات برمجة التطبيقات الخارجية أو معالجة الصور. من خلال القيام بذلك ، سوف تقلل زمن الوصول إلى تطبيق الويب. يوفر Laravel الدعم من خارج منطقة الجزاء beanstalkd
.
في هذا البرنامج التعليمي سنقوم بتثبيت beanstalkd
وإعداد تطبيق Laravel التجريبي وإدارة عمال الطابور من خلال المشرف . سيحصل التطبيق التجريبي على قائمة بأنظمة التشغيل المتاحة من Vultr API واختيار عشوائيًا.
من المفترض أن لديك مشرفًا مثبتًا بالفعل على نظامك. إذا لم تقم بذلك ، يجب عليك قراءة البرنامج التعليمي التالي حول كيفية إعداد المشرف: تثبيت وتكوين المشرف على Ubuntu 16.04
من المفترض أيضًا أن لديك وصول SSH إلى مثيل Vultr الخاص بك.
الخطوة الأولى التي يجب اتخاذها هي التثبيت beanstalkd
.
sudo apt-get update
sudo apt-get install beanstalkd
ابدأ الخدمة.
sudo systemctl start beanstalkd
يمكنك أيضًا تمكين الخدمة للبدء عند تهيئة النظام.
sudo systemctl enable beanstalkd
تحقق من حالة الخدمة بإصدار الأمر التالي.
sudo systemctl status beanstalkd
بشكل افتراضي ، beanstalkd
يستمع على المنفذ 11300
. يستخدم Beanstalk بروتوكولًا نصيًا بسيطًا موصوفًا في مستودع github . يمكنك اختبار البروتوكول الخاص به عن طريق التشغيل telnet
.
telnet localhost 11300
اكتب ما يلي واضرب ENTER.
list-tubes
يجب أن تشاهد قائمة الأنابيب المتوفرة على الخادم:
OK 14
---
- default
لإغلاق الاتصال ببساطة اكتب quit
ثم اضغط ENTER.
تمثل الأنابيب في Beanstalk قوائم انتظار العمل. وتتكون شجرة الفاصولياء أساسا من قبل المنتجين ، المستهلكين ، وظائف و أنابيب . يضع المنتجون الوظائف في أنبوب ليتم استهلاكه (معالجته) من قبل أي عدد من المستهلكين. لاحظ أن كلاً من المنتجين والمستهلكين هم ببساطة عملاء لخادم Beanstalk وهم مستقلون تمامًا عن بعضهم البعض. وهذا يعني من الناحية العملية أنه باستخدام Beanstalk ، يمكنك إنتاج وظائفك في تطبيق PHP ومعالجتها في تطبيق NodeJS على سبيل المثال. لحسن الحظ ، يلخص Laravel كل هذا ويوفر لنا واجهة برمجة تطبيقات بسيطة جدًا لإرسال المهام ومعالجتها ، كما سنرى لاحقًا.
لبناء مشروع عينة لدينا ، نحتاج أولاً إلى تثبيت تبعياته. سنقوم بتثبيت PHP و Composer.
sudo apt-get install php php-mbstring php-xml php-common php-zip composer
الآن ، قم بإنشاء المشروع على أساس Laravel 5.5.
composer create-project --prefer-dist laravel/laravel vultr "5.5.*"
بعد ذلك cd
في المجلد الذي تم إنشاؤه مؤخرًا. سنعمل في هذا الدليل من الآن فصاعدا. قد تتم الإشارة إلى هذا المجلد لاحقًا باسم PROJECT_ROOT
.
cd vultr/
لاستخدام Beanstalk في Laravel ، نحتاج إلى تثبيت تبعية أخرى ، عميل PHP Beanstalk.
composer require pda/pheanstalk ~3.0
نحتاج أيضًا إلى إنشاء تمثيل وظيفي. في Laravel ، هذا فصل داخل app/Jobs
المجلد. لدى Laravel أمر وحدة تحكم لمساعدتنا في إنشاء فئة مهمة. لنقم بإنشاء نموذج عملنا.
php artisan make:job FindFavoriteOS
قم بتحديث app/Jobs/FindFavoriteOS.php
الملف لما يلي.
<?php
namespace App\Jobs;
use Illuminate\Bus\Queueable;
use Illuminate\Queue\SerializesModels;
use Illuminate\Queue\InteractsWithQueue;
use Illuminate\Contracts\Queue\ShouldQueue;
use Illuminate\Foundation\Bus\Dispatchable;
use Illuminate\Support\Facades\Log;
class FindFavoriteOS implements ShouldQueue
{
use Dispatchable, InteractsWithQueue, Queueable, SerializesModels;
/**
* Create a new job instance.
*
* @return void
*/
public function __construct()
{
//
}
/**
* Execute the job.
*
* @return void
*/
public function handle()
{
$rawData = file_get_contents('https://api.vultr.com/v1/os/list');
$list = json_decode($rawData, true);
shuffle($list);
$key = array_rand($list);
$favorite = $list[$key];
Log::info('My Favorite OS is: ' . $favorite['name']);
}
}
طريقة المقبض هي ما سيتم تنفيذه بشكل فعال عند استهلاك المهمة. هنا ، نقوم بإحضار البيانات من Vultr API ، ونختار نظام تشغيل بشكل عشوائي ونكتب نظام التشغيل المختار إلى ملف السجل. يقع ملف السجل في storage/logs/laravel.log
.
لقد قمنا بالفعل بتثبيت Beanstalk وحدد المهمة ليتم تنفيذها من قبله. حان الوقت الآن لإخبار Laravel باستخدام Beanstalk كقائمة انتظار العمل الافتراضية. انسخ .env
الملف الافتراضي المقدم من تثبيت Laravel.
cp .env.example .env
الآن افتح .env
الملف وقم بتحديث الخط حيث تم تحديد برنامج تشغيل قائمة الانتظار.
QUEUE_DRIVER=beanstalkd
أخيرًا ، أنشئ مفتاح تطبيق.
php artisan key:generate
نحن الآن على استعداد لإرسال وظائف إلى قائمة انتظار عمل Beanstalk.
يعد إرسال وظيفة في Laravel أمرًا بسيطًا للغاية. قم بتحديث routes/web.php
الملف.
<?php
Route::get('/', function () {
for ($i = 0; $i < 50; $i++) {
\App\Jobs\FindFavoriteOS::dispatch();
}
return '50 Jobs dispatched!';
});
على الرغم من عدم التوصية بتشغيل الخادم المتوفر المضمن في الإنتاج ، سنستخدمه هنا من أجل الإيجاز.
php artisan serve --host 0.0.0.0 --port 8000
الآن في متصفح الويب ، انتقل إلى http://[vultr-instance-ip]:8000
. سترى الرسالة التالية.
50 Jobs dispatched!
افتح اتصال SSH جديدًا بخادمك وداخل جذر مشروعنا ، نفذ ما يلي.
php artisan queue:work --once
هذا هو الناتج المتوقع:
[2018-02-14 00:03:52] Processing: App\Jobs\FindFavoriteOS
[2018-02-14 00:03:53] Processed: App\Jobs\FindFavoriteOS
تأكد من أنه تم إنشاء السجل.
cat storage/logs/laravel.log
لتجنب الحاجة إلى معالجة قائمة الانتظار يدويًا ، سنستخدمها supervisord
. قم بإنشاء تكوين البرنامج التالي في /etc/supervisor/conf.d/vultr.conf
.
[program:vultr]
process_name=%(program_name)s_%(process_num)02d
command=php [PROJECT_ROOT]/artisan queue:work
autostart=true
autorestart=true
numprocs=8
redirect_stderr=true
stdout_logfile=/var/log/worker.log
لاحظ أن المسار الصحيح لوضع ملف تكوين المشرف سيعتمد على الإعداد الخاص بك. تذكر أيضًا أن تستبدل [PROJECT_ROOT]
المسار الكامل إلى PROJECT_ROOT
نظامك.
هنا نقوم بتكوين مشرف لبدء معالجة قائمة الانتظار تلقائيًا ، وفي حالة كسر البرنامج النصي ، لإعادة تشغيله. لاحظ أيضًا أننا لا ننشئ عاملاً واحدًا ، ولكن 8 عمليات. لك مطلق الحرية في إنشاء نسخ فورية ولكن العديد من العمليات التي تجدها ضرورية اعتمادًا على التطبيق الخاص بك.
للسماح للمشرف بإدارة العامل لدينا ، إجباره على إعادة قراءة تكوينه.
sudo supervisorctl reread
sudo supervisorctl update
إذا لم تبدأ خدمة المشرف ، فأنت بحاجة كثيرًا لبدء تشغيلها.
sudo systemctl start supervisord
الآن دعونا نرى ما إذا كانت الوظائف قيد المعالجة.
tail -f storage/logs/laravel.log
في مستعرض ويب ، انتقل إلى http://[vultr-instance-ip]:8000
. سترى السجلات التي يتم إنشاؤها على وحدة التحكم الخاصة بك.
لقد نجحنا في تكوين تطبيق Laravel لاستخدام Beanstalk كقائمة انتظار عمل. أيضا ، أظهرنا كيفية استخدام المشرف لإدارة العمال.
نظرة ثاقبة على 26 أسلوبًا لتحليل البيانات الضخمة: الجزء الأول
يعرف الكثير منكم أن Switch سيصدر في مارس 2017 وميزاته الجديدة. بالنسبة لأولئك الذين لا يعرفون ، قمنا بإعداد قائمة بالميزات التي تجعل "التبديل" "أداة لا غنى عنها".
هل تنتظر عمالقة التكنولوجيا للوفاء بوعودهم؟ تحقق من ما تبقى دون تسليم.
اقرأ المدونة لمعرفة الطبقات المختلفة في بنية البيانات الضخمة ووظائفها بأبسط طريقة.
اقرأ هذا لمعرفة مدى انتشار الذكاء الاصطناعي بين الشركات الصغيرة وكيف أنه يزيد من احتمالات نموها ومنح منافسيها القدرة على التفوق.
لقد أصبح حل CAPTCHA صعبًا جدًا على المستخدمين في السنوات القليلة الماضية. هل ستكون قادرة على أن تظل فعالة في اكتشاف البريد العشوائي والروبوتات في المستقبل القريب؟
مع تطور العلم بمعدل سريع ، واستلام الكثير من جهودنا ، تزداد أيضًا مخاطر تعريض أنفسنا إلى تفرد غير قابل للتفسير. اقرأ ، ماذا يمكن أن يعني التفرد بالنسبة لنا.
ما هو التطبيب عن بعد والرعاية الصحية عن بعد وأثره على الأجيال القادمة؟ هل هو مكان جيد أم لا في حالة الوباء؟ اقرأ المدونة لتجد طريقة عرض!
ربما سمعت أن المتسللين يكسبون الكثير من المال ، لكن هل تساءلت يومًا كيف يجنون هذا النوع من المال؟ دعنا نناقش.
أصدرت Apple مؤخرًا macOS Catalina 10.15.4 تحديثًا تكميليًا لإصلاح المشكلات ولكن يبدو أن التحديث يتسبب في المزيد من المشكلات التي تؤدي إلى إنشاء أجهزة macOS. قراءة هذه المادة لمعرفة المزيد