Wawasan tentang 26 Teknik Analisis Data Besar: Bagian 1
Wawasan tentang 26 Teknik Analisis Data Besar: Bagian 1
Beanstalk adalah antrian kerja yang cepat dan sederhana. Ini memungkinkan Anda untuk menjalankan tugas yang memakan waktu secara tidak sinkron, seperti mengirim email, menghubungkan ke API eksternal atau memproses gambar. Dengan melakukannya, Anda akan mengurangi latensi aplikasi web Anda. Laravel menyediakan dukungan untuk beanstalkd
.
Dalam tutorial ini kita akan menginstal beanstalkd
, mengatur aplikasi demo Laravel dan mengelola pekerja antrian melalui Supervisor . Aplikasi demo akan mendapatkan daftar OS yang tersedia dari Vultr API dan secara acak memilih satu.
Diasumsikan bahwa Anda sudah memiliki Supervisor yang diinstal pada sistem Anda. Jika tidak, Anda harus membaca tutorial berikut tentang cara mengatur Supervisor: Menginstal dan Mengkonfigurasi Supervisor di Ubuntu 16.04
Juga diasumsikan bahwa Anda memiliki akses SSH ke instance Vultr Anda.
Langkah pertama yang harus diambil adalah menginstal beanstalkd
.
sudo apt-get update
sudo apt-get install beanstalkd
Mulai layanan.
sudo systemctl start beanstalkd
Anda juga dapat mengaktifkan layanan untuk memulai inisialisasi sistem.
sudo systemctl enable beanstalkd
Periksa status layanan dengan mengeluarkan perintah berikut.
sudo systemctl status beanstalkd
Secara default, beanstalkd
mendengarkan pada port 11300
. Beanstalk menggunakan protokol berbasis teks sederhana yang dijelaskan dalam repositori github-nya . Anda dapat menguji protokolnya dengan menjalankan telnet
.
telnet localhost 11300
Tulis yang berikut dan tekan ENTER.
list-tubes
Anda akan melihat daftar tabung yang tersedia di server:
OK 14
---
- default
Untuk menutup koneksi cukup ketik quit
dan kemudian tekan ENTER.
Tabung di Beanstalk mewakili antrian kerja. Beanstalk pada dasarnya disusun oleh produsen , konsumen , pekerjaan dan tabung . Produsen menempatkan pekerjaan ke dalam tabung untuk dikonsumsi (diproses) oleh sejumlah konsumen. Perhatikan bahwa baik produsen maupun konsumen hanyalah klien dari server Beanstalk dan benar-benar independen satu sama lain. Dalam istilah praktis ini berarti bahwa dengan menggunakan Beanstalk Anda dapat menghasilkan pekerjaan dalam aplikasi PHP Anda dan memprosesnya di aplikasi NodeJS misalnya. Untungnya, Laravel mengabstraksikan semua ini dan memberi kami API yang sangat sederhana untuk mengirim dan menangani pekerjaan, seperti yang akan kita lihat selanjutnya.
Untuk membangun proyek sampel kami, pertama-tama kita perlu menginstal dependensinya. Kami akan menginstal PHP dan Komposer.
sudo apt-get install php php-mbstring php-xml php-common php-zip composer
Sekarang, buat proyek berdasarkan Laravel 5.5.
composer create-project --prefer-dist laravel/laravel vultr "5.5.*"
Selanjutnya cd
ke folder yang baru dibuat. Kami akan bekerja di direktori ini mulai sekarang. Folder ini dapat direferensikan nanti sebagai PROJECT_ROOT
.
cd vultr/
Untuk menggunakan Beanstalk di Laravel kita perlu menginstal satu lagi ketergantungan, klien PHP Beanstalk.
composer require pda/pheanstalk ~3.0
Kita juga perlu membuat representasi Pekerjaan. Di Laravel, ini adalah kelas di dalam app/Jobs
folder. Laravel memiliki perintah konsol untuk membantu kami membuat kelas Pekerjaan. Mari kita ciptakan sampel Job kami.
php artisan make:job FindFavoriteOS
Perbarui app/Jobs/FindFavoriteOS.php
file sebagai berikut.
<?php
namespace App\Jobs;
use Illuminate\Bus\Queueable;
use Illuminate\Queue\SerializesModels;
use Illuminate\Queue\InteractsWithQueue;
use Illuminate\Contracts\Queue\ShouldQueue;
use Illuminate\Foundation\Bus\Dispatchable;
use Illuminate\Support\Facades\Log;
class FindFavoriteOS implements ShouldQueue
{
use Dispatchable, InteractsWithQueue, Queueable, SerializesModels;
/**
* Create a new job instance.
*
* @return void
*/
public function __construct()
{
//
}
/**
* Execute the job.
*
* @return void
*/
public function handle()
{
$rawData = file_get_contents('https://api.vultr.com/v1/os/list');
$list = json_decode($rawData, true);
shuffle($list);
$key = array_rand($list);
$favorite = $list[$key];
Log::info('My Favorite OS is: ' . $favorite['name']);
}
}
Metode pegangan adalah apa yang akan dieksekusi secara efektif ketika pekerjaan dikonsumsi. Di sini, kami mengambil data dari Vultr API, secara acak memilih OS dan menulis OS yang dipilih ke file log. File log terletak di storage/logs/laravel.log
.
Kami telah menginstal Beanstalk dan mendefinisikan Pekerjaan yang akan dijalankan olehnya. Sekarang saatnya memberitahu Laravel untuk menggunakan Beanstalk sebagai antrian pekerjaan default. Salin .env
file default yang disediakan oleh instalasi Laravel.
cp .env.example .env
Sekarang buka .env
file dan perbarui baris di mana driver antrian ditentukan.
QUEUE_DRIVER=beanstalkd
Akhirnya, buat kunci aplikasi.
php artisan key:generate
Kami sekarang siap untuk mengirim pekerjaan ke antrean kerja Beanstalk.
Mengirim pekerjaan di Laravel cukup sederhana. Perbarui routes/web.php
file.
<?php
Route::get('/', function () {
for ($i = 0; $i < 50; $i++) {
\App\Jobs\FindFavoriteOS::dispatch();
}
return '50 Jobs dispatched!';
});
Meskipun tidak direkomendasikan untuk menjalankan server yang disediakan built-in dalam produksi, kami akan menggunakannya di sini demi singkatnya.
php artisan serve --host 0.0.0.0 --port 8000
Sekarang di browser web, navigasikan ke http://[vultr-instance-ip]:8000
. Anda akan melihat pesan berikut.
50 Jobs dispatched!
Buka koneksi SSH baru ke server Anda dan di dalam root proyek kami, jalankan yang berikut ini.
php artisan queue:work --once
Ini adalah output yang diharapkan:
[2018-02-14 00:03:52] Processing: App\Jobs\FindFavoriteOS
[2018-02-14 00:03:53] Processed: App\Jobs\FindFavoriteOS
Konfirmasikan bahwa log telah dibuat.
cat storage/logs/laravel.log
Untuk menghindari perlunya memproses antrian secara manual, kami akan menggunakan supervisord
. Buat konfigurasi program berikut di /etc/supervisor/conf.d/vultr.conf
.
[program:vultr]
process_name=%(program_name)s_%(process_num)02d
command=php [PROJECT_ROOT]/artisan queue:work
autostart=true
autorestart=true
numprocs=8
redirect_stderr=true
stdout_logfile=/var/log/worker.log
Perhatikan bahwa jalur yang benar untuk meletakkan file konfigurasi Supervisor akan tergantung pada pengaturan Anda. Juga, ingatlah untuk mengganti [PROJECT_ROOT]
dengan path lengkap ke PROJECT_ROOT
sistem Anda.
Di sini kami mengonfigurasi Supervisor untuk secara otomatis mulai memproses antrian dan, jika terjadi skrip, untuk memulai kembali. Perhatikan juga bahwa kita tidak membuat satu pekerja tunggal, tetapi 8 proses. Anda bebas untuk instantiate namun banyak proses yang Anda anggap perlu tergantung pada aplikasi Anda.
Untuk memungkinkan Supervisor mengelola pekerja kami, paksakan untuk membaca ulang konfigurasinya.
sudo supervisorctl reread
sudo supervisorctl update
Jika layanan Supervisor belum dimulai, Anda harus memulainya.
sudo systemctl start supervisord
Sekarang mari kita lihat apakah pekerjaan sedang diproses.
tail -f storage/logs/laravel.log
Di browser web, navigasikan ke http://[vultr-instance-ip]:8000
. Anda akan melihat log yang dihasilkan di konsol Anda.
Kami telah berhasil mengonfigurasi aplikasi Laravel untuk menggunakan Beanstalk sebagai antrian kerja. Kami juga mendemonstrasikan cara menggunakan Supervisor untuk mengelola pekerja.
Wawasan tentang 26 Teknik Analisis Data Besar: Bagian 1
Banyak dari Anda tahu Switch keluar pada Maret 2017 dan fitur-fitur barunya. Bagi yang belum tahu, kami sudah menyiapkan daftar fitur yang membuat 'Switch' menjadi 'gadget yang wajib dimiliki'.
Apakah Anda menunggu raksasa teknologi untuk memenuhi janji mereka? periksa apa yang belum terkirim.
Baca blog untuk mengetahui berbagai lapisan dalam Arsitektur Big Data dan fungsinya dengan cara yang paling sederhana.
Baca ini untuk mengetahui bagaimana Kecerdasan Buatan menjadi populer di antara perusahaan skala kecil dan bagaimana hal itu meningkatkan kemungkinan untuk membuat mereka tumbuh dan memberi keunggulan pada pesaing mereka.
CAPTCHA telah berkembang cukup sulit bagi pengguna untuk dipecahkan dalam beberapa tahun terakhir. Apakah itu akan tetap efektif dalam deteksi spam dan bot di masa mendatang?
Saat Sains Berkembang dengan kecepatan tinggi, mengambil alih banyak upaya kita, risiko menundukkan diri kita pada Singularitas yang tidak dapat dijelaskan juga meningkat. Baca, apa arti singularitas bagi kita.
Apa itu telemedicine, perawatan kesehatan jarak jauh dan dampaknya terhadap generasi mendatang? Apakah itu tempat yang bagus atau tidak dalam situasi pandemi? Baca blog untuk menemukan tampilan!
Anda mungkin pernah mendengar bahwa peretas menghasilkan banyak uang, tetapi pernahkah Anda bertanya-tanya bagaimana cara mereka mendapatkan uang sebanyak itu? mari berdiskusi.
Baru-baru ini Apple merilis macOS Catalina 10.15.4 pembaruan suplemen untuk memperbaiki masalah tetapi tampaknya pembaruan menyebabkan lebih banyak masalah yang mengarah ke bricking mesin mac. Baca artikel ini untuk mempelajari lebih lanjut