Verwalten von Laravel-Arbeitswarteschlangen mit Beanstalk und Supervisor unter Ubuntu 16.04

• Beanstalk installieren
• Beispielprojekt
• Jobs verteilen und ausführen
• Supervisor konfigurieren
• Fazit

Beanstalk ist eine schnelle und einfache Arbeitswarteschlange. Sie können zeitaufwändige Aufgaben asynchron ausführen, z. B. E-Mails senden, eine Verbindung zu externen APIs herstellen oder Bilder verarbeiten. Auf diese Weise reduzieren Sie die Latenz Ihrer Web-App. Laravel bietet sofort einsatzbereiten Support für beanstalkd.

In diesem Tutorial werden wir beanstalkdeine Demo-Laravel-Anwendung installieren , einrichten und die Warteschlangenarbeiter über Supervisor verwalten . Die Demo-Anwendung erhält eine Liste der verfügbaren Betriebssysteme von der Vultr-API und wählt zufällig eines aus.

Es wird davon ausgegangen, dass Sie Supervisor bereits auf Ihrem System installiert haben. Wenn Sie dies nicht tun, sollten Sie das folgende Tutorial zum Einrichten von Supervisor lesen: Installieren und Konfigurieren von Supervisor unter Ubuntu 16.04

Es wird auch davon ausgegangen, dass Sie SSH-Zugriff auf Ihre Vultr-Instanz haben.

Beanstalk installieren

Der erste Schritt ist die Installation beanstalkd.

sudo apt-get update
sudo apt-get install beanstalkd

Starten Sie den Dienst.

sudo systemctl start beanstalkd

Sie können den Dienst auch aktivieren, wenn er bei der Systeminitialisierung gestartet wird.

sudo systemctl enable beanstalkd

Überprüfen Sie den Servicestatus, indem Sie den folgenden Befehl eingeben.

sudo systemctl status beanstalkd

Lauscht standardmäßig beanstalkdauf den Port 11300. Beanstalk verwendet ein einfaches textbasiertes Protokoll, das im Github-Repository beschrieben ist . Sie können das Protokoll testen, indem Sie es ausführen telnet.

telnet localhost 11300

Schreiben Sie Folgendes und drücken Sie ENTER.

list-tubes

Sie sollten eine Liste der auf dem Server verfügbaren Röhren sehen:

OK 14
---
- default

Um die Verbindung zu schließen, geben Sie einfach ein quitund drücken Sie dann ENTER.

Röhren in Beanstalk repräsentieren Arbeitswarteschlangen. Bohnenstange besteht hauptsächlich aus Produzenten , Verbrauchern , Arbeitsplätzen und Röhren . Die Produzenten geben Aufträge in eine Röhre, die von einer beliebigen Anzahl von Verbrauchern konsumiert (verarbeitet) werden soll. Beachten Sie, dass sowohl Hersteller als auch Verbraucher lediglich Clients des Beanstalk-Servers sind und völlig unabhängig voneinander sind. In der Praxis bedeutet dies, dass Sie mit Beanstalk Ihre Jobs in Ihrer PHP-Anwendung erstellen und beispielsweise in einer NodeJS-App verarbeiten lassen können. Glücklicherweise abstrahiert Laravel all dies und bietet uns eine sehr einfache API zum Versenden und Bearbeiten von Jobs, wie wir als nächstes sehen werden.

Beispielprojekt

Um unser Beispielprojekt zu erstellen, müssen wir zuerst seine Abhängigkeiten installieren. Wir werden PHP und Composer installieren.

sudo apt-get install php php-mbstring php-xml php-common php-zip composer

Erstellen Sie nun das Projekt basierend auf Laravel 5.5.

composer create-project --prefer-dist laravel/laravel vultr "5.5.*"

Weiter cdin den kürzlich erstellten Ordner. Wir werden von nun an in diesem Verzeichnis arbeiten. Auf diesen Ordner kann später als verwiesen werden PROJECT_ROOT.

cd vultr/

Um Beanstalk in Laravel verwenden zu können, müssen wir eine weitere Abhängigkeit installieren, den PHP Beanstalk-Client.

composer require pda/pheanstalk ~3.0

Wir müssen auch eine Jobrepräsentation erstellen. In Laravel ist dies eine Klasse im app/JobsOrdner. Laravel verfügt über einen Konsolenbefehl, mit dem wir eine Jobklasse erstellen können. Lassen Sie uns unseren Beispieljob erstellen.

php artisan make:job FindFavoriteOS

Aktualisieren Sie die app/Jobs/FindFavoriteOS.phpDatei wie folgt.

<?php

namespace App\Jobs;

use Illuminate\Bus\Queueable;
use Illuminate\Queue\SerializesModels;
use Illuminate\Queue\InteractsWithQueue;
use Illuminate\Contracts\Queue\ShouldQueue;
use Illuminate\Foundation\Bus\Dispatchable;
use Illuminate\Support\Facades\Log;

class FindFavoriteOS implements ShouldQueue
{
    use Dispatchable, InteractsWithQueue, Queueable, SerializesModels;

    /**
     * Create a new job instance.
     *
     * @return void
     */
    public function __construct()
    {
        //
    }

    /**
     * Execute the job.
     *
     * @return void
     */
    public function handle()
    {
        $rawData = file_get_contents('https://api.vultr.com/v1/os/list');
        $list = json_decode($rawData, true);
        shuffle($list);
        $key = array_rand($list);
        $favorite = $list[$key];
        Log::info('My Favorite OS is: ' . $favorite['name']);
    }
}

Die Handle-Methode wird effektiv ausgeführt, wenn der Job verbraucht wird. Hier rufen wir Daten von der Vultr-API ab, wählen zufällig ein Betriebssystem aus und schreiben das ausgewählte Betriebssystem in die Protokolldatei. Die Protokolldatei befindet sich unter storage/logs/laravel.log.

Wir haben Beanstalk bereits installiert und den Job definiert, der von ihm ausgeführt werden soll. Jetzt ist es an der Zeit, Laravel anzuweisen, Beanstalk als Standardarbeitswarteschlange zu verwenden. Kopieren Sie die .envvon der Laravel-Installation bereitgestellte Standarddatei .

cp .env.example .env

Öffnen Sie nun die .envDatei und aktualisieren Sie die Zeile, in der der Warteschlangentreiber angegeben ist.

QUEUE_DRIVER=beanstalkd

Generieren Sie abschließend einen Anwendungsschlüssel.

php artisan key:generate

Wir sind jetzt bereit, Aufträge an die Beanstalk-Arbeitswarteschlange zu senden.

Jobs verteilen und ausführen

Einen Job in Laravel zu erledigen ist ganz einfach. Aktualisieren Sie die routes/web.phpDatei.

<?php

Route::get('/', function () {
    for ($i = 0; $i < 50; $i++) {
        \App\Jobs\FindFavoriteOS::dispatch();
    }

    return '50 Jobs dispatched!';
});

Obwohl nicht empfohlen wird, den eingebauten Server in der Produktion auszuführen, werden wir ihn der Kürze halber hier verwenden.

php artisan serve --host 0.0.0.0 --port 8000

Navigieren Sie nun in einem Webbrowser zu http://[vultr-instance-ip]:8000. Sie sehen die folgende Meldung.

50 Jobs dispatched!

Öffnen Sie eine neue SSH-Verbindung zu Ihrem Server und führen Sie in unserem Projektstamm Folgendes aus.

php artisan queue:work --once

Dies ist die erwartete Ausgabe:

[2018-02-14 00:03:52] Processing: App\Jobs\FindFavoriteOS
[2018-02-14 00:03:53] Processed:  App\Jobs\FindFavoriteOS

Bestätigen Sie, dass das Protokoll erstellt wurde.

cat storage/logs/laravel.log

Supervisor konfigurieren

Um zu vermeiden, dass die Warteschlange manuell verarbeitet werden muss, verwenden wir supervisord. Erstellen Sie die folgende Programmkonfiguration in /etc/supervisor/conf.d/vultr.conf.

[program:vultr]
process_name=%(program_name)s_%(process_num)02d
command=php [PROJECT_ROOT]/artisan queue:work
autostart=true
autorestart=true
numprocs=8
redirect_stderr=true
stdout_logfile=/var/log/worker.log

Beachten Sie, dass der richtige Pfad zum Ablegen der Supervisor-Konfigurationsdatei von Ihrem Setup abhängt. Denken Sie auch daran, durch [PROJECT_ROOT]den vollständigen Pfad zu PROJECT_ROOTauf Ihrem System zu ersetzen .

Hier konfigurieren wir Supervisor so, dass die Warteschlange automatisch verarbeitet und im Falle eines Skriptbruchs neu gestartet wird. Beachten Sie auch, dass wir nicht einen einzelnen Mitarbeiter instanziieren, sondern 8 Prozesse. Sie können je nach Anwendung beliebig viele Prozesse instanziieren, die Sie für erforderlich halten.

Damit Supervisor unseren Mitarbeiter verwalten kann, müssen Sie ihn zwingen, seine Konfiguration erneut zu lesen.

sudo supervisorctl reread
sudo supervisorctl update

Wenn der Supervisor-Dienst nicht gestartet wurde, müssen Sie ihn häufig starten.

sudo systemctl start supervisord

Nun wollen wir sehen, ob die Jobs verarbeitet werden.

tail -f storage/logs/laravel.log

Navigieren Sie in einem Webbrowser zu http://[vultr-instance-ip]:8000. Sie sehen die Protokolle, die auf Ihrer Konsole generiert werden.

Fazit

Wir haben eine Laravel-Anwendung erfolgreich so konfiguriert, dass Beanstalk als Arbeitswarteschlange verwendet wird. Außerdem haben wir gezeigt, wie Supervisor zum Verwalten von Mitarbeitern verwendet wird.