Gestión de colas de trabajo de Laravel con Beanstalk y Supervisor en Ubuntu 16.04

• Instalar Beanstalk
• Proyecto de muestra
• Despacho y ejecución de trabajos
• Supervisor de configuración
• Conclusión

Beanstalk es una cola de trabajo rápida y simple. Le permite ejecutar tareas que requieren mucho tiempo de forma asíncrona, como enviar correos electrónicos, conectarse a API externas o procesar imágenes. Al hacerlo, reducirá la latencia de su aplicación web. Laravel ofrece soporte inmediato para beanstalkd.

En este tutorial instalaremos beanstalkd, configuraremos una aplicación de demostración de Laravel y administraremos a los trabajadores de la cola a través de Supervisor . La aplicación de demostración obtendrá una lista de sistemas operativos disponibles de la API de Vultr y elegirá uno al azar.

Se supone que ya tiene Supervisor instalado en su sistema. Si no lo hace, debería leer el siguiente tutorial sobre cómo configurar Supervisor: Instalación y configuración de Supervisor en Ubuntu 16.04

También se supone que tiene acceso SSH a su instancia de Vultr.

Instalar Beanstalk

El primer paso a seguir es instalar beanstalkd.

sudo apt-get update
sudo apt-get install beanstalkd

Inicia el servicio.

sudo systemctl start beanstalkd

También puede habilitar el servicio para que se inicie tras la inicialización del sistema.

sudo systemctl enable beanstalkd

Verifique el estado del servicio emitiendo el siguiente comando.

sudo systemctl status beanstalkd

Por defecto, beanstalkdescucha en el puerto 11300. Beanstalk utiliza un protocolo simple basado en texto descrito en su repositorio de github . Puede probar su protocolo ejecutando telnet.

telnet localhost 11300

Escribe lo siguiente y presiona ENTER.

list-tubes

Debería ver una lista de tubos disponibles en el servidor:

OK 14
---
- default

Para cerrar la conexión simplemente escriba quity luego presione ENTER.

Los tubos en Beanstalk representan colas de trabajo. Beanstalk está compuesto básicamente por productores , consumidores , trabajos y tubos . Los productores colocan trabajos en un tubo para ser consumidos (procesados) por cualquier número de consumidores. Tenga en cuenta que tanto los productores como los consumidores son simplemente clientes del servidor Beanstalk y son totalmente independientes entre sí. En términos prácticos, esto significa que al usar Beanstalk puede producir sus trabajos en su aplicación PHP y procesarlos en una aplicación NodeJS, por ejemplo. Afortunadamente, Laravel resume todo esto y nos proporciona una API muy simple para enviar y manejar trabajos, como veremos a continuación.

Proyecto de muestra

Para construir nuestro proyecto de muestra, primero necesitamos instalar sus dependencias. Vamos a instalar PHP y Composer.

sudo apt-get install php php-mbstring php-xml php-common php-zip composer

Ahora, cree el proyecto basado en Laravel 5.5.

composer create-project --prefer-dist laravel/laravel vultr "5.5.*"

Siguiente cden la carpeta creada recientemente. Trabajaremos en este directorio de ahora en adelante. Esta carpeta puede ser referenciada más tarde como PROJECT_ROOT.

cd vultr/

Para usar Beanstalk en Laravel necesitamos instalar una dependencia más, el cliente PHP Beanstalk.

composer require pda/pheanstalk ~3.0

También necesitamos crear una representación de trabajo. En Laravel, esta es una clase dentro de la app/Jobscarpeta. Laravel tiene un comando de consola para ayudarnos a crear una clase de trabajo. Creemos nuestro trabajo de muestra.

php artisan make:job FindFavoriteOS

Actualice el app/Jobs/FindFavoriteOS.phparchivo a lo siguiente.

<?php

namespace App\Jobs;

use Illuminate\Bus\Queueable;
use Illuminate\Queue\SerializesModels;
use Illuminate\Queue\InteractsWithQueue;
use Illuminate\Contracts\Queue\ShouldQueue;
use Illuminate\Foundation\Bus\Dispatchable;
use Illuminate\Support\Facades\Log;

class FindFavoriteOS implements ShouldQueue
{
    use Dispatchable, InteractsWithQueue, Queueable, SerializesModels;

    /**
     * Create a new job instance.
     *
     * @return void
     */
    public function __construct()
    {
        //
    }

    /**
     * Execute the job.
     *
     * @return void
     */
    public function handle()
    {
        $rawData = file_get_contents('https://api.vultr.com/v1/os/list');
        $list = json_decode($rawData, true);
        shuffle($list);
        $key = array_rand($list);
        $favorite = $list[$key];
        Log::info('My Favorite OS is: ' . $favorite['name']);
    }
}

El método de manejo es lo que se ejecutará efectivamente cuando se consuma el trabajo. Aquí, buscamos datos de la API de Vultr, seleccionamos aleatoriamente un sistema operativo y escribimos el sistema operativo elegido en el archivo de registro. El archivo de registro se encuentra en storage/logs/laravel.log.

Ya hemos instalado Beanstalk y hemos definido el trabajo que debe ejecutar. Ahora es el momento de decirle a Laravel que use Beanstalk como la cola de trabajo predeterminada. Copie el .envarchivo predeterminado proporcionado por la instalación de Laravel.

cp .env.example .env

Ahora abra el .envarchivo y actualice la línea donde se especifica el controlador de cola.

QUEUE_DRIVER=beanstalkd

Finalmente, genere una clave de aplicación.

php artisan key:generate

Ahora estamos listos para enviar trabajos a la cola de trabajo de Beanstalk.

Despacho y ejecución de trabajos

Despachar un trabajo en Laravel es bastante simple. Actualiza el routes/web.phparchivo.

<?php

Route::get('/', function () {
    for ($i = 0; $i < 50; $i++) {
        \App\Jobs\FindFavoriteOS::dispatch();
    }

    return '50 Jobs dispatched!';
});

A pesar de que no se recomienda ejecutar el servidor provisto incorporado en producción, lo usaremos aquí por razones de brevedad.

php artisan serve --host 0.0.0.0 --port 8000

Ahora en un navegador web, navegue hasta http://[vultr-instance-ip]:8000. Verá el siguiente mensaje.

50 Jobs dispatched!

Abra una nueva conexión SSH a su servidor y dentro de la raíz de nuestro proyecto, ejecute lo siguiente.

php artisan queue:work --once

Este es el resultado esperado:

[2018-02-14 00:03:52] Processing: App\Jobs\FindFavoriteOS
[2018-02-14 00:03:53] Processed:  App\Jobs\FindFavoriteOS

Confirme que se generó el registro.

cat storage/logs/laravel.log

Supervisor de configuración

Para evitar la necesidad de procesar manualmente la cola, usaremos supervisord. Cree la siguiente configuración de programa en /etc/supervisor/conf.d/vultr.conf.

[program:vultr]
process_name=%(program_name)s_%(process_num)02d
command=php [PROJECT_ROOT]/artisan queue:work
autostart=true
autorestart=true
numprocs=8
redirect_stderr=true
stdout_logfile=/var/log/worker.log

Tenga en cuenta que la ruta correcta para colocar el archivo de configuración de Supervisor dependerá de su configuración. Además, recuerde reemplazar [PROJECT_ROOT]con la ruta completa a PROJECT_ROOTsu sistema.

Aquí estamos configurando Supervisor para comenzar a procesar automáticamente la cola y, en caso de que se rompa el script, reiniciarla. También tenga en cuenta que no estamos creando instancias de un solo trabajador, sino 8 procesos. Puede crear instancias independientemente de los procesos que considere necesarios según su aplicación.

Para permitir que Supervisor administre a nuestro trabajador, forzarlo a releer su configuración.

sudo supervisorctl reread
sudo supervisorctl update

Si el servicio Supervisor no se ha iniciado, es posible que deba iniciarlo.

sudo systemctl start supervisord

Ahora veamos si los trabajos se están procesando.

tail -f storage/logs/laravel.log

En un navegador web, navegue hasta http://[vultr-instance-ip]:8000. Verá los registros que se generan en su consola.

Conclusión

Hemos configurado con éxito una aplicación Laravel para usar Beanstalk como cola de trabajo. Además, demostramos cómo usar Supervisor para administrar a los trabajadores.