Управление рабочими очередями Laravel с Beanstalk и Supervisor в Ubuntu 16.04

• Установка Beanstalk
• Пример проекта
• Диспетчеризация и выполнение заданий
• Настройка супервизора
• Вывод

Beanstalk - это быстрая и простая рабочая очередь. Это позволяет асинхронно выполнять трудоемкие задачи, такие как отправка электронных писем, подключение к внешним API или обработка изображений. Тем самым вы уменьшите время ожидания вашего веб-приложения. Laravel предоставляет готовую поддержку для beanstalkd.

В этом руководстве мы будем устанавливать beanstalkd, настраивать демонстрационное приложение Laravel и управлять работниками очереди через Supervisor . Демонстрационное приложение получит список доступных ОС из API Vultr и выберет одну из них.

Предполагается, что в вашей системе уже установлен Supervisor. Если вы этого не сделаете, вам следует прочитать следующее руководство по настройке Supervisor: Установка и настройка Supervisor в Ubuntu 16.04

Предполагается также, что у вас есть SSH-доступ к вашему экземпляру Vultr.

Установка Beanstalk

Первый шаг - установка beanstalkd.

sudo apt-get update
sudo apt-get install beanstalkd

Запустите сервис.

sudo systemctl start beanstalkd

Вы также можете включить запуск службы после инициализации системы.

sudo systemctl enable beanstalkd

Проверьте статус службы, введя следующую команду.

sudo systemctl status beanstalkd

По умолчанию beanstalkdпрослушивает порт 11300. Beanstalk использует простой текстовый протокол, описанный в репозитории github . Вы можете проверить его протокол, запустив telnet.

telnet localhost 11300

Напишите следующее и нажмите ENTER.

list-tubes

Вы должны увидеть список доступных трубок на сервере:

OK 14
---
- default

Чтобы закрыть соединение, просто введите quitи нажмите ENTER.

Трубы в Beanstalk представляют рабочие очереди. Beanstalk состоит в основном из производителей , потребителей , рабочих мест и труб . Производители помещают рабочие места в трубу для потребления (обработки) любым числом потребителей. Обратите внимание, что как производители, так и потребители являются просто клиентами сервера Beanstalk и полностью независимы друг от друга. С практической точки зрения это означает, что с помощью Beanstalk вы можете создавать свои задания в своем приложении PHP и обрабатывать их, например, в приложении NodeJS. К счастью, Laravel абстрагирует все это и предоставляет нам очень простой API для распределения и обработки заданий, как мы увидим дальше.

Пример проекта

Чтобы построить наш пример проекта, нам сначала нужно установить его зависимости. Мы собираемся установить PHP и Composer.

sudo apt-get install php php-mbstring php-xml php-common php-zip composer

Теперь создайте проект на основе Laravel 5.5.

composer create-project --prefer-dist laravel/laravel vultr "5.5.*"

Далее cdв недавно созданную папку. С этого момента мы будем работать в этом каталоге. На эту папку можно ссылаться позже как PROJECT_ROOT.

cd vultr/

Чтобы использовать Beanstalk в Laravel, нам нужно установить еще одну зависимость, клиент PHP Beanstalk.

composer require pda/pheanstalk ~3.0

Нам также необходимо создать представление о работе. В Laravel это класс внутри app/Jobsпапки. У Laravel есть консольная команда, чтобы помочь нам создать класс Job. Давайте создадим наш образец работы.

php artisan make:job FindFavoriteOS

Обновите app/Jobs/FindFavoriteOS.phpфайл до следующего.

<?php

namespace App\Jobs;

use Illuminate\Bus\Queueable;
use Illuminate\Queue\SerializesModels;
use Illuminate\Queue\InteractsWithQueue;
use Illuminate\Contracts\Queue\ShouldQueue;
use Illuminate\Foundation\Bus\Dispatchable;
use Illuminate\Support\Facades\Log;

class FindFavoriteOS implements ShouldQueue
{
    use Dispatchable, InteractsWithQueue, Queueable, SerializesModels;

    /**
     * Create a new job instance.
     *
     * @return void
     */
    public function __construct()
    {
        //
    }

    /**
     * Execute the job.
     *
     * @return void
     */
    public function handle()
    {
        $rawData = file_get_contents('https://api.vultr.com/v1/os/list');
        $list = json_decode($rawData, true);
        shuffle($list);
        $key = array_rand($list);
        $favorite = $list[$key];
        Log::info('My Favorite OS is: ' . $favorite['name']);
    }
}

Метод handle - это то, что будет эффективно выполняться при использовании задания. Здесь мы выбираем данные из API Vultr, случайным образом выбираем ОС и записываем выбранную ОС в файл журнала. Файл журнала находится по адресу storage/logs/laravel.log.

Мы уже установили Beanstalk и определили задание, которое должно быть им выполнено. Теперь пришло время сказать Laravel использовать Beanstalk в качестве рабочей очереди по умолчанию. Скопируйте .envфайл по умолчанию, предоставленный установкой Laravel.

cp .env.example .env

Теперь откройте .envфайл и обновите строку, где указан драйвер очереди.

QUEUE_DRIVER=beanstalkd

Наконец, сгенерируйте ключ приложения.

php artisan key:generate

Теперь мы готовы отправлять задания в очередь работ Beanstalk.

Диспетчеризация и выполнение заданий

Распределить работу в Laravel довольно просто. Обновите routes/web.phpфайл.

<?php

Route::get('/', function () {
    for ($i = 0; $i < 50; $i++) {
        \App\Jobs\FindFavoriteOS::dispatch();
    }

    return '50 Jobs dispatched!';
});

Несмотря на то, что не рекомендуется запускать встроенный сервер в производство, мы будем использовать его здесь для краткости.

php artisan serve --host 0.0.0.0 --port 8000

Теперь в веб-браузере перейдите к http://[vultr-instance-ip]:8000. Вы увидите следующее сообщение.

50 Jobs dispatched!

Откройте новое SSH-соединение с вашим сервером и внутри корня нашего проекта выполните следующее.

php artisan queue:work --once

Это ожидаемый результат:

[2018-02-14 00:03:52] Processing: App\Jobs\FindFavoriteOS
[2018-02-14 00:03:53] Processed:  App\Jobs\FindFavoriteOS

Убедитесь, что журнал был создан.

cat storage/logs/laravel.log

Настройка супервизора

Чтобы избежать необходимости вручную обрабатывать очередь, мы будем использовать supervisord. Создайте следующую конфигурацию программы в /etc/supervisor/conf.d/vultr.conf.

[program:vultr]
process_name=%(program_name)s_%(process_num)02d
command=php [PROJECT_ROOT]/artisan queue:work
autostart=true
autorestart=true
numprocs=8
redirect_stderr=true
stdout_logfile=/var/log/worker.log

Обратите внимание, что правильный путь для размещения файла конфигурации Supervisor будет зависеть от ваших настроек. Также не забудьте заменить [PROJECT_ROOT]на полный путь к PROJECT_ROOTвашей системе.

Здесь мы настраиваем Supervisor для автоматического запуска обработки очереди и, в случае разрыва скрипта, для ее перезапуска. Также обратите внимание, что мы создаем не один рабочий процесс, а 8 процессов. Вы можете свободно создавать множество процессов, которые сочтете необходимыми в зависимости от вашего приложения.

Чтобы Supervisor управлял нашим работником, заставьте его перечитать свою конфигурацию.

sudo supervisorctl reread
sudo supervisorctl update

Если служба Supervisor не была запущена, вам нужно ее запустить.

sudo systemctl start supervisord

Теперь давайте посмотрим, обрабатываются ли задания.

tail -f storage/logs/laravel.log

В веб-браузере перейдите к http://[vultr-instance-ip]:8000. Вы увидите журналы, генерируемые на вашей консоли.

Вывод

Мы успешно настроили приложение Laravel для использования Beanstalk в качестве рабочей очереди. Также мы продемонстрировали, как использовать Supervisor для управления работниками.