Cum se instalează și se configurează Buildbot pe CentOS 7

• Cerințe preliminare
• Instalați Dependențele Python
• Instalați PostgreSQL
• Instalați Buildbot
• Configurați Master Buildbot
• Configurați WorkBot Worker
• Configurarea serviciului Systemd
• Activarea autentificării
• Securizarea Buildbot cu Let's Encrypt SSL

Buildbot este un instrument open source, bazat pe Python, integrare continuă pentru automatizarea construirii, testării și implementării de software. Buildbot constă dintr-unul sau mai mulți maestri Buildbot și un număr de lucrători. Buildbot master sau Buildmaster are comanda centrală a sistemului. Este responsabil pentru gestionarea mediului construit, a lucrătorilor și ia toate deciziile privind trimiterea de locuri de muncă lucrătorilor. Buildmaster detectează modificările din depozitul de coduri și trimite comenzile sau joburile pentru a le executa. Muncitorii execută lucrările și returnează rezultatul la Buildmaster. Buildmaster notifică apoi dezvoltatorii prin mai multe canale acceptate. În acest tutorial, vom instala Buildbot master și lucrător pe CentOS 7. De asemenea, vom configura autentificarea și Nginx ca un proxy invers securizat.

Cerințe preliminare

• O instanță a serverului Vultr CentOS 7 cu cel puțin 1 GB RAM.
• Un utilizator sudo .
• Un nume de domeniu înregistrat îndreptat către server.

Pentru acest tutorial, vom folosi 192.168.1.1ca adresă IP publică și ci.example.comca nume de domeniu indicat spre instanța Vultr. Vă rugăm să vă asigurați că înlocuiți toate aparițiile numelui de domeniu și adresa IP de exemplu cu una reală.

Actualizați-vă sistemul de bază utilizând ghidul Cum actualizați CentOS 7 . După ce sistemul dvs. a fost actualizat, continuați să instalați PostgreSQL.

Instalați Dependențele Python

Instalați Pip, care este un manager de pachete pentru Python.

sudo yum -y install epel-release
sudo yum -y install python-pip gcc python-devel git
sudo pip install --upgrade pip

Instalați PostgreSQL

Buildbot acceptă mai multe tipuri de servere de baze de date, cum ar fi MySQL, PostgreSQL și SQLite. În acest tutorial, vom folosi PostgreSQL pentru a găzdui serverul de baze de date Buildbot.

PostgreSQL este un sistem de baze de date relațional cu obiecte, cunoscut pentru stabilitatea și viteza sa. Depozitul implicit yumconține o versiune veche a PostgreSQL, deci adăugați depozitul PostgreSQL.

sudo yum -y install https://download.postgresql.org/pub/repos/yum/10/redhat/rhel-7-x86_64/pgdg-centos10-10-1.noarch.rpm

Instalați serverul de baze de date PostgreSQL.

sudo yum -y install postgresql10-server postgresql10-contrib postgresql10 

Inițializează baza de date.

sudo /usr/pgsql-10/bin/postgresql-10-setup initdb

Porniți serverul PostgreSQL și permiteți-l să pornească automat la momentul de pornire.

sudo systemctl start postgresql-10
sudo systemctl enable postgresql-10

Modificați parola pentru utilizatorul implicit PostgreSQL.

sudo passwd postgres

Conectați-vă ca utilizator PostgreSQL.

sudo su - postgres

Creați un nou utilizator PostgreSQL pentru Buildbot.

createuser bb_user

Puteți utiliza orice nume de utilizator în loc de bb_user, dacă doriți. PostgreSQL oferă psqlshell - ul pentru a rula interogări pe baza de date. Comutați la shell-ul PostgreSQL.

psql

Setați o parolă pentru utilizatorul nou creat.

ALTER USER bb_user WITH ENCRYPTED password 'DBPassword';

Înlocuiți DBPasswordcu o parolă sigură.

Creați o nouă bază de date pentru instalarea Buildbot.

CREATE DATABASE buildbot OWNER bb_user;

Ieșiți din psqlcoajă.

\q

Comutați la sudoutilizator.

exit

Editați pg_hba.conffișierul pentru a activa autentificarea bazată pe MD5.

sudo nano /var/lib/pgsql/10/data/pg_hba.conf

Găsiți următoarele linii și modificați valorile peerși ident, în METHODcoloană, la trustși md5, respectiv.

# TYPE  DATABASE        USER            ADDRESS                 METHOD

# "local" is for Unix domain socket connections only
local   all             all                                     peer
# IPv4 local connections:
host    all             all             127.0.0.1/32            ident
# IPv6 local connections:
host    all             all             ::1/128                 ident

Odată actualizat, configurația va arăta ca următorul text.

# TYPE  DATABASE        USER            ADDRESS                 METHOD

# "local" is for Unix domain socket connections only
local   all             all                                     trust
# IPv4 local connections:
host    all             all             127.0.0.1/32            md5
# IPv6 local connections:
host    all             all             ::1/128                 md5

Salvați fișierul și ieșiți din editor. Instalați adaptorul de baze de date PostgreSQL pentru Python.

sudo pip install psycopg2

Reporniți PostgreSQL pentru ca modificările să aibă efect.

sudo systemctl restart postgresql-10

Instalați Buildbot

Instalați Buildbot folosind Pip.

sudo pip install 'buildbot[bundle]' pyopenssl service_identity

Comanda de mai sus se va instala Buildbot , împreună cu buildbot-www, buildbot-workerși mai multe plugin - uri web , cum ar fi buildbot-waterfall-view.

Pentru a vă asigura că Buildbot a fost instalat cu succes, puteți verifica verificând versiunea Buildbot.

buildbot --version

Ieșirea ar trebui să semene cu următorul text.

[user@vultr ~]$ buildbot --version
Buildbot version: 0.9.15.post1
Twisted version: 17.9.0

Modificați regulile firewallului pentru a permite portul 8010. Buildbot utilizează acest port pentru a asculta solicitările web.

sudo firewall-cmd --zone=public --add-port=8010/tcp --permanent
sudo firewall-cmd --reload

Configurați Master Buildbot

Creați un nou utilizator neprivitat pentru a rula procesele Masterb și Buildbot. Nu este recomandat să executați servicii master Buildbot ca rootutilizator.

sudo adduser buildbot
sudo passwd buildbot

Conectați-vă ca buildbotutilizator nou creat .

sudo su - buildbot

Configurați maestrul Buildbot în /home/buildbot/masterdirector. Acest director va conține fișierele de configurare, stare și jurnal pentru fiecare compilare.

buildbot create-master --db 'postgresql://bb_user:DBPassword@localhost/buildbot' ~/master

Asigurați-vă că înlocuiți datele de acreditare ale utilizatorului bazei de date din comanda de mai sus.

Notă: Dacă doriți să utilizați baza de date SQLite în loc de PostgreSQL, omiteți pur și simplu --db 'postgresql://bb_user:DBpassword@localhost/buildbot'opțiunea. Baza de date SQLite va fi creată în același director.

Comanda de mai sus va crea ~/masterdirectorul pentru a stoca fișierele Buildmaster. De asemenea, va scrie datele în baza de date PostgreSQL. Veți obține următoarea ieșire.

[buildbot@vultr ~]$ buildbot create-master --db 'postgresql://bb_user:DBPassword@localhost/buildbot' ~/master
mkdir /home/buildbot/master
creating /home/buildbot/master/master.cfg.sample
creating database (postgresql://bb_user:DBPassword@localhost/buildbot)
buildmaster configured in /home/buildbot/master

Copiați fișierul de configurare de exemplu într-un fișier de configurare live.

cp ~/master/master.cfg.sample ~/master/master.cfg

Editați fișierul de configurare.

nano ~/master/master.cfg

Găsiți următoarele rânduri.

c['workers'] = [worker.Worker("example-worker", "pass")]
...

c['builders'].append(
    util.BuilderConfig(name="runtests",
      workernames=["example-worker"],
      factory=factory))
...

c['title'] = "Hello World CI"
c['titleURL'] = "https://buildbot.github.io/hello-world/"
...

c['buildbotURL'] = "http://localhost:8010/"
...

c['db'] = {
    'db_url' : "postgresql://bb_user:DBpassword@localhost/buildbot",
}

Configurația de mai sus are o intrare pentru un lucrător de probă. Vom modifica intrarea eșantionului pentru lucrătorul pe care îl vom executa localhost. Schimbați example-workerla orice nume potrivit pentru localhostlucrător și schimbați- passo în altă parolă. Faceți o notă despre numele și parola lucrătorului, deoarece vom solicita acest lucru mai târziu în tutorial. Schimbați numele lucrătorului din lista constructorilor. Schimbați numele aplicației și adresa URL a proiectului în funcție de nevoile dvs.

Modificați URL-ul Buildbot din localhostnumele de domeniu real sau adresa IP publică. De asemenea, verificați dacă informațiile din baza de date din fișierul de configurare se potrivesc cu datele dvs. reale ale bazei de date.

La sfârșitul fișierului, adăugați c['buildbotNetUsageData'] = None. Acest parametru va dezactiva trimiterea dezvoltatorilor informații despre versiunea software și detalii despre utilizarea pluginului. Cu toate acestea, pentru a permite trimiterea informațiilor despre utilizări, schimbați opțiunea la Full.

Configurația ar trebui să arate ca textul următor.

c['workers'] = [worker.Worker("localhost-worker", "Password123")]
...    

c['builders'].append(
    util.BuilderConfig(name="runtests",
      workernames=["localhost-worker"],
      factory=factory))
...

c['title'] = "My Application CI"
c['titleURL'] = "https://example.com/my-app"
...

c['buildbotURL'] = "http://192.168.1.1:8010/"
...

c['db'] = {
    'db_url' : "postgresql://bb_user:DBpassword@localhost/buildbot",
}
...

c['buildbotNetUsageData'] = None

Salvați fișierul și ieșiți din editor. Verificați erorile din fișierul de configurare.

buildbot checkconfig ~/master

Dacă fișierul de configurare nu are erori, veți vedea rezultatele următoare.

[buildbot@vultr ~]$ buildbot checkconfig ~/master
Config file is good!

Acum că totul este configurat corect, puteți porni masterul Buildbot.

buildbot start ~/master

Veți vedea următoarea ieșire.

[buildbot@vultr ~]$ buildbot start ~/master
Following twistd.log until startup finished..
The buildmaster appears to have (re)started correctly.

După ce masterul Buildbot a început corect, interfața utilizator web este accesibilă la http://192.168.1.1:8010. Ar trebui să vedeți următoarea interfață Buildbot.

Configurați WorkBot Worker

Deoarece am modificat deja configurația lucrătorului în ~/master/master.cfg, putem proceda la crearea unui nou lucrător.

buildbot-worker create-worker ~/worker localhost localhost-worker Password123

Asigurați-vă că utilizați exact același nume și parolă al lucrătorului, așa cum este menționat în ~/master/master.cfgfișier. Dacă există o nepotrivire a numelui sau a parolei lucrătorului, lucrătorul nu se va putea conecta la masterul Buildbot. La executarea cu succes, veți vedea următoarea ieșire.

[buildbot@vultr ~]$ buildbot-worker create-worker ~/worker localhost example-worker pass
mkdir /home/buildbot/worker
mkdir /home/buildbot/worker/info
Creating info/admin, you need to edit it appropriately.
Creating info/host, you need to edit it appropriately.
Not creating info/access_uri - add it if you wish
Please edit the files in /home/buildbot/worker/info appropriately.
worker configured in /home/buildbot/worker

Informațiile despre lucrător sunt stocate în /infodirector. Editați informațiile administrative despre dezvoltator.

nano ~/worker/info/admin

Înlocuiți numele de exemplu cu numele și e-mailul dvs. real.

Your Name <[email protected]>

Acum, deschideți fișierul care conține informații despre gazdă.

nano ~/worker/info/host

Înlocuiți instrucțiunea de exemplu cu informațiile reale despre sistemul gazdă.

Localhost, CentOS 7

Informațiile de administrare și gazdă ale lucrătorului sunt utilizate doar pentru a le informa utilizatorilor despre sistem. Puteți adăuga, de asemenea, informații suplimentare despre sistem, cum ar fi versiunea Buildbot și versiunea Twisted.

Porniți lucrătorul.

buildbot-worker start ~/worker

Rezultatul va arăta ca următorul text.

[buildbot@vultr ~]$ buildbot-worker start ~/worker
Following twistd.log until startup finished..
The buildbot-worker appears to have (re)started correctly.

Pentru a verifica dacă lucrătorul este înregistrat, îndreptați-vă către interfața web a Buildbot și navigați spre navigarea Builds >> Workersdin stânga. Ar trebui să vedeți că lucrătorul este pregătit și pregătit să construiască.

Pentru a rula un exemplu de construire, pentru a verifica dacă lucrătorul Buildbot funcționează cu succes, navigați la Builds >> Builders. Faceți clic pe runtestsnumele constructorului pentru a deschide interfața constructorului și faceți clic pe Forcebuton pentru a forța o compilare. Furnizați-vă numele și faceți clic pe Start Buildbuton pentru a începe construirea. Întrucât este un test de compilare a probelor pentru a verifica mediul Buildbot, se va termina în câteva secunde. Veți primi un mesaj de succes și rezultatul construit.

Configurarea serviciului Systemd

Deși Masterb Buildbot și lucrătorul pot fi ușor porniți folosind comenzile de mai sus, se recomandă utilizarea unităților Systemd pentru a rula și gestiona serviciile Buildbot. Acest lucru va asigura că acestea sunt pornite automat la repornirea sistemului și eșecurile.

Notă: Comutați din sudonou la utilizator, executând oricare exitsau su <username>. De acum înainte, toate comenzile trebuie să fie executate de sudoutilizator.

Opriți funcționarea Buildbot și serviciul principal.

sudo su buildbot -c "buildbot stop /home/buildbot/master" 
sudo su buildbot -c "buildbot-worker stop ~/worker"

Creați un nou fișier unitate Systemd pentru masterul Buildbot.

sudo nano /etc/systemd/system/buildbot.service

Populați fișierul.

[Unit]
Description=BuildBot master service 
After=network.target

[Service]
Type=forking
User=buildbot 
Group=buildbot 
WorkingDirectory=/home/buildbot/master 
ExecStart=/usr/bin/buildbot start
ExecStop=/usr/bin/buildbot stop
ExecReload=/usr/bin/buildbot restart

[Install]
WantedBy=multi-user.target

Porniți masterul Buildbot și permiteți-l să pornească automat la momentul de pornire.

sudo systemctl start buildbot
sudo systemctl enable buildbot

Creați un nou fișier de unitate Systemd pentru lucrătorul Buildbot.

sudo nano /etc/systemd/system/buildbot-worker.service

Populați fișierul.

[Unit]
Description=BuildBot worker service
After=network.target

[Service]
Type=forking
User=buildbot
Group=buildbot
WorkingDirectory=/home/buildbot/worker
ExecStart=/usr/bin/buildbot-worker start
ExecStop=/usr/bin/buildbot-worker stop
ExecReload=/usr/bin/buildbot-worker restart

[Install]
WantedBy=multi-user.target

Porniți Buildbot lucrător și permiteți-l să pornească automat la momentul de pornire.

sudo systemctl start buildbot-worker
sudo systemctl enable buildbot-worker

Puteți verifica starea serviciilor.

sudo systemctl status buildbot buildbot-worker

Dacă serviciile funcționează fără probleme, veți vedea asta în ieșire.

[user@vultr ~]$ sudo systemctl status buildbot buildbot-worker
● buildbot.service - BuildBot master service
...
Active: active (running) since Fri 2018-01-12 16:00:59 UTC; 1min 25s ago
...
Jan 12 16:00:59 vultr.guest systemd[1]: Started BuildBot master service.

● buildbot-worker.service - BuildBot worker service
...
Active: active (running) since Fri 2018-01-12 16:02:00 UTC; 24s ago
...
Jan 12 16:02:00 vultr.guest systemd[1]: Started BuildBot worker service.

Activarea autentificării

În mod implicit, autentificarea nu este activată în interfața web Buildbot. Pentru site-urile cu care se confruntă internet, este recomandat să configurați autentificarea, astfel încât numai utilizatorii autorizați să poată avea capacitatea de a efectua sarcini administrative. Pentru a configura autentificarea, redeschideți fișierul de configurare master Buildbot.

sudo su buildbot -c "nano /home/buildbot/master/master.cfg"

Adăugați următoarele linii la sfârșitul fișierului.

c['www']['authz'] = util.Authz(
       allowRules = [
           util.AnyEndpointMatcher(role="admins")
       ],
       roleMatchers = [
           util.RolesFromUsername(roles=['admins'], usernames=['admin_user'])
       ]
)
c['www']['auth'] = util.UserPasswordAuth({'admin_user': 'AdminPassword'})

Înlocuiți ambele evenimente admin_usercu numele de utilizator real pe care doriți să îl utilizați și AdminPasswordcu o parolă puternică.

Verificați dacă există erori în fișierul de configurare.

sudo su buildbot -c "buildbot checkconfig /home/buildbot/master"

Reporniți serviciul principal Buildbot pentru ca modificările să aibă efect.

sudo systemctl restart buildbot

Căutați din nou pe interfața web pentru a vedea că utilizatorii anonimi pot vizualiza doar detaliile de bază despre serverul de construire. Acum, conectați-vă folosind datele de autentificare setate în master.cfgfișier și veți vedea că toate celelalte funcții administrative sunt disponibile numai pentru utilizatorul admin.

Securizarea Buildbot cu Let's Encrypt SSL

În mod implicit, Buildbot ascultă portul 8010în conexiunile nesecurizate. Securizarea interfeței cu Web HTTPSeste recomandată pentru a vă asigura că datele sunt sigure în timpul transportului de pe browser la server. În această secțiune a tutorialului, vom instala și securiza Nginx cu ajutorul modelelor Let's Encrypt SSL gratuite. Serverul web Nginx va funcționa ca un proxy invers pentru a trimite solicitările primite către punctul final HTTP al Buildbot.

Instalați Nginx.

sudo yum -y install nginx

Porniți Nginx și permiteți-l să pornească automat la momentul de pornire.

sudo systemctl start nginx
sudo systemctl enable nginx

Instalați Certbot, care este aplicația client pentru Let's Encrypt CA.

sudo yum -y install certbot

Înainte de a putea solicita certificatele, va trebui să permită porturilor 80și 443sau a unui standard HTTPși HTTPSservicii prin intermediul firewall. De asemenea, eliminați portul 8010, care ascultă conexiunile nesecurizate.

sudo firewall-cmd --zone=public --add-service=http --permanent
sudo firewall-cmd --zone=public --add-service=https --permanent
sudo firewall-cmd --zone=public --remove-port=8010/tcp --permanent
sudo firewall-cmd --reload

Notă: Pentru a obține certificate de la Let's Encrypt CA, domeniul pentru care se vor genera certificatele trebuie îndreptat către server. Dacă nu, faceți modificările necesare în înregistrările DNS ale domeniului și așteptați propagarea DNS înainte de a face din nou cererea de certificare. Certbot verifică autoritatea domeniului înainte de furnizarea certificatelor.

Generați certificatele SSL.

sudo certbot certonly --webroot -w /usr/share/nginx/html -d ci.example.com

Este posibil ca certificatele generate să fie stocate în /etc/letsencrypt/live/ci.example.com/director. Certificatul SSL va fi stocate ca fullchain.pemși cheia privată vor fi stocate ca privkey.pem.

Să criptăm certificatele să expire în 90 de zile, de aceea este recomandat să configurați reînnoirea automată a certificatelor folosind joburi Cron.

Deschideți fișierul cron job pentru rootutilizator.

sudo crontab -e

Adăugați următoarea linie la sfârșitul fișierului.

30 5 * * * /usr/bin/certbot renew --quiet

Slujba cron de mai sus va rula în fiecare zi la 5:30 AM. În cazul în care certificatul expiră, acesta le va reînnoi automat.

Acum, schimbați fișierul de configurare implicit Nginx pentru a scoate default_serverlinia.

sudo sed -i 's/default_server//g' /etc/nginx/nginx.conf

Creați un nou fișier de configurare pentru interfața web Buildbot.

sudo nano /etc/nginx/conf.d/buildbot.conf

Populați fișierul.

upstream buildbot {
server 127.0.0.1:8010;
}

server {
    listen 80 default_server;
    server_name ci.example.com;
    return 301 https://$host$request_uri;
}

server {
    listen 443 ssl http2 default_server;
    server_name ci.example.com;

    root html;
    index index.html index.htm;

    ssl on;
    ssl_certificate         /etc/letsencrypt/live/ci.example.com/fullchain.pem;
    ssl_certificate_key     /etc/letsencrypt/live/ci.example.com/privkey.pem;

    ssl_session_cache      shared:SSL:10m;
    ssl_session_timeout  1440m;
    ssl_protocols  TLSv1 TLSv1.1 TLSv1.2;
    ssl_ciphers HIGH:!aNULL:!eNULL:!EXPORT:!CAMELLIA:!DES:!MD5:!PSK:!RC4;
    ssl_prefer_server_ciphers on;

    add_header Strict-Transport-Security "max-age=31536000; includeSubdomains;";

    access_log  /var/log/nginx/buildbot.access.log;

    proxy_set_header HOST $host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_set_header X-Forwarded-Proto  $scheme;
    proxy_set_header X-Forwarded-Server  $host;
    proxy_set_header X-Forwarded-Host  $host;

    location / {
        proxy_pass http://buildbot;
    }
    location /sse/ {
        proxy_buffering off;
        proxy_pass http://buildbot/sse/;
    }
    location /ws {
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
        proxy_pass http://buildbot/ws;
        proxy_read_timeout 6000s;
    }
}

Verificați erorile din noul fișier de configurare.

sudo nginx -t

Dacă vedeți următoarea ieșire, configurația este fără erori.

[user@vultr ~]$ sudo nginx -t
nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
nginx: configuration file /etc/nginx/nginx.conf test is successful

Dacă ați primit un fel de eroare, asigurați-vă că verificați de două ori calea către certificatele SSL. Reporniți serverul web Nginx pentru a implementa modificarea configurației.

sudo systemctl restart nginx

Deschideți fișierul de configurare Buildmaster.

sudo su buildbot -c "nano /home/buildbot/master/master.cfg"

Localizați următoarea linie.

c['buildbotURL'] = "http://192.168.1.1:8010/"

Schimbați URL-ul în funcție de numele de domeniu pe care îl utilizați.

c['buildbotURL'] = "https://ci.example.com/"

Reporniți serviciul principal Buildbot.

sudo systemctl restart buildbot

Acum puteți accesa tabloul de bord Buildbot la https://ci.example.com. Veți vedea că conexiunile la Buildbot sunt acum securizate cu SSL.

Conectați-vă folosind acreditările de administrator și adăugați prima conductă pentru a începe construirea aplicației.