Cum se instalează și se configurează Concourse CI pe Ubuntu 16.04

• Introducere
• Cerințe preliminare
• Instalați și configurați baza de date PostgreSQL
• Descarcă și instalează Concourse CI
• Generați și configurați cheile RSA
• Pornirea Concursului
• Configurați serviciul de mediu și sistem
• Conectarea la server
• Configurarea proxyului invers Nginx

Introducere

Integrarea continuă este o practică de dezvoltare software DevOps, care permite dezvoltatorilor să îmbine frecvent codul modificat în depozitul partajat de multe ori pe zi. După fiecare fuziune, se realizează compilări și teste automate pentru a detecta problemele din cod. Permite dezvoltatorilor să găsească și să rezolve rapid erorile pentru a îmbunătăți calitatea software-ului și a oferi o livrare continuă a software-ului. Trecerea de la Concourse este foarte ușoară, deoarece își păstrează toată configurația în fișiere declarative care pot fi verificate în controlul versiunii. De asemenea, oferă o interfață de utilizator web care afișează informațiile de construire în mod interactiv.

Componente ale cursului.

• ATC este componenta principală a Concourse. Este responsabil pentru rularea interfeței web și a API-ului. De asemenea, are grijă de toată programarea conductelor.
• TSA este un server SSH personalizat. Este responsabil pentru înregistrarea în siguranță a unui lucrător cu ATC.
• Lucrătorii mai oferă două servicii diferite:
  1. Grădina este un timp de rulare a containerului și o interfață pentru orchestrarea containerelor de la distanță pe un lucrător.
  2. Baggageclaim este un server de gestionare a cache-ului și a artefactelor.
• Fly este o interfață de linie de comandă folosită pentru a interacționa cu ATC-ul pentru a configura conductele Concourse.

Cerințe preliminare

• O instanță a serverului Vultr Ubuntu 16.04.
• Un utilizator sudo .

Asigurați-vă că înlocuiți toate aparițiile 192.0.2.1 și ci.example.com cu adresa dvs. IP publică Vultr și numele de domeniu real.

Actualizați-vă sistemul de bază utilizând ghidul Cum să actualizați Ubuntu 16.04 . După ce sistemul dvs. a fost actualizat, continuați să instalați PostgreSQL.

Instalați și configurați baza de date PostgreSQL

PostgreSQL este un sistem de baze de date relațional obiect. Concourse stochează datele conductelor sale într-o bază de date PostgreSQL. Adăugați depozitul PostgreSQL.

echo "deb http://apt.postgresql.org/pub/repos/apt/ xenial-pgdg main" | sudo tee /etc/apt/sources.list.d/pgdg.list
wget --quiet -O - https://www.postgresql.org/media/keys/ACCC4CF8.asc | sudo apt-key add -
sudo apt update

Instalați serverul de baze de date PostgreSQL.

sudo apt -y install postgresql

Porniți serverul PostgreSQL și permiteți-l să pornească automat la momentul de pornire.

sudo systemctl start postgresql
sudo systemctl enable postgresql

Modificați parola pentru utilizatorul implicit PostgreSQL.

sudo passwd postgres

Autentificare ca utilizator PostgreSQL:

sudo su - postgres

Creați un utilizator PostgreSQL nou pentru Concourse CI.

createuser concourse

Notă : Utilizatorul implicit PostgreSQL poate fi utilizat pentru autentificarea bazei de date, dar este recomandat să utilizați un utilizator dedicat pentru autentificarea bazei de date Concourse într-o configurație de producție.

PostgreSQL oferă un shell pentru a rula interogări pe baza de date. Comutați la shell-ul PostgreSQL.

psql

Setați o parolă pentru noul utilizator de bază de date Concourse.

ALTER USER concourse WITH ENCRYPTED password 'DBPassword';

Important : înlocuiți DBPassword cu o parolă puternică. Faceți notă de parolă, așa cum va fi necesară mai târziu în tutorial.

Creați o nouă bază de date pentru Concourse.

CREATE DATABASE concourse OWNER concourse;

Ieșiți din psql coajă.

\q

Comutați la un utilizator sudo de la un postgresutilizator curent .

exit

Descarcă și instalează Concourse CI

Descărcați cea mai recentă versiune a executabilului Concourse și păstrați-o în /usr/bin așa fel încât să poată fi executată direct. Cea mai recentă versiune a binarelor Concourse și Fly poate fi găsită pe pagina de descărcare Concourse . Noile versiuni sunt foarte frecvente. Înlocuiți linkul de mai jos cu noul link pentru cea mai recentă versiune.

sudo wget https://github.com/concourse/concourse/releases/download/v3.10.0/concourse_linux_amd64 -O /usr/bin/concourse

În mod similar, descărcați cea mai recentă versiune a fly-ului executabil și stocați-o în /usr/bin.

sudo wget https://github.com/concourse/concourse/releases/download/v3.10.0/fly_linux_amd64 -O /usr/bin/fly

Fly este interfața liniei de comandă utilizată pentru conectarea la API-ul ATC al Concourse CI. Fly este disponibil pentru mai multe platforme precum Linux, Windows și MacOS.

Atribuie executarea permisiunii descărcate concourse și a fly binarelor.

sudo chmod +x /usr/bin/concourse /usr/bin/fly

Verificați dacă Concourse și Fly funcționează corect verificând versiunea lor.

concourse -version
fly -version

Generați și configurați cheile RSA

Perechile de chei RSA oferă o modalitate de a cripta comunicarea între componentele Concourse.

Pentru a lucra, trebuie să fie generate cel puțin trei perechi de taste. Pentru criptarea datelor sesiunii, generați o session_signing_key. Această cheie va fi folosită și de TSA pentru a semna cererile pe care le face către ATC. Pentru a securiza serverul TSA SSH, generați o tsa_host_key. În cele din urmă, generați o worker_key pentru fiecare lucrător.

Creați un nou director pentru a stoca cheile și configurația referitoare la Concourse CI.

sudo mkdir /opt/concourse

Generați tastele necesare.

sudo ssh-keygen -t rsa -q -N '' -f /opt/concourse/session_signing_key
sudo ssh-keygen -t rsa -q -N '' -f /opt/concourse/tsa_host_key
sudo ssh-keygen -t rsa -q -N '' -f /opt/concourse/worker_key

Autorizați cheia publică a lucrătorilor prin copierea conținutului acesteia în authorized_worker_keys fișier.

sudo cp /opt/concourse/worker_key.pub /opt/concourse/authorized_worker_keys

Pornirea Concursului

Concursul oferă două componente separate care trebuie pornite: web-ul și lucrătorul. Porniți site-ul Concourse.

sudo concourse web \
  --basic-auth-username admin \
  --basic-auth-password StrongPass \
  --session-signing-key /opt/concourse/session_signing_key \
  --tsa-host-key /opt/concourse/tsa_host_key \
  --tsa-authorized-keys /opt/concourse/authorized_worker_keys \
  --postgres-user=concourse \
  --postgres-password=DBPassword \
  --postgres-database=concourse \
  --external-url http://192.0.2.1:8080

Modificați numele de utilizator și parola pentru a basic-auth dori dacă doriți. Asigurați-vă că calea către fișierele cheie sunt corecte și asigurați-vă că este furnizată valoarea corectă pentru numele de utilizator și parola din configurația bazei de date PostgreSQL.

Notă : ATC va asculta portul implicit 8080 și TSA va asculta port 2222. Dacă nu se dorește autentificarea, treceți --no-really-i-dont-want-any-authopțiunea după eliminarea opțiunilor de autentificare de bază.

Odată ce serverul web este pornit, va fi afișată următoarea ieșire.

{"timestamp":"1503657859.661247969","source":"tsa","message":"tsa.listening","log_level":1,"data":{}}
{"timestamp":"1503657859.666907549","source":"atc","message":"atc.listening","log_level":1,"data":{"debug":"127.0.0.1:8079","http":"0.0.0.0:8080"}}

Opriți serverul deocamdată, deoarece încă mai trebuie configurate câteva lucruri.

Începeți lucrătorul CI.

sudo concourse worker \
  --work-dir /opt/concourse/worker \
  --tsa-host 127.0.0.1 \
  --tsa-public-key /opt/concourse/tsa_host_key.pub \
  --tsa-worker-private-key /opt/concourse/worker_key

Comanda de mai sus va presupune că TSA rulează pe localhost și ascultă portul implicit 2222.

Deși Web Concourse și lucrătorul pot fi pornite cu ușurință folosind comenzile de mai sus, se recomandă utilizarea Systemd pentru a gestiona serverul.

Configurați serviciul de mediu și sistem

Utilizarea serviciului Systemd pentru gestionarea aplicației asigură că aplicația este pornită automat la eșecuri și la momentul de pornire. Serverul Concourse nu preia date din niciun fișier de configurare, dar poate accesa datele din variabile de mediu. În loc să setați variabile de mediu globale, creați un nou fișier pentru a stoca variabilele de mediu și apoi treceți variabilele la CI-ul Concourse folosind serviciul Systemd.

Creați un nou fișier de mediu pentru web Concourse.

sudo nano /opt/concourse/web.env

Populați fișierul.

CONCOURSE_SESSION_SIGNING_KEY=/opt/concourse/session_signing_key
CONCOURSE_TSA_HOST_KEY=/opt/concourse/tsa_host_key
CONCOURSE_TSA_AUTHORIZED_KEYS=/opt/concourse/authorized_worker_keys

CONCOURSE_POSTGRES_USER=concourse
CONCOURSE_POSTGRES_PASSWORD=DBPassword
CONCOURSE_POSTGRES_DATABASE=concourse

CONCOURSE_BASIC_AUTH_USERNAME=admin
CONCOURSE_BASIC_AUTH_PASSWORD=StrongPass
CONCOURSE_EXTERNAL_URL=http://192.0.2.1:8080

Modificați numele de utilizator și parola pentru a BASIC_AUTH dori dacă doriți. Asigurați-vă că calea către fișierele cheie sunt corecte și asigurați-vă că este furnizată valoarea corectă pentru numele de utilizator și parola din configurația bazei de date PostgreSQL.

În mod similar, creați un fișier de mediu pentru lucrător.

sudo nano /opt/concourse/worker.env

Populați fișierul.

CONCOURSE_WORK_DIR=/opt/concourse/worker
CONCOURSE_TSA_WORKER_PRIVATE_KEY=/opt/concourse/worker_key
CONCOURSE_TSA_PUBLIC_KEY=/opt/concourse/tsa_host_key.pub
CONCOURSE_TSA_HOST=127.0.0.1

Deoarece fișierele de mediu conțin nume de utilizator și parole, schimbați permisiunile astfel încât să nu poată fi accesat de alți utilizatori.

sudo chmod 600 /opt/concourse/*.env

Acum creează un utilizator nou pentru Concourse pentru a rula mediul web. Acest lucru va asigura că serverul web rulează într-un mediu izolat.

sudo useradd concourse

Oferiți proprietarului utilizatorului concourse peste directorul fișierului Concourse CI.

sudo chown -R concourse:concourse /opt/concourse

Creați un nou fișier de service systemd pentru serviciul web Concourse.

sudo nano /etc/systemd/system/concourse-web.service

Populați fișierul.

[Unit]
Description=Concourse CI web server

[Service]
Type=simple
User=concourse
Group=concourse
Restart=on-failure
EnvironmentFile=/opt/concourse/web.env
ExecStart=/usr/bin/concourse web
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=concourse_web

[Install]
WantedBy=multi-user.target

Salvați și închideți fișierul. Creați un nou fișier de servicii pentru serviciul Concourse.

sudo nano /etc/systemd/system/concourse-worker.service

Populați fișierul.

[Unit]
Description=Concourse CI worker process

[Service]
Type=simple
Restart=on-failure
EnvironmentFile=/opt/concourse/worker.env
ExecStart=/usr/bin/concourse worker
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=concourse_worker

[Install]
WantedBy=multi-user.target

Serviciul web și pentru lucrători poate fi început acum direct.

sudo systemctl start concourse-web concourse-worker

Pentru a permite procesul de lucrător și web să înceapă automat la momentul de pornire, executați următoarele.

sudo systemctl enable concourse-worker concourse-web

Pentru a verifica starea serviciilor, executați următoarele.

sudo systemctl status concourse-worker concourse-web

Dacă serviciul nu este pornit, sau în FAILED stare, scoateți memoria cache din /tmp director.

sudo rm -rf /tmp/*

Reporniți serviciile.

sudo systemctl restart concourse-worker concourse-web

Observați că de această dată serviciile au început corect. Rezultatul la verificarea stării serviciilor va fi similar cu următoarele.

[user@vultr ~]$ sudo systemctl status concourse-worker concourse-web
● concourse-worker.service - Concourse CI worker process
   Loaded: loaded (/etc/systemd/system/concourse-worker.service; enabled; vendor preset: disabled)
   Active: active (running) since Sat 2017-08-26 07:27:37 UTC; 55s ago
 Main PID: 3037 (concourse)
   CGroup: /system.slice/concourse-worker.service
           └─3037 /usr/bin/concourse worker

Aug 26 07:27:42 vultr.guest concourse_worker[3037]: {"timestamp":"1503732462.934722900","source":"tsa","message":"t...""}}
Aug 26 07:27:42 vultr.guest concourse_worker[3037]: {"timestamp":"1503732462.941227913","source":"guardian","messag...0"}}

...

● concourse-web.service - Concourse CI web server
   Loaded: loaded (/etc/systemd/system/concourse-web.service; enabled; vendor preset: disabled)
   Active: active (running) since Sat 2017-08-26 07:27:37 UTC; 55s ago
 Main PID: 3036 (concourse)
   CGroup: /system.slice/concourse-web.service
           └─3036 /usr/bin/concourse web

Aug 26 07:27:57 vultr.guest concourse_web[3036]: {"timestamp":"1503732477.925554752","source":"tsa","message":"tsa...ve"}}
Aug 26 07:28:02 vultr.guest concourse_web[3036]: {"timestamp":"1503732482.925430775","source":"tsa","message":"tsa...ve"}}
...
Hint: Some lines were ellipsized, use -l to show in full.

Conectarea la server

Odată ce serverul este pornit, interfața web a Concourse CI poate fi accesată accesând http://192.0.2.1:8080 orice browser. Conectați-vă folosind numele de utilizator și parola furnizate în fișierul de mediu.

Pentru a vă conecta la server cu Fly, executați următoarele.

fly -t my-ci login -c http://192.0.2.1:8080

Comanda de mai sus este utilizată pentru conectarea inițială la server. -t este utilizat pentru a furniza un nume țintă. înlocuiți my-ci cu orice nume dorit. Comanda de mai sus se va conecta la echipa implicită main. Acesta va solicita numele de utilizator și parola furnizate în fișierul de mediu.

Rezultatul va arăta după cum urmează.

[user@vultr ~]$ fly -t my-ci login -c http://192.0.2.1:8080
logging in to team 'main'

username: admin
password:

target saved

Autentificarea de țintă va fi salvată pentru o zi. După aceea, va expira.

Pentru a vă deconecta imediat.

fly -t my-ci logout

Fly poate fi folosit pentru a vă conecta la serverul din afara rețelei, dar numai dacă serverul are o adresă IP publică și este accesibil din afara rețelei. Binarul Windows sau MacOS poate fi descărcat de pe site-ul de descărcare sau de la interfața de utilizator a serverului.

Configurarea proxyului invers Nginx

Conectările și alte informații trimise prin UI web către serverul Concourse nu sunt securizate. Conexiunea nu este criptată. Un proxy invers Nginx poate fi configurat cu un SSL gratuit Let's Encrypt.

Instalați Nginx.

sudo apt -y install nginx

Porniți Nginx și permiteți-l să pornească automat la momentul de pornire.

sudo systemctl start nginx
sudo systemctl enable nginx

Adăugați depozitul Certbot.

sudo add-apt-repository --yes ppa:certbot/certbot
sudo apt-get update

Instalați Certbot, care este aplicația client pentru Let's Encrypt CA.

sudo apt -y install certbot

Notă : Pentru a obține certificate de la Let's Encrypt CA, domeniul pentru care se vor genera certificatele trebuie îndreptat către server. Dacă nu, faceți modificările necesare în înregistrările DNS ale domeniului și așteptați propagarea DNS înainte de a face din nou cererea de certificare. Certbot verifică autoritatea domeniului înainte de furnizarea certificatelor.

Generați certificatele SSL.

sudo certbot certonly --webroot -w /var/www/html -d ci.example.com

Este posibil ca certificatele generate să fie stocate în /etc/letsencrypt/live/ci.example.com/ director. Certificatul SSL va fi stocate ca fullchain.pem și cheia privată vor fi stocate ca privkey.pem.

Să criptăm certificatele să expire în 90 de zile, de aceea se recomandă reînnoirea automată a certificatelor fiind configurată folosind cronjobs. Cron este un serviciu de sistem care este utilizat pentru a executa sarcini periodice.

Deschideți fișierul de job cron.

sudo crontab -e

Adăugați următoarea linie la sfârșitul fișierului.

30 5 * * * /usr/bin/certbot renew --quiet

Slujba cron de mai sus va rula zilnic la 5:30 AM. Dacă certificatul expiră, acesta va fi reînnoit automat.

Creați o nouă gazdă virtuală.

sudo nano /etc/nginx/sites-available/concourse

Populați fișierul.

server {
    listen 80;
    server_name ci.example.com;
    return 301 https://$host$request_uri;
}
server {

    listen 443;
    server_name ci.example.com;

    ssl_certificate           /etc/letsencrypt/live/ci.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/ci.example.com/privkey.pem;

    ssl on;
    ssl_session_cache  builtin:1000  shared:SSL:10m;
    ssl_protocols  TLSv1 TLSv1.1 TLSv1.2;
    ssl_ciphers HIGH:!aNULL:!eNULL:!EXPORT:!CAMELLIA:!DES:!MD5:!PSK:!RC4;
    ssl_prefer_server_ciphers on;

    access_log    /var/log/nginx/concourse.access.log;

    location / {

      proxy_set_header        Host $host;
      proxy_set_header        X-Real-IP $remote_addr;
      proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;
      proxy_set_header        X-Forwarded-Proto $scheme;
      proxy_pass          http://localhost:8080;
      proxy_read_timeout  90;

      proxy_redirect      http://localhost:8080 https://ci.example.com;
    }
  }

Notă : Înlocuiți ci.example.com cu domeniul real.

Activați fișierul de configurare.

sudo ln -s /etc/nginx/sites-available/concourse /etc/nginx/sites-enabled/concourse

Editați fișierul Environment creat pentru Web-ul concourse.

sudo nano /opt/concourse/web.env

Modificați valoarea CONCOURSE_EXTERNAL_URL și adăugați, de asemenea, alte două linii la sfârșitul fișierului.

CONCOURSE_EXTERNAL_URL=https://ci.example.com
CONCOURSE_BIND_IP=127.0.0.1
CONCOURSE_BIND_PORT=8080

Salvați fișierul și reporniți Concourse Web, Worker și Nginx.

sudo systemctl restart concourse-worker concourse-web nginx

Toate datele trimise către și din browser sunt acum securizate cu criptarea SSL.