Cum se instalează și se configurează CI-ul Concourse pe CentOS 7

• Introducere
• Cerințe preliminare
• Instalați și configurați baza de date PostgreSQL
• Descarcă și instalează Concourse CI
• Generați și configurați cheile RSA
• Pornirea Concursului
• Configurați serviciul de mediu și sistem
• Conectarea la server
• Configurarea proxyului invers Nginx

Introducere

Integrarea continuă este o practică de dezvoltare software DevOps, care permite dezvoltatorilor să îmbine frecvent codul modificat în depozitul partajat de multe ori pe zi. După fiecare fuziune, se realizează compilări și teste automate pentru a detecta problemele din cod. Permite dezvoltatorilor să găsească și să rezolve rapid erorile pentru a îmbunătăți calitatea software-ului și a oferi o livrare continuă a software-ului. Trecerea de la Concourse este foarte ușoară, deoarece își păstrează toată configurația în fișiere declarative care pot fi verificate în controlul versiunii. De asemenea, oferă o interfață de utilizator web care afișează informațiile de construire în mod interactiv.

Componente ale cursului.

• ATC este componenta principală a Concourse. Este responsabil pentru rularea interfeței web și a API-ului. De asemenea, are grijă de toată programarea conductelor.
• TSA este un server SSH personalizat. Este responsabil pentru înregistrarea în siguranță a unui lucrător cu ATC.
• Lucrătorii mai oferă două servicii diferite:
  1. Grădina este un timp de rulare a containerului și o interfață pentru orchestrarea containerelor de la distanță pe un lucrător.
  2. Baggageclaim este un server de gestionare a cache-ului și a artefactelor.
• Fly este o interfață de linie de comandă folosită pentru a interacționa cu ATC-ul pentru a configura conductele Concourse.

Cerințe preliminare

• O instanță a serverului Vultr CentOS 7.
• Un utilizator sudo .

Asigurați-vă că înlocuiți toate aparițiile 192.0.2.1și ci.example.comcu adresa dvs. IP publică Vultr și numele de domeniu real.

Actualizați-vă sistemul de bază utilizând ghidul Cum actualizați CentOS 7 . După ce sistemul dvs. a fost actualizat, continuați să instalați PostgreSQL.

Instalați și configurați baza de date PostgreSQL

PostgreSQL este un sistem de baze de date relațional obiect. Concourse stochează datele conductelor sale într-o bază de date PostgreSQL. Adăugați depozitul PostgreSQL.

sudo rpm -Uvh https://download.postgresql.org/pub/repos/yum/9.6/redhat/rhel-7-x86_64/pgdg-centos96-9.6-3.noarch.rpm

Instalați serverul de baze de date PostgreSQL.

sudo yum -y install postgresql96-server postgresql96-contrib

Inițializează baza de date.

sudo /usr/pgsql-9.6/bin/postgresql96-setup initdb

initdbcreează un nou cluster de baze de date PostgreSQL, care este o colecție de baze de date gestionate de o singură instanță de server. Editați pg_hba.conffișierul pentru a activa autentificarea bazată pe MD5.

sudo nano /var/lib/pgsql/9.6/data/pg_hba.conf

Găsiți următoarele linii și modificați valorile peerși identîn METHODcoloană la trustși md5, respectiv.

# TYPE  DATABASE        USER            ADDRESS                 METHOD

# "local" is for Unix domain socket connections only
local   all             all                                     peer
# IPv4 local connections:
host    all             all             127.0.0.1/32            ident
# IPv6 local connections:
host    all             all             ::1/128                 ident

Odată actualizată, configurația ar trebui să arate astfel.

# TYPE  DATABASE        USER            ADDRESS                 METHOD

# "local" is for Unix domain socket connections only
local   all             all                                     trust
# IPv4 local connections:
host    all             all             127.0.0.1/32            md5
# IPv6 local connections:
host    all             all             ::1/128                 md5

Porniți serverul PostgreSQL și permiteți-l să pornească automat la momentul de pornire.

sudo systemctl start postgresql-9.6
sudo systemctl enable postgresql-9.6

Modificați parola pentru utilizatorul implicit PostgreSQL.

sudo passwd postgres

Autentificare ca utilizator PostgreSQL:

sudo su - postgres

Creați un utilizator PostgreSQL nou pentru Concourse CI.

createuser concourse

Notă : Utilizatorul implicit PostgreSQL poate fi utilizat pentru autentificarea bazei de date, dar este recomandat să utilizați un utilizator dedicat pentru autentificarea bazei de date Concourse într-o configurație de producție.

PostgreSQL oferă un shell pentru a rula interogări pe baza de date. Comutați la shell-ul PostgreSQL rulând:

psql

Setați o parolă pentru noul utilizator de bază de date Concourse.

ALTER USER concourse WITH ENCRYPTED password 'DBPassword';

Important : înlocuiți DBPasswordcu o parolă puternică. Faceți notă de parolă, așa cum va fi necesară mai târziu în tutorial.

Creați o nouă bază de date pentru Concourse.

CREATE DATABASE concourse OWNER concourse;

Ieșiți din psqlcoajă.

\q

Comutați la un utilizator sudo de la un utilizator postgres curent.

exit

Descarcă și instalează Concourse CI

Descărcați cea mai recentă versiune executabilă de Concourse și păstrați-o /usr/binastfel încât să poată fi executată direct. Cea mai recentă versiune a binarelor Concourse și Fly poate fi găsită pe pagina de descărcare Concourse . Noile versiuni sunt foarte frecvente. Înlocuiți linkul de mai jos cu noul link pentru cea mai recentă versiune.

sudo wget https://github.com/concourse/concourse/releases/download/v3.4.1/concourse_linux_amd64 -O /usr/bin/concourse

În mod similar, descărcați cea mai recentă versiune a fly-ului executabil și stocați-o în /usr/bin.

sudo wget https://github.com/concourse/concourse/releases/download/v3.4.1/fly_linux_amd64 -O /usr/bin/fly

Fly este interfața liniei de comandă pentru a vă conecta la API-ul ATC al Concourse CI. Fly este disponibil pentru mai multe platforme precum Linux, Windows și MacOS.

Atribuie executarea permisiunii descărcate concourseși a flybinarelor.

sudo chmod +x /usr/bin/concourse /usr/bin/fly

Verificați dacă Concourse și Fly funcționează corect verificând versiunea lor.

concourse -version
fly -version

Generați și configurați cheile RSA

Perechile de chei RSA oferă o modalitate de a cripta comunicarea între componentele Concourse.

Pentru a lucra, trebuie să fie generate cel puțin trei perechi de taste. Pentru criptarea datelor sesiunii, generați o session_signing_key. Această cheie va fi folosită și de TSA pentru a semna cererile pe care le face către ATC. Pentru a securiza serverul TSA SSH, generați o tsa_host_key. În cele din urmă, generați o worker_keypentru fiecare lucrător.

Creați un nou director pentru a stoca cheile și configurația referitoare la Concourse CI.

sudo mkdir /opt/concourse

Generați tastele necesare.

sudo ssh-keygen -t rsa -q -N '' -f /opt/concourse/session_signing_key
sudo ssh-keygen -t rsa -q -N '' -f /opt/concourse/tsa_host_key
sudo ssh-keygen -t rsa -q -N '' -f /opt/concourse/worker_key

Autorizați cheia publică a lucrătorilor prin copierea conținutului acesteia în authorized_worker_keysfișier:

sudo cp /opt/concourse/worker_key.pub /opt/concourse/authorized_worker_keys

Pornirea Concursului

Concursul oferă două componente separate care trebuie pornite, web-ul și lucrătorul. Porniți site-ul Concourse.

sudo concourse web \
  --basic-auth-username admin \
  --basic-auth-password StrongPass \
  --session-signing-key /opt/concourse/session_signing_key \
  --tsa-host-key /opt/concourse/tsa_host_key \
  --tsa-authorized-keys /opt/concourse/authorized_worker_keys \
  --postgres-user=concourse \
  --postgres-password=DBPassword \
  --postgres-database=concourse \
  --external-url http://192.0.2.1:8080

Modificați numele de utilizator și parola pentru a basic-authdori dacă doriți. Asigurați-vă că calea către fișierele cheie sunt corecte și asigurați-vă că este furnizată valoarea corectă pentru numele de utilizator și parola din configurația bazei de date PostgreSQL.

Notă : ATC va asculta portul implicit 8080și TSA va asculta port 2222. Dacă nu se dorește autentificarea, treceți --no-really-i-dont-want-any-authopțiunea după eliminarea opțiunilor de autentificare de bază.

Odată pornit serverul web, ar trebui să fie afișată următoarea ieșire.

{"timestamp":"1503657859.661247969","source":"tsa","message":"tsa.listening","log_level":1,"data":{}}
{"timestamp":"1503657859.666907549","source":"atc","message":"atc.listening","log_level":1,"data":{"debug":"127.0.0.1:8079","http":"0.0.0.0:8080"}}

Opriți serverul deocamdată, deoarece încă mai trebuie configurate câteva lucruri.

Începeți lucrătorul CI.

sudo concourse worker \
  --work-dir /opt/concourse/worker \
  --tsa-host 127.0.0.1 \
  --tsa-public-key /opt/concourse/tsa_host_key.pub \
  --tsa-worker-private-key /opt/concourse/worker_key

Comanda de mai sus va presupune că TSA rulează pe localhost și ascultă portul implicit 2222.

Deși Web Concourse și lucrătorul pot fi pornite cu ușurință folosind comenzile de mai sus, se recomandă utilizarea Systemd pentru a gestiona serverul.

Configurați serviciul de mediu și sistem

Utilizarea serviciului Systemd pentru gestionarea aplicației asigură că aplicația este pornită automat la eșecuri și la momentul de pornire. Serverul Concourse nu preia date din niciun fișier de configurare, dar poate accesa datele din variabile de mediu. În loc să setați variabile de mediu globale, creați un nou fișier pentru a stoca variabilele de mediu și apoi treceți variabilele la CI-ul Concourse folosind serviciul Systemd.

Creați un nou fișier de mediu pentru web Concourse.

sudo nano /opt/concourse/web.env

Populați fișierul.

CONCOURSE_SESSION_SIGNING_KEY=/opt/concourse/session_signing_key
CONCOURSE_TSA_HOST_KEY=/opt/concourse/tsa_host_key
CONCOURSE_TSA_AUTHORIZED_KEYS=/opt/concourse/authorized_worker_keys

CONCOURSE_POSTGRES_USER=concourse
CONCOURSE_POSTGRES_PASSWORD=DBPassword
CONCOURSE_POSTGRES_DATABASE=concourse

CONCOURSE_BASIC_AUTH_USERNAME=admin
CONCOURSE_BASIC_AUTH_PASSWORD=StrongPass
CONCOURSE_EXTERNAL_URL=http://192.0.2.1:8080

Modificați numele de utilizator și parola pentru a BASIC_AUTHdori dacă doriți. Asigurați-vă că calea către fișierele cheie sunt corecte și asigurați-vă că este furnizată valoarea corectă pentru numele de utilizator și parola din configurația bazei de date PostgreSQL.

În mod similar, creați un fișier de mediu pentru lucrător.

sudo nano /opt/concourse/worker.env

Populați fișierul.

CONCOURSE_WORK_DIR=/opt/concourse/worker
CONCOURSE_TSA_WORKER_PRIVATE_KEY=/opt/concourse/worker_key
CONCOURSE_TSA_PUBLIC_KEY=/opt/concourse/tsa_host_key.pub
CONCOURSE_TSA_HOST=127.0.0.1

Deoarece fișierele de mediu conțin nume de utilizator și parole, schimbați permisiunile astfel încât să nu poată fi accesat de alți utilizatori.

sudo chmod 600 /opt/concourse/*.env

Acum creează un utilizator nou pentru Concourse pentru a rula mediul web. Acest lucru va asigura că serverul web rulează într-un mediu izolat.

sudo adduser --system concourse

Oferiți proprietarului utilizatorului concourse peste directorul fișierului Concourse CI.

sudo chown -R concourse:concourse /opt/concourse

Creați un nou fișier de service systemd pentru serviciul web Concourse.

sudo nano /etc/systemd/system/concourse-web.service

Populați fișierul.

[Unit]
Description=Concourse CI web server
After=postgresql-9.6.service

[Service]
Type=simple
User=concourse
Group=concourse
Restart=on-failure
EnvironmentFile=/opt/concourse/web.env
ExecStart=/usr/bin/concourse web
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=concourse_web

[Install]
WantedBy=multi-user.target

Salvați și închideți fișierul. Creați un nou fișier de servicii pentru serviciul Concourse.

sudo nano /etc/systemd/system/concourse-worker.service

Populați fișierul.

[Unit]
Description=Concourse CI worker process
After=concourse-web.service

[Service]
Type=simple
User=root
Group=root
Restart=on-failure
EnvironmentFile=/opt/concourse/worker.env
ExecStart=/usr/bin/concourse worker
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=concourse_worker

[Install]
WantedBy=multi-user.target

Serviciul web și pentru lucrători poate fi acum pornit direct rulând:

sudo systemctl start concourse-web concourse-worker

Pentru a permite procesul de lucrător și web să înceapă automat la momentul de pornire, executați:

sudo systemctl enable concourse-worker concourse-web

Pentru a verifica starea serviciilor, executați:

sudo systemctl status concourse-worker concourse-web

Dacă serviciul nu este pornit, sau în FAILEDstare, scoateți memoria cache din /tmpdirector.

sudo rm -rf /tmp/*

Reporniți serviciile.

sudo systemctl restart concourse-worker concourse-web

Observați că de această dată serviciile au început corect. Producția la verificarea stării serviciilor ar trebui să fie similară.

[user@vultr ~]$ sudo systemctl status concourse-worker concourse-web
● concourse-worker.service - Concourse CI worker process
   Loaded: loaded (/etc/systemd/system/concourse-worker.service; enabled; vendor preset: disabled)
   Active: active (running) since Sat 2017-08-26 07:27:37 UTC; 55s ago
 Main PID: 3037 (concourse)
   CGroup: /system.slice/concourse-worker.service
           └─3037 /usr/bin/concourse worker

Aug 26 07:27:42 vultr.guest concourse_worker[3037]: {"timestamp":"1503732462.934722900","source":"tsa","message":"t...""}}
Aug 26 07:27:42 vultr.guest concourse_worker[3037]: {"timestamp":"1503732462.941227913","source":"guardian","messag...0"}}
...

● concourse-web.service - Concourse CI web server
   Loaded: loaded (/etc/systemd/system/concourse-web.service; enabled; vendor preset: disabled)
   Active: active (running) since Sat 2017-08-26 07:27:37 UTC; 55s ago
 Main PID: 3036 (concourse)
   CGroup: /system.slice/concourse-web.service
           └─3036 /usr/bin/concourse web

Aug 26 07:27:57 vultr.guest concourse_web[3036]: {"timestamp":"1503732477.925554752","source":"tsa","message":"tsa...ve"}}
Aug 26 07:28:02 vultr.guest concourse_web[3036]: {"timestamp":"1503732482.925430775","source":"tsa","message":"tsa...ve"}}
...
Hint: Some lines were ellipsized, use -l to show in full.

Reglați firewallul pentru a permite portul 8080, pe care rulează ATS și portul 2222, pe care se execută TSA.

sudo firewall-cmd --zone=public --add-port=8080/tcp --permanent
sudo firewall-cmd --zone=public --add-port=2222/tcp --permanent
sudo firewall-cmd --reload

Conectarea la server

Odată ce serverul este pornit, interfața web a Concourse CI poate fi accesată accesând http://192.0.2.1:8080orice browser. Conectați-vă folosind numele de utilizator și parola furnizate în fișierul de mediu.

Pentru a vă conecta la server cu Fly, executați:

fly -t my-ci login -c http://192.0.2.1:8080

Comanda de mai sus este utilizată pentru conectarea inițială la server. -teste utilizat pentru a furniza un nume țintă. înlocuiți my-cicu orice nume dorit. Comanda de mai sus se va conecta la echipa implicită main. Acesta va solicita numele de utilizator și parola furnizate în fișierul de mediu.

Rezultatul va arăta după cum urmează.

[user@vultr ~]$ fly -t my-ci login -c http://192.0.2.1:8080
logging in to team 'main'

username: admin
password:

target saved

Autentificarea de țintă va fi salvată pentru o zi. După aceea, va expira.

Pentru a vă deconecta imediat.

fly -t my-ci logout

fly poate fi folosit pentru a vă conecta la serverul din afara rețelei, dar numai dacă serverul are o adresă IP publică și este accesibil din afara rețelei. Binarul Windows sau MacOS poate fi descărcat de pe site-ul de descărcare sau de la interfața de utilizator a serverului.

Configurarea proxyului invers Nginx

Conectările și alte informații trimise prin interfața de utilizator web către serverul Concourse nu sunt securizate. Conexiunea nu este criptată. Un proxy invers Nginx poate fi configurat cu un SSL gratuit Let's Encrypt.

Instalați serverul web Nginx și Certbot, care este aplicația client pentru Let's Encrypt CA.

sudo yum -y install certbot-nginx nginx

Porniți și activați Nginx pentru a porni automat la momentul de pornire:

sudo systemctl start nginx
sudo systemctl enable nginx

Înainte de a putea face o cerere pentru certificate, porturile 80 și 443 sau serviciile standard HTTP și HTTPS trebuie să fie activate prin firewall. Certbot va verifica autoritatea domeniului înainte de a emite certificate.

sudo firewall-cmd --zone=public --add-service=http --permanent
sudo firewall-cmd --zone=public --add-service=https --permanent

Portul 8080 nu mai trebuie permis de pe firewall, deoarece acum Concourse va fi rulat pe portul HTTPS standard. Eliminați intrarea firewallului pentru a permite portul 8080.

sudo firewall-cmd --zone=public --remove-port=8080/tcp --permanent
sudo firewall-cmd --reload

Notă

Pentru a obține certificate de la Let's Encrypt CA, domeniul pentru care se vor genera certificatele trebuie îndreptat către server. Dacă nu, faceți modificările necesare în înregistrările DNS ale domeniului și așteptați propagarea DNS înainte de a face din nou cererea de certificare. Certbot verifică autoritatea domeniului înainte de furnizarea certificatelor.

Generați certificatele SSL.

sudo certbot certonly --webroot -w /usr/share/nginx/html -d ci.example.com

Este posibil ca certificatele generate să fie stocate în /etc/letsencrypt/live/ci.example.com/director. Certificatul SSL va fi stocate ca fullchain.pemși cheia privată vor fi stocate ca privkey.pem.

Să criptăm certificatele să expire în 90 de zile, de aceea se recomandă reînnoirea automată a certificatelor fiind configurată folosind cronjobs. Cron este un serviciu de sistem care este utilizat pentru a executa sarcini periodice.

Deschideți fișierul de job cron.

sudo crontab -e

Adăugați următoarea linie la sfârșitul fișierului.

30 5 * * 1 /usr/bin/certbot renew --quiet

Slujba cron de mai sus va rula în fiecare luni la 5:30 AM. În cazul în care certificatul expiră, acesta va fi reînnoit automat.

Creați o nouă gazdă virtuală.

sudo nano /etc/nginx/conf.d/concourse-ssl.conf

Populați fișierul.

server {
    listen 80;
    server_name ci.example.com;
    return 301 https://$host$request_uri;
}
server {

    listen 443;
    server_name ci.example.com;

    ssl_certificate           /etc/letsencrypt/live/ci.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/ci.example.com/privkey.pem;

    ssl on;
    ssl_session_cache  builtin:1000  shared:SSL:10m;
    ssl_protocols  TLSv1 TLSv1.1 TLSv1.2;
    ssl_ciphers HIGH:!aNULL:!eNULL:!EXPORT:!CAMELLIA:!DES:!MD5:!PSK:!RC4;
    ssl_prefer_server_ciphers on;

    access_log    /var/log/nginx/concourse.access.log;

    location / {

      proxy_set_header        Host $host;
      proxy_set_header        X-Real-IP $remote_addr;
      proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;
      proxy_set_header        X-Forwarded-Proto $scheme;
      proxy_pass          http://localhost:8080;
      proxy_read_timeout  90;

      proxy_redirect      http://localhost:8080 https://ci.example.com;
    }
  }

Notă : Înlocuiți ci.example.comcu domeniul real.

Editați fișierul Environment creat pentru Web-ul concourse.

sudo nano /opt/concourse/web.env

Modificați valoarea CONCOURSE_EXTERNAL_URLși adăugați, de asemenea, alte două linii la sfârșitul fișierului.

CONCOURSE_EXTERNAL_URL=https://ci.example.com
CONCOURSE_BIND_IP=127.0.0.1
CONCOURSE_BIND_PORT=8080

Salvați fișierul și reporniți serverul web Concourse, Worker și Nginx:

sudo systemctl restart concourse-worker concourse-web nginx

Toate datele trimise către și din browser sunt acum securizate cu criptarea SSL.