Comment installer et configurer Concourse CI sur CentOS 7

• introduction
• Conditions préalables
• Installer et configurer la base de données PostgreSQL
• Téléchargez et installez Concourse CI
• Générer et configurer des clés RSA
• Commencer le hall
• Configurer l'environnement et le service Systemd
• Connexion au serveur
• Configuration du proxy inverse Nginx

introduction

L'intégration continue est une pratique de développement de logiciels DevOps qui permet aux développeurs de fusionner fréquemment le code modifié dans le référentiel partagé plusieurs fois par jour. Après chaque fusion, des builds et des tests automatiques sont effectués pour détecter les problèmes dans le code. Il permet aux développeurs de trouver et de résoudre rapidement les erreurs pour améliorer la qualité du logiciel et fournir une livraison continue du logiciel. Le basculement de Concourse est très facile car il conserve toute sa configuration dans des fichiers déclaratifs qui peuvent être vérifiés dans le contrôle de version. Il fournit également une interface utilisateur Web qui affiche les informations de construction de manière interactive.

Composantes du hall.

• L'ATC est la principale composante du hall. Il est responsable de l'exécution de l'interface utilisateur Web et de l'API. Il prend également en charge toute la planification du pipeline.
• TSA est un serveur SSH personnalisé. Il est responsable de l'enregistrement sécurisé d'un travailleur auprès de l'ATC.
• Les travailleurs gèrent en outre deux services différents:
  1. Garden est un runtime de conteneur et une interface pour orchestrer des conteneurs à distance sur un travailleur.
  2. Baggageclaim est un serveur de gestion de cache et d'artefacts.
• Fly est une interface de ligne de commande utilisée pour interagir avec l'ATC pour configurer Concourse Pipelines.

Conditions préalables

• Une instance de serveur Vultr CentOS 7.
• Un utilisateur sudo .

Assurez-vous de remplacer toutes les occurrences de 192.0.2.1et ci.example.compar votre adresse IP publique Vultr réelle et votre nom de domaine réel.

Mettez à jour votre système de base à l'aide du guide Comment mettre à jour CentOS 7 . Une fois votre système mis à jour, installez PostgreSQL.

Installer et configurer la base de données PostgreSQL

PostgreSQL est un système de base de données relationnelle objet. Concourse stocke ses données de pipeline dans une base de données PostgreSQL. Ajoutez le référentiel PostgreSQL.

sudo rpm -Uvh https://download.postgresql.org/pub/repos/yum/9.6/redhat/rhel-7-x86_64/pgdg-centos96-9.6-3.noarch.rpm

Installez le serveur de base de données PostgreSQL.

sudo yum -y install postgresql96-server postgresql96-contrib

Initialisez la base de données.

sudo /usr/pgsql-9.6/bin/postgresql96-setup initdb

initdbcrée un nouveau cluster de bases de données PostgreSQL, qui est une collection de bases de données gérées par une seule instance de serveur. Modifiez le pg_hba.conffichier pour activer l'authentification basée sur MD5.

sudo nano /var/lib/pgsql/9.6/data/pg_hba.conf

Trouvez les lignes suivantes et modifiez les valeurs peeret identdans la METHODcolonne trustet md5, respectivement.

# TYPE  DATABASE        USER            ADDRESS                 METHOD

# "local" is for Unix domain socket connections only
local   all             all                                     peer
# IPv4 local connections:
host    all             all             127.0.0.1/32            ident
# IPv6 local connections:
host    all             all             ::1/128                 ident

Une fois mise à jour, la configuration devrait ressembler à ceci.

# TYPE  DATABASE        USER            ADDRESS                 METHOD

# "local" is for Unix domain socket connections only
local   all             all                                     trust
# IPv4 local connections:
host    all             all             127.0.0.1/32            md5
# IPv6 local connections:
host    all             all             ::1/128                 md5

Démarrez le serveur PostgreSQL et activez-le pour démarrer automatiquement au démarrage.

sudo systemctl start postgresql-9.6
sudo systemctl enable postgresql-9.6

Modifiez le mot de passe de l'utilisateur PostgreSQL par défaut.

sudo passwd postgres

Connectez-vous en tant qu'utilisateur PostgreSQL:

sudo su - postgres

Créez un nouvel utilisateur PostgreSQL pour Concourse CI.

createuser concourse

Remarque : L'utilisateur PostgreSQL par défaut peut être utilisé pour l'authentification de la base de données, mais il est recommandé d'utiliser un utilisateur dédié pour l'authentification de la base de données Concourse dans une configuration de production.

PostgreSQL fournit un shell pour exécuter des requêtes sur la base de données. Basculez vers le shell PostgreSQL en exécutant:

psql

Définissez un mot de passe pour l'utilisateur de la base de données Concourse nouvellement créé.

ALTER USER concourse WITH ENCRYPTED password 'DBPassword';

Important : remplacez-le DBPasswordpar un mot de passe fort. Notez le mot de passe car il sera requis plus tard dans le didacticiel.

Créez une nouvelle base de données pour Concourse.

CREATE DATABASE concourse OWNER concourse;

Quittez le psqlshell.

\q

Basculez vers l'utilisateur sudo à partir de l'utilisateur postgres actuel.

exit

Téléchargez et installez Concourse CI

Téléchargez la dernière version de l'exécutable Concourse et stockez-la /usr/binafin de pouvoir l'exécuter directement. La dernière version des binaires Concourse et Fly est disponible sur la page de téléchargement de Concourse . Les nouvelles versions sont très fréquentes. Remplacez le lien ci-dessous par le nouveau lien pour la version la plus récente.

sudo wget https://github.com/concourse/concourse/releases/download/v3.4.1/concourse_linux_amd64 -O /usr/bin/concourse

De même, téléchargez la dernière version de l'exécutable fly et stockez-la /usr/bin.

sudo wget https://github.com/concourse/concourse/releases/download/v3.4.1/fly_linux_amd64 -O /usr/bin/fly

Fly est l'interface de ligne de commande pour se connecter à l'API ATC de Concourse CI. Fly est disponible pour plusieurs plates-formes telles que Linux, Windows et MacOS.

Attribuez l'autorisation d'exécution aux fichiers téléchargés concourseet aux flyfichiers binaires.

sudo chmod +x /usr/bin/concourse /usr/bin/fly

Vérifiez si Concourse et Fly fonctionnent correctement en vérifiant leur version.

concourse -version
fly -version

Générer et configurer des clés RSA

Les paires de clés RSA offrent un moyen de crypter la communication entre les composants du Concourse.

Pour que Concourse fonctionne, au moins trois paires de clés doivent être générées. Pour crypter les données de session, générez a session_signing_key. Cette clé sera également utilisée par la TSA pour signer les demandes qu'elle fait à l'ATC. Pour sécuriser le serveur TSA SSH, générez a tsa_host_key. Enfin, générez un worker_keypour chaque travailleur.

Créez un nouveau répertoire pour stocker les clés et la configuration liées à Concourse CI.

sudo mkdir /opt/concourse

Générez les clés requises.

sudo ssh-keygen -t rsa -q -N '' -f /opt/concourse/session_signing_key
sudo ssh-keygen -t rsa -q -N '' -f /opt/concourse/tsa_host_key
sudo ssh-keygen -t rsa -q -N '' -f /opt/concourse/worker_key

Autorisez la clé publique du travailleur en copiant son contenu dans le authorized_worker_keysfichier:

sudo cp /opt/concourse/worker_key.pub /opt/concourse/authorized_worker_keys

Commencer le hall

Concourse fournit deux composants distincts qui doivent être démarrés, le Web et le travailleur. Démarrez le Web Concourse.

sudo concourse web \
  --basic-auth-username admin \
  --basic-auth-password StrongPass \
  --session-signing-key /opt/concourse/session_signing_key \
  --tsa-host-key /opt/concourse/tsa_host_key \
  --tsa-authorized-keys /opt/concourse/authorized_worker_keys \
  --postgres-user=concourse \
  --postgres-password=DBPassword \
  --postgres-database=concourse \
  --external-url http://192.0.2.1:8080

Modifiez le nom d'utilisateur et le mot de passe du basic-authsi vous le souhaitez. Assurez-vous que le chemin d'accès aux fichiers de clés est correct et assurez-vous que la valeur correcte pour le nom d'utilisateur et le mot de passe dans la configuration de la base de données PostgreSQL est fournie.

Remarque : ATC écoutera le port par défaut 8080et TSA écoutera le port 2222. Si l'authentification n'est pas souhaitée, passez l' --no-really-i-dont-want-any-authoption après avoir supprimé les options d'authentification de base.

Une fois le serveur Web démarré, la sortie suivante doit être affichée.

{"timestamp":"1503657859.661247969","source":"tsa","message":"tsa.listening","log_level":1,"data":{}}
{"timestamp":"1503657859.666907549","source":"atc","message":"atc.listening","log_level":1,"data":{"debug":"127.0.0.1:8079","http":"0.0.0.0:8080"}}

Arrêtez le serveur pour l'instant, car il reste encore quelques choses à configurer.

Démarrez le Concourse CI Worker.

sudo concourse worker \
  --work-dir /opt/concourse/worker \
  --tsa-host 127.0.0.1 \
  --tsa-public-key /opt/concourse/tsa_host_key.pub \
  --tsa-worker-private-key /opt/concourse/worker_key

La commande ci-dessus supposera que le TSA s'exécute sur localhost et écoute le port par défaut 2222.

Bien que le site Web et le travailleur de Concourse puissent être démarrés facilement à l'aide des commandes ci-dessus, il est recommandé d'utiliser Systemd pour gérer le serveur.

Configurer l'environnement et le service Systemd

L'utilisation du service Systemd pour gérer l'application garantit que l'application démarre automatiquement en cas d'échec et au démarrage. Le serveur Concourse ne prend pas de données d'aucun fichier de configuration, mais il peut accéder aux données des variables d'environnement. Au lieu de définir des variables d'environnement globales, créez un nouveau fichier pour stocker les variables d'environnement, puis passez les variables au CI Concourse à l'aide du service Systemd.

Créez un nouveau fichier d'environnement pour Concourse Web.

sudo nano /opt/concourse/web.env

Remplissez le fichier.

CONCOURSE_SESSION_SIGNING_KEY=/opt/concourse/session_signing_key
CONCOURSE_TSA_HOST_KEY=/opt/concourse/tsa_host_key
CONCOURSE_TSA_AUTHORIZED_KEYS=/opt/concourse/authorized_worker_keys

CONCOURSE_POSTGRES_USER=concourse
CONCOURSE_POSTGRES_PASSWORD=DBPassword
CONCOURSE_POSTGRES_DATABASE=concourse

CONCOURSE_BASIC_AUTH_USERNAME=admin
CONCOURSE_BASIC_AUTH_PASSWORD=StrongPass
CONCOURSE_EXTERNAL_URL=http://192.0.2.1:8080

Modifiez le nom d'utilisateur et le mot de passe du BASIC_AUTHsi vous le souhaitez. Assurez-vous que le chemin d'accès aux fichiers de clés est correct et assurez-vous que la valeur correcte pour le nom d'utilisateur et le mot de passe dans la configuration de la base de données PostgreSQL est fournie.

De même, créez un fichier d'environnement pour le travailleur.

sudo nano /opt/concourse/worker.env

Remplissez le fichier.

CONCOURSE_WORK_DIR=/opt/concourse/worker
CONCOURSE_TSA_WORKER_PRIVATE_KEY=/opt/concourse/worker_key
CONCOURSE_TSA_PUBLIC_KEY=/opt/concourse/tsa_host_key.pub
CONCOURSE_TSA_HOST=127.0.0.1

Comme les fichiers d'environnement contiennent un nom d'utilisateur et des mots de passe, modifiez ses autorisations afin qu'il ne soit pas accessible aux autres utilisateurs.

sudo chmod 600 /opt/concourse/*.env

Créez maintenant un nouvel utilisateur pour Concourse pour exécuter l'environnement Web. Cela garantira que le serveur Web fonctionne dans un environnement isolé.

sudo adduser --system concourse

Donner à l'utilisateur de la salle la propriété du répertoire du fichier Concourse CI.

sudo chown -R concourse:concourse /opt/concourse

Créez un nouveau fichier de service systemd pour le service Web Concourse.

sudo nano /etc/systemd/system/concourse-web.service

Remplissez le fichier.

[Unit]
Description=Concourse CI web server
After=postgresql-9.6.service

[Service]
Type=simple
User=concourse
Group=concourse
Restart=on-failure
EnvironmentFile=/opt/concourse/web.env
ExecStart=/usr/bin/concourse web
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=concourse_web

[Install]
WantedBy=multi-user.target

Enregistrez et fermez le fichier. Créez un nouveau fichier de service pour le service de travailleur Concourse.

sudo nano /etc/systemd/system/concourse-worker.service

Remplissez le fichier.

[Unit]
Description=Concourse CI worker process
After=concourse-web.service

[Service]
Type=simple
User=root
Group=root
Restart=on-failure
EnvironmentFile=/opt/concourse/worker.env
ExecStart=/usr/bin/concourse worker
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=concourse_worker

[Install]
WantedBy=multi-user.target

Le service Web et Worker peut maintenant être démarré directement en exécutant:

sudo systemctl start concourse-web concourse-worker

Pour permettre au processus de travail et Web de démarrer automatiquement au démarrage, exécutez:

sudo systemctl enable concourse-worker concourse-web

Pour vérifier l'état des services, exécutez:

sudo systemctl status concourse-worker concourse-web

Si le service n'est pas démarré ou en l' FAILEDétat, supprimez le cache du /tmprépertoire.

sudo rm -rf /tmp/*

Redémarrez les services.

sudo systemctl restart concourse-worker concourse-web

Notez que cette fois, les services ont démarré correctement. Le résultat lors de la vérification de l'état des services doit être similaire.

[user@vultr ~]$ sudo systemctl status concourse-worker concourse-web
● concourse-worker.service - Concourse CI worker process
   Loaded: loaded (/etc/systemd/system/concourse-worker.service; enabled; vendor preset: disabled)
   Active: active (running) since Sat 2017-08-26 07:27:37 UTC; 55s ago
 Main PID: 3037 (concourse)
   CGroup: /system.slice/concourse-worker.service
           └─3037 /usr/bin/concourse worker

Aug 26 07:27:42 vultr.guest concourse_worker[3037]: {"timestamp":"1503732462.934722900","source":"tsa","message":"t...""}}
Aug 26 07:27:42 vultr.guest concourse_worker[3037]: {"timestamp":"1503732462.941227913","source":"guardian","messag...0"}}
...

● concourse-web.service - Concourse CI web server
   Loaded: loaded (/etc/systemd/system/concourse-web.service; enabled; vendor preset: disabled)
   Active: active (running) since Sat 2017-08-26 07:27:37 UTC; 55s ago
 Main PID: 3036 (concourse)
   CGroup: /system.slice/concourse-web.service
           └─3036 /usr/bin/concourse web

Aug 26 07:27:57 vultr.guest concourse_web[3036]: {"timestamp":"1503732477.925554752","source":"tsa","message":"tsa...ve"}}
Aug 26 07:28:02 vultr.guest concourse_web[3036]: {"timestamp":"1503732482.925430775","source":"tsa","message":"tsa...ve"}}
...
Hint: Some lines were ellipsized, use -l to show in full.

Ajustez votre pare-feu pour autoriser le port 8080, sur lequel ATS est en cours d'exécution et le port 2222, sur lequel TSA est en cours d'exécution.

sudo firewall-cmd --zone=public --add-port=8080/tcp --permanent
sudo firewall-cmd --zone=public --add-port=2222/tcp --permanent
sudo firewall-cmd --reload

Connexion au serveur

Une fois le serveur démarré, l'interface Web du CI Concourse est accessible en allant http://192.0.2.1:8080dans n'importe quel navigateur. Connectez-vous à l'aide du nom d'utilisateur et du mot de passe fournis dans le fichier d'environnement.

Pour vous connecter au serveur à l'aide de Fly, exécutez:

fly -t my-ci login -c http://192.0.2.1:8080

La commande ci-dessus est utilisée pour la connexion initiale au serveur. -test utilisé pour fournir un nom cible. remplacer my-cipar n'importe quel nom cible souhaité. La commande ci-dessus se connectera à l'équipe par défaut main. Il vous demandera le nom d'utilisateur et le mot de passe fournis dans le fichier d'environnement.

La sortie ressemblera à ce qui suit.

[user@vultr ~]$ fly -t my-ci login -c http://192.0.2.1:8080
logging in to team 'main'

username: admin
password:

target saved

La connexion cible sera enregistrée pendant une journée. Après cela, il expirera.

Se déconnecter immédiatement.

fly -t my-ci logout

fly peut être utilisé pour se connecter au serveur en dehors du réseau, mais uniquement si le serveur a une adresse IP publique et qu'il est accessible depuis l'extérieur du réseau. Le binaire Windows ou MacOS peut être téléchargé à partir du site de téléchargement ou de l'interface utilisateur Web du serveur.

Configuration du proxy inverse Nginx

Les connexions et autres informations envoyées via l'interface utilisateur Web au serveur Concourse ne sont pas sécurisées. La connexion n'est pas cryptée. Un proxy inverse Nginx peut être configuré avec un SSL gratuit Let's Encrypt.

Installez le serveur Web Nginx et Certbot, qui est l'application cliente de l'AC Let's Encrypt.

sudo yum -y install certbot-nginx nginx

Démarrez et activez Nginx pour démarrer automatiquement au démarrage:

sudo systemctl start nginx
sudo systemctl enable nginx

Avant qu'une demande puisse être effectuée pour les certificats, les ports 80 et 443, ou les services HTTP et HTTPS standard, doivent être activés via le pare-feu. Certbot vérifiera l'autorité de domaine avant d'émettre des certificats.

sudo firewall-cmd --zone=public --add-service=http --permanent
sudo firewall-cmd --zone=public --add-service=https --permanent

Le port 8080 n'a plus besoin d'être autorisé à traverser le pare-feu car Concourse sera désormais exécuté sur le port HTTPS standard. Supprimez l'entrée du pare-feu pour autoriser le port 8080.

sudo firewall-cmd --zone=public --remove-port=8080/tcp --permanent
sudo firewall-cmd --reload

Remarque

Pour obtenir des certificats de Let's Encrypt CA, le domaine pour lequel les certificats doivent être générés doit être dirigé vers le serveur. Sinon, apportez les modifications nécessaires aux enregistrements DNS du domaine et attendez que le DNS se propage avant de refaire la demande de certificat. Certbot vérifie l'autorité de domaine avant de fournir les certificats.

Générez les certificats SSL.

sudo certbot certonly --webroot -w /usr/share/nginx/html -d ci.example.com

Les certificats générés sont susceptibles d'être stockés dans le /etc/letsencrypt/live/ci.example.com/répertoire. Le certificat SSL sera stocké sous fullchain.pemet la clé privée sera stockée sous privkey.pem.

Les certificats Let's Encrypt expirent dans 90 jours, il est donc recommandé de renouveler automatiquement les certificats à l'aide de cronjobs. Cron est un service système utilisé pour exécuter des tâches périodiques.

Ouvrez le fichier de tâche cron.

sudo crontab -e

Ajoutez la ligne suivante à la fin du fichier.

30 5 * * 1 /usr/bin/certbot renew --quiet

La tâche cron ci-dessus s'exécutera tous les lundis à 5h30. Si le certificat doit expirer, il sera automatiquement renouvelé.

Créez un nouvel hôte virtuel.

sudo nano /etc/nginx/conf.d/concourse-ssl.conf

Remplissez le fichier.

server {
    listen 80;
    server_name ci.example.com;
    return 301 https://$host$request_uri;
}
server {

    listen 443;
    server_name ci.example.com;

    ssl_certificate           /etc/letsencrypt/live/ci.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/ci.example.com/privkey.pem;

    ssl on;
    ssl_session_cache  builtin:1000  shared:SSL:10m;
    ssl_protocols  TLSv1 TLSv1.1 TLSv1.2;
    ssl_ciphers HIGH:!aNULL:!eNULL:!EXPORT:!CAMELLIA:!DES:!MD5:!PSK:!RC4;
    ssl_prefer_server_ciphers on;

    access_log    /var/log/nginx/concourse.access.log;

    location / {

      proxy_set_header        Host $host;
      proxy_set_header        X-Real-IP $remote_addr;
      proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;
      proxy_set_header        X-Forwarded-Proto $scheme;
      proxy_pass          http://localhost:8080;
      proxy_read_timeout  90;

      proxy_redirect      http://localhost:8080 https://ci.example.com;
    }
  }

Remarque : remplacez ci.example.compar le domaine réel.

Modifiez le fichier d'environnement créé pour Concourse Web.

sudo nano /opt/concourse/web.env

Modifiez la valeur de CONCOURSE_EXTERNAL_URLet ajoutez également deux lignes supplémentaires à la fin du fichier.

CONCOURSE_EXTERNAL_URL=https://ci.example.com
CONCOURSE_BIND_IP=127.0.0.1
CONCOURSE_BIND_PORT=8080

Enregistrez le fichier et redémarrez Concourse Web, Worker et Nginx Web Server:

sudo systemctl restart concourse-worker concourse-web nginx

Toutes les données envoyées vers et depuis le navigateur sont désormais sécurisées avec des cryptages SSL.