So installieren und konfigurieren Sie Concourse CI unter Ubuntu 16.04

• Einführung
• Voraussetzungen
• Installieren und konfigurieren Sie die PostgreSQL-Datenbank
• Laden Sie Concourse CI herunter und installieren Sie es
• RSA-Schlüssel generieren und einrichten
• Concourse starten
• Konfigurieren Sie die Umgebung und den Systemd-Dienst
• Verbinde mit dem Server
• Einrichten von Nginx Reverse Proxy

Einführung

Continuous Integration ist eine DevOps-Softwareentwicklungspraxis, mit der Entwickler den geänderten Code häufig mehrmals täglich in das gemeinsam genutzte Repository einbinden können. Nach jeder Zusammenführung werden automatische Builds und Tests durchgeführt, um Probleme im Code zu erkennen. Es ermöglicht den Entwicklern, die Fehler schnell zu finden und zu beheben, um die Softwarequalität zu verbessern und eine kontinuierliche Bereitstellung der Software zu gewährleisten. Das Hin- und Herwechseln von Concourse ist sehr einfach, da die gesamte Konfiguration in deklarativen Dateien gespeichert wird, die in die Versionskontrolle eingecheckt werden können. Es bietet auch eine Webbenutzeroberfläche, die die Build-Informationen interaktiv anzeigt.

Concourse-Komponenten.

• ATC ist der Hauptbestandteil der Concourse. Es ist für die Ausführung der Web-Benutzeroberfläche und der API verantwortlich. Es kümmert sich auch um die gesamte Pipeline-Planung.
• TSA ist ein benutzerdefinierter SSH-Server. Es ist für die sichere Registrierung eines Arbeitnehmers bei ATC verantwortlich.
• Die Arbeitnehmer betreiben weiterhin zwei verschiedene Dienste:
  1. Garden ist eine Container-Laufzeit und eine Schnittstelle zum Remote-Orchestrieren von Containern auf einem Worker.
  2. Baggageclaim ist ein Cache- und Artefaktverwaltungsserver.
• Fly ist eine Befehlszeilenschnittstelle, die zur Interaktion mit dem ATC zur Konfiguration von Concourse Pipelines verwendet wird.

Voraussetzungen

• Eine Vultr Ubuntu 16.04-Serverinstanz.
• Ein Sudo-Benutzer .

Stellen Sie sicher, dass Sie alle Vorkommen von 192.0.2.1 und ci.example.comdurch Ihre tatsächliche öffentliche Vultr-IP-Adresse und Ihren tatsächlichen Domainnamen ersetzen .

Aktualisieren Sie Ihr Basissystem mithilfe der Anleitung zum Aktualisieren von Ubuntu 16.04 . Fahren Sie nach der Aktualisierung Ihres Systems mit der Installation von PostgreSQL fort.

Installieren und konfigurieren Sie die PostgreSQL-Datenbank

PostgreSQL ist ein objektrelationales Datenbanksystem. Concourse speichert seine Pipeline-Daten in einer PostgreSQL-Datenbank. Fügen Sie das PostgreSQL-Repository hinzu.

echo "deb http://apt.postgresql.org/pub/repos/apt/ xenial-pgdg main" | sudo tee /etc/apt/sources.list.d/pgdg.list
wget --quiet -O - https://www.postgresql.org/media/keys/ACCC4CF8.asc | sudo apt-key add -
sudo apt update

Installieren Sie den PostgreSQL-Datenbankserver.

sudo apt -y install postgresql

Starten Sie den PostgreSQL-Server und aktivieren Sie ihn beim Start automatisch.

sudo systemctl start postgresql
sudo systemctl enable postgresql

Ändern Sie das Kennwort für den Standardbenutzer von PostgreSQL.

sudo passwd postgres

Melden Sie sich als PostgreSQL-Benutzer an:

sudo su - postgres

Erstellen Sie einen neuen PostgreSQL-Benutzer für Concourse CI.

createuser concourse

Hinweis : Der Standard-PostgreSQL-Benutzer kann zur Authentifizierung der Datenbank verwendet werden. Es wird jedoch empfohlen, einen dedizierten Benutzer zur Authentifizierung der Concourse-Datenbank in einem Produktionssetup zu verwenden.

PostgreSQL bietet eine Shell zum Ausführen von Abfragen in der Datenbank. Wechseln Sie zur PostgreSQL-Shell.

psql

Legen Sie ein Kennwort für den neu erstellten Concourse-Datenbankbenutzer fest.

ALTER USER concourse WITH ENCRYPTED password 'DBPassword';

Wichtig : Durch ein sicheres DBPassword Passwort ersetzen . Notieren Sie sich das Passwort, da es später im Tutorial benötigt wird.

Erstellen Sie eine neue Datenbank für Concourse.

CREATE DATABASE concourse OWNER concourse;

Verlasse die psql Shell.

\q

Wechseln Sie vom aktuellen postgresBenutzer zum sudo- Benutzer.

exit

Laden Sie Concourse CI herunter und installieren Sie es

Laden Sie die neueste Version der ausführbaren Concourse-Datei herunter und speichern Sie sie, /usr/bin damit sie direkt ausgeführt werden kann. Die neueste Version der Concourse- und Fly-Binärdateien finden Sie auf der Concourse-Downloadseite . Neuerscheinungen sind sehr häufig. Ersetzen Sie den unten stehenden Link durch den neuen Link für die neueste Version.

sudo wget https://github.com/concourse/concourse/releases/download/v3.10.0/concourse_linux_amd64 -O /usr/bin/concourse

Laden Sie in ähnlicher Weise die neueste Version der ausführbaren Fly-Datei herunter und speichern Sie sie in /usr/bin.

sudo wget https://github.com/concourse/concourse/releases/download/v3.10.0/fly_linux_amd64 -O /usr/bin/fly

Fly ist die Befehlszeilenschnittstelle, über die eine Verbindung zur ATC-API von Concourse CI hergestellt wird. Fly ist für mehrere Plattformen wie Linux, Windows und MacOS verfügbar.

Weisen Sie den heruntergeladenen concourse und den fly Binärdateien die Ausführungsberechtigung zu .

sudo chmod +x /usr/bin/concourse /usr/bin/fly

Überprüfen Sie, ob Concourse und Fly ordnungsgemäß funktionieren, indem Sie ihre Version überprüfen.

concourse -version
fly -version

RSA-Schlüssel generieren und einrichten

RSA-Schlüsselpaare bieten eine Möglichkeit, die Kommunikation zwischen den Komponenten der Concourse zu verschlüsseln.

Damit Concourse funktioniert, müssen mindestens drei Schlüsselpaare generiert werden. Generieren Sie zum Verschlüsseln der Sitzungsdaten a session_signing_key. Dieser Schlüssel wird auch von TSA verwendet, um die an das ATC gerichteten Anforderungen zu signieren. Generieren Sie zum Sichern des TSA-SSH-Servers a tsa_host_key. Generieren Sie abschließend eine worker_key für jeden Mitarbeiter.

Erstellen Sie ein neues Verzeichnis zum Speichern der Schlüssel und der Konfiguration für Concourse CI.

sudo mkdir /opt/concourse

Generieren Sie die erforderlichen Schlüssel.

sudo ssh-keygen -t rsa -q -N '' -f /opt/concourse/session_signing_key
sudo ssh-keygen -t rsa -q -N '' -f /opt/concourse/tsa_host_key
sudo ssh-keygen -t rsa -q -N '' -f /opt/concourse/worker_key

Autorisieren Sie den öffentlichen Schlüssel der Mitarbeiter, indem Sie dessen Inhalt in die authorized_worker_keys Datei kopieren .

sudo cp /opt/concourse/worker_key.pub /opt/concourse/authorized_worker_keys

Concourse starten

Concourse bietet zwei separate Komponenten, die gestartet werden müssen: das Web und den Worker. Starten Sie das Concourse-Web.

sudo concourse web \
  --basic-auth-username admin \
  --basic-auth-password StrongPass \
  --session-signing-key /opt/concourse/session_signing_key \
  --tsa-host-key /opt/concourse/tsa_host_key \
  --tsa-authorized-keys /opt/concourse/authorized_worker_keys \
  --postgres-user=concourse \
  --postgres-password=DBPassword \
  --postgres-database=concourse \
  --external-url http://192.0.2.1:8080

Ändern Sie bei Bedarf den Benutzernamen und das Passwort des basic-auth . Stellen Sie sicher, dass der Pfad zu den Schlüsseldateien korrekt ist, und stellen Sie sicher, dass der richtige Wert für Benutzername und Kennwort in der PostgreSQL-Datenbankkonfiguration angegeben ist.

Hinweis : ATC überwacht den Standardport 8080 und TSA den Port 2222. Wenn keine Authentifizierung gewünscht wird, übergeben Sie die --no-really-i-dont-want-any-authOption, nachdem Sie die grundlegenden Authentifizierungsoptionen entfernt haben.

Nach dem Start des Webservers wird die folgende Ausgabe angezeigt.

{"timestamp":"1503657859.661247969","source":"tsa","message":"tsa.listening","log_level":1,"data":{}}
{"timestamp":"1503657859.666907549","source":"atc","message":"atc.listening","log_level":1,"data":{"debug":"127.0.0.1:8079","http":"0.0.0.0:8080"}}

Stoppen Sie den Server vorerst, da noch einige Dinge eingerichtet werden müssen.

Starten Sie den Concourse CI Worker.

sudo concourse worker \
  --work-dir /opt/concourse/worker \
  --tsa-host 127.0.0.1 \
  --tsa-public-key /opt/concourse/tsa_host_key.pub \
  --tsa-worker-private-key /opt/concourse/worker_key

Der obige Befehl setzt voraus, dass der TSA auf localhost ausgeführt wird und den Standardport überwacht 2222.

Obwohl das Concourse-Web und der Worker mit den obigen Befehlen problemlos gestartet werden können, wird empfohlen, Systemd zur Verwaltung des Servers zu verwenden.

Konfigurieren Sie die Umgebung und den Systemd-Dienst

Durch die Verwendung des Systemd-Dienstes zum Verwalten der Anwendung wird sichergestellt, dass die Anwendung bei Fehlern und beim Start automatisch gestartet wird. Der Concourse-Server nimmt keine Daten aus einer Konfigurationsdatei, kann jedoch über Umgebungsvariablen auf die Daten zugreifen. Anstatt globale Umgebungsvariablen festzulegen, erstellen Sie eine neue Datei zum Speichern der Umgebungsvariablen und übergeben Sie die Variablen dann mithilfe des Systemd-Dienstes an das Concourse-CI.

Erstellen Sie eine neue Umgebungsdatei für Concourse Web.

sudo nano /opt/concourse/web.env

Füllen Sie die Datei.

CONCOURSE_SESSION_SIGNING_KEY=/opt/concourse/session_signing_key
CONCOURSE_TSA_HOST_KEY=/opt/concourse/tsa_host_key
CONCOURSE_TSA_AUTHORIZED_KEYS=/opt/concourse/authorized_worker_keys

CONCOURSE_POSTGRES_USER=concourse
CONCOURSE_POSTGRES_PASSWORD=DBPassword
CONCOURSE_POSTGRES_DATABASE=concourse

CONCOURSE_BASIC_AUTH_USERNAME=admin
CONCOURSE_BASIC_AUTH_PASSWORD=StrongPass
CONCOURSE_EXTERNAL_URL=http://192.0.2.1:8080

Ändern Sie bei Bedarf den Benutzernamen und das Passwort des BASIC_AUTH . Stellen Sie sicher, dass der Pfad zu den Schlüsseldateien korrekt ist, und stellen Sie sicher, dass der richtige Wert für Benutzername und Kennwort in der PostgreSQL-Datenbankkonfiguration angegeben ist.

Erstellen Sie auf ähnliche Weise eine Umgebungsdatei für den Worker.

sudo nano /opt/concourse/worker.env

Füllen Sie die Datei.

CONCOURSE_WORK_DIR=/opt/concourse/worker
CONCOURSE_TSA_WORKER_PRIVATE_KEY=/opt/concourse/worker_key
CONCOURSE_TSA_PUBLIC_KEY=/opt/concourse/tsa_host_key.pub
CONCOURSE_TSA_HOST=127.0.0.1

Da die Umgebungsdateien Benutzernamen und Kennwörter enthalten, ändern Sie ihre Berechtigungen so, dass andere Benutzer nicht darauf zugreifen können.

sudo chmod 600 /opt/concourse/*.env

Erstellen Sie jetzt einen neuen Benutzer für Concourse, um die Webumgebung auszuführen. Dadurch wird sichergestellt, dass der Webserver in einer isolierten Umgebung ausgeführt wird.

sudo useradd concourse

Geben Sie dem Concourse-Benutzer das Eigentum am Verzeichnis der Concourse CI-Datei.

sudo chown -R concourse:concourse /opt/concourse

Erstellen Sie eine neue systemd-Servicedatei für den Concourse-Webdienst.

sudo nano /etc/systemd/system/concourse-web.service

Füllen Sie die Datei.

[Unit]
Description=Concourse CI web server

[Service]
Type=simple
User=concourse
Group=concourse
Restart=on-failure
EnvironmentFile=/opt/concourse/web.env
ExecStart=/usr/bin/concourse web
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=concourse_web

[Install]
WantedBy=multi-user.target

Speichern und schließen Sie die Datei. Erstellen Sie eine neue Servicedatei für den Concourse Worker-Service.

sudo nano /etc/systemd/system/concourse-worker.service

Füllen Sie die Datei.

[Unit]
Description=Concourse CI worker process

[Service]
Type=simple
Restart=on-failure
EnvironmentFile=/opt/concourse/worker.env
ExecStart=/usr/bin/concourse worker
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=concourse_worker

[Install]
WantedBy=multi-user.target

Der Web- und Worker-Service kann jetzt direkt gestartet werden.

sudo systemctl start concourse-web concourse-worker

Führen Sie Folgendes aus, damit der Worker- und Webprozess beim Start automatisch gestartet werden kann.

sudo systemctl enable concourse-worker concourse-web

Führen Sie die folgenden Schritte aus, um den Status der Dienste zu überprüfen.

sudo systemctl status concourse-worker concourse-web

Wenn der Dienst nicht gestartet wird oder sich im FAILED Status befindet, entfernen Sie den Cache aus dem /tmp Verzeichnis.

sudo rm -rf /tmp/*

Starten Sie die Dienste neu.

sudo systemctl restart concourse-worker concourse-web

Beachten Sie, dass die Dienste diesmal korrekt gestartet wurden. Die Ausgabe nach Überprüfung des Status der Dienste ähnelt der folgenden.

[user@vultr ~]$ sudo systemctl status concourse-worker concourse-web
● concourse-worker.service - Concourse CI worker process
   Loaded: loaded (/etc/systemd/system/concourse-worker.service; enabled; vendor preset: disabled)
   Active: active (running) since Sat 2017-08-26 07:27:37 UTC; 55s ago
 Main PID: 3037 (concourse)
   CGroup: /system.slice/concourse-worker.service
           └─3037 /usr/bin/concourse worker

Aug 26 07:27:42 vultr.guest concourse_worker[3037]: {"timestamp":"1503732462.934722900","source":"tsa","message":"t...""}}
Aug 26 07:27:42 vultr.guest concourse_worker[3037]: {"timestamp":"1503732462.941227913","source":"guardian","messag...0"}}

...

● concourse-web.service - Concourse CI web server
   Loaded: loaded (/etc/systemd/system/concourse-web.service; enabled; vendor preset: disabled)
   Active: active (running) since Sat 2017-08-26 07:27:37 UTC; 55s ago
 Main PID: 3036 (concourse)
   CGroup: /system.slice/concourse-web.service
           └─3036 /usr/bin/concourse web

Aug 26 07:27:57 vultr.guest concourse_web[3036]: {"timestamp":"1503732477.925554752","source":"tsa","message":"tsa...ve"}}
Aug 26 07:28:02 vultr.guest concourse_web[3036]: {"timestamp":"1503732482.925430775","source":"tsa","message":"tsa...ve"}}
...
Hint: Some lines were ellipsized, use -l to show in full.

Verbinde mit dem Server

Sobald der Server gestartet ist, kann über einen http://192.0.2.1:8080 beliebigen Browser auf die Weboberfläche des Concourse CI zugegriffen werden . Melden Sie sich mit dem in der Umgebungsdatei angegebenen Benutzernamen und Kennwort an.

Führen Sie die folgenden Schritte aus, um über Fly eine Verbindung zum Server herzustellen.

fly -t my-ci login -c http://192.0.2.1:8080

Der obige Befehl wird für die erste Anmeldung am Server verwendet. -t wird verwendet, um einen Zielnamen anzugeben. durch my-ci einen beliebigen Zielnamen ersetzen . Der obige Befehl meldet sich beim Standardteam an main. Sie werden nach dem Benutzernamen und dem Kennwort gefragt, die in der Umgebungsdatei angegeben sind.

Die Ausgabe sieht wie folgt aus.

[user@vultr ~]$ fly -t my-ci login -c http://192.0.2.1:8080
logging in to team 'main'

username: admin
password:

target saved

Das Ziel-Login wird für einen Tag gespeichert. Danach läuft es ab.

Um sich sofort abzumelden.

fly -t my-ci logout

Fly kann verwendet werden, um sich außerhalb des Netzwerks beim Server anzumelden, jedoch nur, wenn der Server eine öffentliche IP-Adresse hat und von außerhalb des Netzwerks zugänglich ist. Die Windows- oder MacOS-Binärdatei kann von der Download-Site oder von der Web-Benutzeroberfläche des Servers heruntergeladen werden.

Einrichten von Nginx Reverse Proxy

Anmeldungen und andere Informationen, die über die Web-Benutzeroberfläche an den Concourse-Server gesendet werden, sind nicht gesichert. Die Verbindung ist nicht verschlüsselt. Ein Nginx-Reverse-Proxy kann mit einem kostenlosen Let's Encrypt-SSL eingerichtet werden.

Installieren Sie Nginx.

sudo apt -y install nginx

Starten Sie Nginx und aktivieren Sie es, um es beim Booten automatisch zu starten.

sudo systemctl start nginx
sudo systemctl enable nginx

Fügen Sie das Certbot-Repository hinzu.

sudo add-apt-repository --yes ppa:certbot/certbot
sudo apt-get update

Installieren Sie Certbot, die Clientanwendung für Let's Encrypt CA.

sudo apt -y install certbot

Hinweis : Um Zertifikate von Let's Encrypt CA zu erhalten, muss die Domäne, für die die Zertifikate generiert werden sollen, auf den Server gerichtet sein. Wenn nicht, nehmen Sie die erforderlichen Änderungen an den DNS-Einträgen der Domäne vor und warten Sie, bis sich der DNS verbreitet hat, bevor Sie die Zertifikatanforderung erneut stellen. Certbot überprüft die Domänenautorität, bevor die Zertifikate bereitgestellt werden.

Generieren Sie die SSL-Zertifikate.

sudo certbot certonly --webroot -w /var/www/html -d ci.example.com

Die generierten Zertifikate werden wahrscheinlich im /etc/letsencrypt/live/ci.example.com/ Verzeichnis gespeichert . Das SSL-Zertifikat wird als gespeichert fullchain.pem und der private Schlüssel wird als gespeichert privkey.pem.

Lassen Sie uns Zertifikate verschlüsseln, die in 90 Tagen ablaufen. Es wird daher empfohlen, die automatische Verlängerung für die Zertifikate mithilfe von Cronjobs einzurichten. Cron ist ein Systemdienst, mit dem regelmäßige Aufgaben ausgeführt werden.

Öffnen Sie die Cron-Jobdatei.

sudo crontab -e

Fügen Sie am Ende der Datei die folgende Zeile hinzu.

30 5 * * * /usr/bin/certbot renew --quiet

Der oben genannte Cron-Job wird täglich um 5:30 Uhr ausgeführt. Wenn das Zertifikat abläuft, wird es automatisch erneuert.

Erstellen Sie einen neuen virtuellen Host.

sudo nano /etc/nginx/sites-available/concourse

Füllen Sie die Datei.

server {
    listen 80;
    server_name ci.example.com;
    return 301 https://$host$request_uri;
}
server {

    listen 443;
    server_name ci.example.com;

    ssl_certificate           /etc/letsencrypt/live/ci.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/ci.example.com/privkey.pem;

    ssl on;
    ssl_session_cache  builtin:1000  shared:SSL:10m;
    ssl_protocols  TLSv1 TLSv1.1 TLSv1.2;
    ssl_ciphers HIGH:!aNULL:!eNULL:!EXPORT:!CAMELLIA:!DES:!MD5:!PSK:!RC4;
    ssl_prefer_server_ciphers on;

    access_log    /var/log/nginx/concourse.access.log;

    location / {

      proxy_set_header        Host $host;
      proxy_set_header        X-Real-IP $remote_addr;
      proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;
      proxy_set_header        X-Forwarded-Proto $scheme;
      proxy_pass          http://localhost:8080;
      proxy_read_timeout  90;

      proxy_redirect      http://localhost:8080 https://ci.example.com;
    }
  }

Hinweis : Durch die eigentliche Domain ersetzen ci.example.com.

Aktivieren Sie die Konfigurationsdatei.

sudo ln -s /etc/nginx/sites-available/concourse /etc/nginx/sites-enabled/concourse

Bearbeiten Sie die für Concourse Web erstellte Umgebungsdatei.

sudo nano /opt/concourse/web.env

Ändern Sie den Wert von CONCOURSE_EXTERNAL_URL und fügen Sie am Ende der Datei zwei weitere Zeilen hinzu.

CONCOURSE_EXTERNAL_URL=https://ci.example.com
CONCOURSE_BIND_IP=127.0.0.1
CONCOURSE_BIND_PORT=8080

Speichern Sie die Datei und starten Sie Concourse Web, Worker und Nginx neu.

sudo systemctl restart concourse-worker concourse-web nginx

Alle an und vom Browser gesendeten Daten sind jetzt mit SSL-Verschlüsselungen gesichert.