Ubuntu 16.04에서 Concourse CI를 설치 및 구성하는 방법

• 소개
• 전제 조건
• PostgreSQL 데이터베이스 설치 및 구성
• Concourse CI 다운로드 및 설치
• RSA 키 생성 및 설정
• 콩 코스 시작
• 환경 및 시스템 서비스 구성
• 서버에 연결
• Nginx 리버스 프록시 설정

소개

Continuous Integration은 개발자가 하루에 여러 번 수정 된 코드를 공유 저장소에 자주 병합 할 수있는 DevOps 소프트웨어 개발 실습입니다. 각 병합 후에는 자동 빌드 및 테스트가 수행되어 코드의 문제를 감지합니다. 이를 통해 개발자는 오류를 신속하게 찾아 해결하여 소프트웨어 품질을 개선하고 소프트웨어를 지속적으로 제공 할 수 있습니다. Concourse로 전환하거나 전환하는 것은 버전 제어로 확인할 수있는 선언적 파일로 모든 구성을 유지하기 때문에 매우 쉽습니다. 또한 빌드 정보를 대화식으로 표시하는 웹 사용자 인터페이스를 제공합니다.

콩 코스 부품.

• ATC 는 Concourse의 주요 구성 요소입니다. 웹 UI 및 API 실행을 담당합니다. 또한 모든 파이프 라인 예약을 관리합니다.
• TSA 는 사용자 정의 빌드 SSH 서버입니다. ATC에 근로자를 안전하게 등록해야합니다.
• 근로자 는 두 가지 서비스를 추가로 운영합니다.
  1. Garden 은 컨테이너 런타임이며 작업자의 컨테이너를 원격으로 조정하기위한 인터페이스입니다.
  2. 수하물 청구 는 캐시 및 아티팩트 관리 서버입니다.
• Fly 는 ATC와 상호 작용하여 Concourse Pipelines를 구성하는 데 사용되는 명령 줄 인터페이스입니다.

전제 조건

• Vultr Ubuntu 16.04 서버 인스턴스
• sudo는 사용자 .

의 모든 항목을 대체해야 192.0.2.1 하고 ci.example.com 실제 Vultr 공용 IP 주소와 실제 도메인 이름으로.

Ubuntu 16.04 업데이트 방법 안내서를 사용하여 기본 시스템을 업데이트하십시오 . 시스템이 업데이트되면 PostgreSQL 설치를 진행하십시오.

PostgreSQL 데이터베이스 설치 및 구성

PostgreSQL은 객체 관계형 데이터베이스 시스템입니다. Concourse는 파이프 라인 데이터를 PostgreSQL 데이터베이스에 저장합니다. PostgreSQL 저장소를 추가하십시오.

echo "deb http://apt.postgresql.org/pub/repos/apt/ xenial-pgdg main" | sudo tee /etc/apt/sources.list.d/pgdg.list
wget --quiet -O - https://www.postgresql.org/media/keys/ACCC4CF8.asc | sudo apt-key add -
sudo apt update

PostgreSQL 데이터베이스 서버를 설치하십시오.

sudo apt -y install postgresql

PostgreSQL 서버를 시작하고 부팅시 자동으로 시작되도록합니다.

sudo systemctl start postgresql
sudo systemctl enable postgresql

기본 PostgreSQL 사용자의 비밀번호를 변경하십시오.

sudo passwd postgres

PostgreSQL 사용자로 로그인하십시오 :

sudo su - postgres

Concourse CI에 대한 새 PostgreSQL 사용자를 생성하십시오.

createuser concourse

참고 : 기본 PostgreSQL 사용자는 데이터베이스 인증에 사용할 수 있지만 프로덕션 설정에서 Concourse 데이터베이스 인증에는 전용 사용자를 사용하는 것이 좋습니다.

PostgreSQL은 데이터베이스에서 쿼리를 실행하기위한 쉘을 제공합니다. PostgreSQL 셸로 전환하십시오.

psql

새로 작성된 Concourse 데이터베이스 사용자의 비밀번호를 설정하십시오.

ALTER USER concourse WITH ENCRYPTED password 'DBPassword';

중요 : 강력한 비밀번호로 교체하십시오 DBPassword. 학습서의 뒷부분에서 필요한 비밀번호를 기록해 두십시오.

Concourse에 대한 새 데이터베이스를 작성하십시오.

CREATE DATABASE concourse OWNER concourse;

psql 쉘을 종료하십시오 .

\q

현재 postgres사용자 에서 sudo 사용자로 전환하십시오 .

exit

Concourse CI 다운로드 및 설치

최신 버전의 Concourse 실행 파일을 다운로드하여 /usr/bin 직접 실행할 수 있도록 저장하십시오 . Concourse 및 Fly 바이너리의 최신 버전은 Concourse 다운로드 페이지 에서 찾을 수 있습니다 . 새로운 릴리스는 매우 빈번합니다. 아래 링크를 최신 버전의 새 링크로 바꾸십시오.

sudo wget https://github.com/concourse/concourse/releases/download/v3.10.0/concourse_linux_amd64 -O /usr/bin/concourse

마찬가지로 최신 버전의 fly 실행 파일을 다운로드하여에 저장하십시오 /usr/bin.

sudo wget https://github.com/concourse/concourse/releases/download/v3.10.0/fly_linux_amd64 -O /usr/bin/fly

Fly는 Concourse CI의 ATC API에 연결하는 데 사용되는 명령 행 인터페이스입니다. Linux, Windows 및 MacOS와 같은 여러 플랫폼에서 플라이를 사용할 수 있습니다.

다운로드 concourse 및 fly 바이너리에 실행 권한을 할당하십시오 .

sudo chmod +x /usr/bin/concourse /usr/bin/fly

버전을 확인하여 Concourse 및 Fly가 올바르게 작동하는지 확인하십시오.

concourse -version
fly -version

RSA 키 생성 및 설정

RSA 키 쌍은 Concourse 구성 요소 간의 통신을 암호화하는 방법을 제공합니다.

Concourse가 작동하려면 3 쌍 이상의 키가 생성되어야합니다. 세션 데이터를 암호화하려면을 생성하십시오 session_signing_key. 이 키는 또한 TSA에서 ATC에 대한 요청에 서명하는 데 사용됩니다. TSA SSH 서버를 보호하려면을 생성하십시오 tsa_host_key. 마지막으로 worker_key 각 작업자에 대해를 생성하십시오 .

Concourse CI와 관련된 키 및 구성을 저장할 새 디렉토리를 작성하십시오.

sudo mkdir /opt/concourse

필요한 키를 생성하십시오.

sudo ssh-keygen -t rsa -q -N '' -f /opt/concourse/session_signing_key
sudo ssh-keygen -t rsa -q -N '' -f /opt/concourse/tsa_host_key
sudo ssh-keygen -t rsa -q -N '' -f /opt/concourse/worker_key

내용을 authorized_worker_keys 파일 에 복사하여 근로자의 공개 키를 승인 합니다.

sudo cp /opt/concourse/worker_key.pub /opt/concourse/authorized_worker_keys

콩 코스 시작

Concourse는 웹과 작업 자라는 두 가지 별도의 구성 요소를 제공해야합니���. 콩 코스 웹을 시작하십시오.

sudo concourse web \
  --basic-auth-username admin \
  --basic-auth-password StrongPass \
  --session-signing-key /opt/concourse/session_signing_key \
  --tsa-host-key /opt/concourse/tsa_host_key \
  --tsa-authorized-keys /opt/concourse/authorized_worker_keys \
  --postgres-user=concourse \
  --postgres-password=DBPassword \
  --postgres-database=concourse \
  --external-url http://192.0.2.1:8080

basic-auth 원하는 경우 사용자 이름과 비밀번호를 변경하십시오 . 키 파일의 경로가 올바른지 확인하고 PostgreSQL 데이터베이스 구성에서 사용자 이름 및 비밀번호의 올바른 값이 제공되었는지 확인하십시오.

참고 : ATC는 기본 포트 8080 를 수신하고 TSA는 포트를 수신합니다 2222. 인증이 필요하지 않은 경우 --no-really-i-dont-want-any-auth기본 인증 옵션을 제거한 후 옵션을 전달하십시오 .

웹 서버가 시작되면 다음과 같은 출력이 표시됩니다.

{"timestamp":"1503657859.661247969","source":"tsa","message":"tsa.listening","log_level":1,"data":{}}
{"timestamp":"1503657859.666907549","source":"atc","message":"atc.listening","log_level":1,"data":{"debug":"127.0.0.1:8079","http":"0.0.0.0:8080"}}

몇 가지 사항을 더 설정해야하므로 지금은 서버를 중지하십시오.

Concourse CI Worker를 시작하십시오.

sudo concourse worker \
  --work-dir /opt/concourse/worker \
  --tsa-host 127.0.0.1 \
  --tsa-public-key /opt/concourse/tsa_host_key.pub \
  --tsa-worker-private-key /opt/concourse/worker_key

위의 명령은 TSA가 localhost에서 실행되고 기본 포트를 수신한다고 가정합니다 2222.

위의 명령을 사용하여 Concourse 웹 및 작업자를 쉽게 시작할 수 있지만 Systemd를 사용하여 서버를 관리하는 것이 좋습니다.

환경 및 시스템 서비스 구성

응용 프로그램 관리를 위해 Systemd 서비스를 사용하면 응용 프로그램이 오류 및 부팅시 자동으로 시작됩니다. Concourse 서버는 구성 파일에서 데이터를 가져 오지 않지만 환경 변수에서 데이터에 액세스 할 수 있습니다. 전역 환경 변수를 설정하는 대신 환경 변수를 저장할 새 파일을 작성한 다음 Systemd 서비스를 사용하여 변수를 Concourse CI로 전달하십시오.

Concourse 웹용 새 환경 파일을 작성하십시오.

sudo nano /opt/concourse/web.env

파일을 채 웁니다.

CONCOURSE_SESSION_SIGNING_KEY=/opt/concourse/session_signing_key
CONCOURSE_TSA_HOST_KEY=/opt/concourse/tsa_host_key
CONCOURSE_TSA_AUTHORIZED_KEYS=/opt/concourse/authorized_worker_keys

CONCOURSE_POSTGRES_USER=concourse
CONCOURSE_POSTGRES_PASSWORD=DBPassword
CONCOURSE_POSTGRES_DATABASE=concourse

CONCOURSE_BASIC_AUTH_USERNAME=admin
CONCOURSE_BASIC_AUTH_PASSWORD=StrongPass
CONCOURSE_EXTERNAL_URL=http://192.0.2.1:8080

BASIC_AUTH 원하는 경우 사용자 이름과 비밀번호를 변경하십시오 . 키 파일의 경로가 올바른지 확인하고 PostgreSQL 데이터베이스 구성에서 사용자 이름 및 비밀번호의 올바른 값이 제공되었는지 확인하십시오.

마찬가지로 작업자를위한 환경 파일을 만듭니다.

sudo nano /opt/concourse/worker.env

파일을 채 웁니다.

CONCOURSE_WORK_DIR=/opt/concourse/worker
CONCOURSE_TSA_WORKER_PRIVATE_KEY=/opt/concourse/worker_key
CONCOURSE_TSA_PUBLIC_KEY=/opt/concourse/tsa_host_key.pub
CONCOURSE_TSA_HOST=127.0.0.1

환경 파일에는 사용자 이름과 비밀번호가 포함되어 있으므로 다른 사용자가 액세스 할 수 없도록 권한을 변경하십시오.

sudo chmod 600 /opt/concourse/*.env

이제 웹 환경을 실행하기 위해 Concourse의 새 사용자를 작성하십시오. 이렇게하면 웹 서버가 격리 된 환경에서 실행되고 있습니다.

sudo useradd concourse

Concourse CI 파일의 디렉토리에 대한 Concourse 사용자 소유권을 부여하십시오.

sudo chown -R concourse:concourse /opt/concourse

Concourse 웹 서비스에 대한 새로운 시스템 서비스 파일을 작성하십시오.

sudo nano /etc/systemd/system/concourse-web.service

파일을 채 웁니다.

[Unit]
Description=Concourse CI web server

[Service]
Type=simple
User=concourse
Group=concourse
Restart=on-failure
EnvironmentFile=/opt/concourse/web.env
ExecStart=/usr/bin/concourse web
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=concourse_web

[Install]
WantedBy=multi-user.target

파일을 저장하고 닫습니다. Concourse 작업자 서비스에 대한 새 서비스 파일을 작성하십시오.

sudo nano /etc/systemd/system/concourse-worker.service

파일을 채 웁니다.

[Unit]
Description=Concourse CI worker process

[Service]
Type=simple
Restart=on-failure
EnvironmentFile=/opt/concourse/worker.env
ExecStart=/usr/bin/concourse worker
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=concourse_worker

[Install]
WantedBy=multi-user.target

웹 및 작업자 서비스를 이제 바로 시작할 수 있습니다.

sudo systemctl start concourse-web concourse-worker

부팅시 작업자와 웹 프로세스가 자동으로 시작되도록하려면 다음을 실행하십시오.

sudo systemctl enable concourse-worker concourse-web

서비스 상태를 확인하려면 다음을 실행하십시오.

sudo systemctl status concourse-worker concourse-web

서비스가 시작되지 않았거나 FAILED 상태에 있으면 /tmp 디렉토리 에서 캐시를 제거하십시오 .

sudo rm -rf /tmp/*

서비스를 다시 시작하십시오.

sudo systemctl restart concourse-worker concourse-web

이번에는 서비스가 올바르게 시작되었습니다. 서비스 상태를 확인한 결과는 다음과 유사합니다.

[user@vultr ~]$ sudo systemctl status concourse-worker concourse-web
● concourse-worker.service - Concourse CI worker process
   Loaded: loaded (/etc/systemd/system/concourse-worker.service; enabled; vendor preset: disabled)
   Active: active (running) since Sat 2017-08-26 07:27:37 UTC; 55s ago
 Main PID: 3037 (concourse)
   CGroup: /system.slice/concourse-worker.service
           └─3037 /usr/bin/concourse worker

Aug 26 07:27:42 vultr.guest concourse_worker[3037]: {"timestamp":"1503732462.934722900","source":"tsa","message":"t...""}}
Aug 26 07:27:42 vultr.guest concourse_worker[3037]: {"timestamp":"1503732462.941227913","source":"guardian","messag...0"}}

...

● concourse-web.service - Concourse CI web server
   Loaded: loaded (/etc/systemd/system/concourse-web.service; enabled; vendor preset: disabled)
   Active: active (running) since Sat 2017-08-26 07:27:37 UTC; 55s ago
 Main PID: 3036 (concourse)
   CGroup: /system.slice/concourse-web.service
           └─3036 /usr/bin/concourse web

Aug 26 07:27:57 vultr.guest concourse_web[3036]: {"timestamp":"1503732477.925554752","source":"tsa","message":"tsa...ve"}}
Aug 26 07:28:02 vultr.guest concourse_web[3036]: {"timestamp":"1503732482.925430775","source":"tsa","message":"tsa...ve"}}
...
Hint: Some lines were ellipsized, use -l to show in full.

서버에 연결

서버가 시작되면 http://192.0.2.1:8080 모든 브라우저에서 Concourse CI의 웹 인터페이스에 액세스 할 수 있습니다 . 환경 파일에 제공된 사용자 이름 및 비밀번호를 사용하여 로그인하십시오.

Fly를 사용하여 서버에 연결하려면 다음을 실행하십시오.

fly -t my-ci login -c http://192.0.2.1:8080

위의 명령은 서버에 처음 로그인 할 때 사용됩니다. -t 대상 이름을 제공하는 데 사용됩니다. my-ci 원하는 대상 이름으로 바꾸십시오 . 위의 명령은 기본 팀에 로그인 main합니다. 환경 파일에 제공된 사용자 이름과 비밀번호를 묻습니다.

결과는 다음과 같습니다.

[user@vultr ~]$ fly -t my-ci login -c http://192.0.2.1:8080
logging in to team 'main'

username: admin
password:

target saved

대상 로그인은 하루 동안 저장됩니다. 그 후에는 만료됩니다.

즉시 로그 아웃합니다.

fly -t my-ci logout

플라이를 사용하여 네트워크 외부의 서버에 로그인 할 수 있지만 서버에 공용 IP 주소가 있고 네트워크 외부에서 액세스 할 수있는 경우에만 가능합니다. Windows 또는 MacOS 바이너리는 다운로드 사이트 또는 서버의 웹 UI에서 다운로드 할 수 있습니다.

Nginx 리버스 프록시 설정

웹 UI를 통해 Concourse 서버로 전송 된 로그인 및 기타 정보는 보안되지 않습니다. 연결이 암호화되지 않았습니다. Nginx 리버스 프록시는 Let 's Encrypt free SSL로 설정할 수 있습니다.

Nginx를 설치하십시오.

sudo apt -y install nginx

Nginx를 시작하고 부팅시 자동으로 시작되도록합니다.

sudo systemctl start nginx
sudo systemctl enable nginx

Certbot 저장소를 추가하십시오.

sudo add-apt-repository --yes ppa:certbot/certbot
sudo apt-get update

Let 's Encrypt CA의 클라이언트 응용 프로그램 인 Certbot을 설치하십시오.

sudo apt -y install certbot

참고 : Let 's Encrypt CA에서 인증서를 얻으려면 인증서가 생성 될 도메인이 서버를 가리켜 야합니다. 그렇지 않은 경우 도메인의 DNS 레코드를 필요한대로 변경하고 인증서가 다시 요청되기 전에 DNS가 전파 될 때까지 기다리십시오. Certbot은 인증서를 제공하기 전에 도메인 권한을 확인합니다.

SSL 인증서를 생성하십시오.

sudo certbot certonly --webroot -w /var/www/html -d ci.example.com

생성 된 인증서는 /etc/letsencrypt/live/ci.example.com/ 디렉토리에 저장 될 수 있습니다 . SSL 인증서는로 저장되고 fullchain.pem 개인 키는로 저장됩니다 privkey.pem.

인증서 암호화는 90 일 후에 만료되므로 인증서 자동 갱신은 cronjobs를 사용하여 설정하는 것이 좋습니다. Cron은 정기적 인 작업을 실행하는 데 사용되는 시스템 서비스입니다.

크론 작업 파일을여십시오.

sudo crontab -e

파일 끝에 다음 줄을 추가하십시오.

30 5 * * * /usr/bin/certbot renew --quiet

위의 크론 작업은 매일 오전 5:30에 실행됩니다. 인증서가 만료 예정인 경우 자동으로 갱신됩니다.

새 가상 호스트를 작성하십시오.

sudo nano /etc/nginx/sites-available/concourse

파일을 채 웁니다.

server {
    listen 80;
    server_name ci.example.com;
    return 301 https://$host$request_uri;
}
server {

    listen 443;
    server_name ci.example.com;

    ssl_certificate           /etc/letsencrypt/live/ci.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/ci.example.com/privkey.pem;

    ssl on;
    ssl_session_cache  builtin:1000  shared:SSL:10m;
    ssl_protocols  TLSv1 TLSv1.1 TLSv1.2;
    ssl_ciphers HIGH:!aNULL:!eNULL:!EXPORT:!CAMELLIA:!DES:!MD5:!PSK:!RC4;
    ssl_prefer_server_ciphers on;

    access_log    /var/log/nginx/concourse.access.log;

    location / {

      proxy_set_header        Host $host;
      proxy_set_header        X-Real-IP $remote_addr;
      proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;
      proxy_set_header        X-Forwarded-Proto $scheme;
      proxy_pass          http://localhost:8080;
      proxy_read_timeout  90;

      proxy_redirect      http://localhost:8080 https://ci.example.com;
    }
  }

참고 : 실제 도메인으로 교체하십시오 ci.example.com.

구성 파일을 활성화하십시오.

sudo ln -s /etc/nginx/sites-available/concourse /etc/nginx/sites-enabled/concourse

콩 코스 웹용으로 작성된 환경 파일을 편집하십시오.

sudo nano /opt/concourse/web.env

CONCOURSE_EXTERNAL_URL 파일 끝에 값을 변경하고 두 줄을 더 추가하십시오.

CONCOURSE_EXTERNAL_URL=https://ci.example.com
CONCOURSE_BIND_IP=127.0.0.1
CONCOURSE_BIND_PORT=8080

파일을 저장하고 Concourse Web, Worker 및 Nginx를 다시 시작하십시오.

sudo systemctl restart concourse-worker concourse-web nginx

브라우저와주고받는 모든 데이터는 이제 SSL 암호화로 보호됩니다.