CentOS 7에서 Buildbot을 설치하고 구성하는 방법

• 전제 조건
• 파이썬 의존성 설치
• PostgreSQL 설치
• Buildbot 설치
• Buildbot Master 구성
• Buildbot Worker 구성
• 시스템 서비스 설정
• 인증 활성화
• SSL을 암호화하여 Buildbot 보안

Buildbot은 소프트웨어 빌드, 테스트 및 배포를 자동화하는 오픈 소스, Python 기반의 지속적인 통합 도구입니다. Buildbot은 하나 이상의 Buildbot 마스터와 여러 작업자로 구성됩니다. Buildbot 마스터 또는 Buildmaster에는 시스템의 중앙 명령이 있습니다. 빌드 환경, 작업자를 관리하고 작업자에게 작업을 보내는 것에 대한 모든 결정을 내립니다. Buildmaster는 코드 저장소의 변경 사항을 감지하고 명령 또는 작업을 작업자에게 보내서 실행합니다. 작업자는 작업을 실행하고 결과를 Buildmaster에 반환합니다. 그런 다음 Buildmaster는 여러 지원 채널을 통해 개발자에게 알립니다. 이 튜토리얼에서는 CentOS 7에 Buildbot 마스터 및 작업자를 설치합니다. 또한 보안 리버스 프록시로 인증 및 Nginx를 구성합니다.

전제 조건

• RAM이 1GB 이상인 Vultr CentOS 7 서버 인스턴스
• sudo는 사용자 .
• 등록 된 도메인 이름이 서버를 가리 켰습니다.

이 자습서에서는 192.168.1.1퍼블릭 IP 주소와 ci.example.comVultr 인스턴스를 가리키는 도메인 이름으로 사용합니다. 예제 도메인 이름 및 IP 주소의 모든 항목을 실제 이름으로 바꾸십시오.

CentOS 7 업데이트 방법 안내서를 사용하여 기본 시스템을 업데이트하십시오 . 시스템이 업데이트되면 PostgreSQL 설치를 진행하십시오.

파이썬 의존성 설치

Python의 패키지 관리자 인 Pip을 설치하십시오.

sudo yum -y install epel-release
sudo yum -y install python-pip gcc python-devel git
sudo pip install --upgrade pip

PostgreSQL 설치

Buildbot은 MySQL, PostgreSQL 및 SQLite와 같은 여러 유형의 데이터베이스 서버를 지원합니다. 이 자습서에서는 PostgreSQL을 사용하여 Buildbot 데이터베이스 서버를 호스팅합니다.

PostgreSQL은 안정성과 속도로 유명한 객체 관계형 데이터베이스 시스템입니다. 기본 yum리포지토리에는 이전 버전의 PostgreSQL이 포함되어 있으므로 PostgreSQL 리포지토리를 추가하십시오.

sudo yum -y install https://download.postgresql.org/pub/repos/yum/10/redhat/rhel-7-x86_64/pgdg-centos10-10-1.noarch.rpm

PostgreSQL 데이터베이스 서버를 설치하십시오.

sudo yum -y install postgresql10-server postgresql10-contrib postgresql10 

데이터베이스를 초기화하십시오.

sudo /usr/pgsql-10/bin/postgresql-10-setup initdb

PostgreSQL 서버를 시작하고 부팅시 자동으로 시작되도록합니다.

sudo systemctl start postgresql-10
sudo systemctl enable postgresql-10

기본 PostgreSQL 사용자의 비밀번호를 변경하십시오.

sudo passwd postgres

PostgreSQL 사용자로 로그인하십시오.

sudo su - postgres

Buildbot에 대한 새 PostgreSQL 사용자를 작성하십시오.

createuser bb_user

원하는 bb_user경우 대신 사용자 이름을 사용할 수 있습니다 . PostgreSQL은 psql데이터베이스에서 쿼리를 실행하기 위한 셸을 제공 합니다. PostgreSQL 셸로 전환하십시오.

psql

새로 작성된 사용자의 비밀번호를 설정하십시오.

ALTER USER bb_user WITH ENCRYPTED password 'DBPassword';

DBPassword안전한 비밀번호로 교체하십시오 .

Buildbot 설치를위한 새 데이터베이스를 작성하십시오.

CREATE DATABASE buildbot OWNER bb_user;

psql쉘 에서 나갑니다.

\q

sudo사용자로 전환하십시오 .

exit

pg_hba.confMD5 기반 인증을 사용 하도록 파일을 편집하십시오 .

sudo nano /var/lib/pgsql/10/data/pg_hba.conf

다음 줄을 찾아 값을 변경 peer하고 ident의에 METHOD열을 trust하고 md5각각.

# TYPE  DATABASE        USER            ADDRESS                 METHOD

# "local" is for Unix domain socket connections only
local   all             all                                     peer
# IPv4 local connections:
host    all             all             127.0.0.1/32            ident
# IPv6 local connections:
host    all             all             ::1/128                 ident

업데이트되면 구성은 다음 텍스트와 같습니다.

# TYPE  DATABASE        USER            ADDRESS                 METHOD

# "local" is for Unix domain socket connections only
local   all             all                                     trust
# IPv4 local connections:
host    all             all             127.0.0.1/32            md5
# IPv6 local connections:
host    all             all             ::1/128                 md5

파일을 저장하고 편집기를 종료하십시오. Python 용 PostgreSQL 데이터베이스 어댑터를 설치하십시오.

sudo pip install psycopg2

변경 사항을 적용하려면 PostgreSQL을 다시 시작하십시오.

sudo systemctl restart postgresql-10

Buildbot 설치

Pip을 사용하여 Buildbot을 설치하십시오.

sudo pip install 'buildbot[bundle]' pyopenssl service_identity

위의 명령과 함께 Buildbot를 설치합니다 buildbot-www, buildbot-worker그리고 여러 웹은 같은 플러그인 buildbot-waterfall-view.

Buildbot이 성공적으로 설치되었는지 확인하려면 Buildbot 버전을 확인하여 확인할 수 있습니다.

buildbot --version

출력은 다음 텍스트와 유사해야합니다.

[user@vultr ~]$ buildbot --version
Buildbot version: 0.9.15.post1
Twisted version: 17.9.0

포트를 허용하도록 방화벽 규칙을 수정하십시오 8010. Buildbot은이 포트를 사용하여 웹 요청을 청취합니다.

sudo firewall-cmd --zone=public --add-port=8010/tcp --permanent
sudo firewall-cmd --reload

Buildbot Master 구성

권한이없는 새 사용자를 작성하여 Buildbot 마스터 및 작업자 프로세스를 실행하십시오. Buildbot 마스터 서비스를 root사용자 로 실행하지 않는 것이 좋습니다 .

sudo adduser buildbot
sudo passwd buildbot

새로 작성된 buildbot사용자 로 로그인하십시오 .

sudo su - buildbot

/home/buildbot/master디렉토리 에서 Buildbot 마스터를 설정하십시오 . 이 디렉토리에는 각 빌드의 구성, 상태 및 로그 파일이 포함됩니다.

buildbot create-master --db 'postgresql://bb_user:DBPassword@localhost/buildbot' ~/master

위 명령에서 데이터베이스 사용자의 자격 증명을 바꾸십시오.

참고 : PostgreSQL 대신 SQLite 데이터베이스를 사용하려면 --db 'postgresql://bb_user:DBpassword@localhost/buildbot'옵션을 생략하십시오 . SQLite 데이터베이스는 동일한 디렉토리에 작성됩니다.

위의 명령은 ~/masterBuildmaster 파일을 저장할 디렉토리를 만듭니다 . 또한 PostgreSQL 데이터베이스에 데이터를 씁니다. 다음과 같은 결과가 나타납니다.

[buildbot@vultr ~]$ buildbot create-master --db 'postgresql://bb_user:DBPassword@localhost/buildbot' ~/master
mkdir /home/buildbot/master
creating /home/buildbot/master/master.cfg.sample
creating database (postgresql://bb_user:DBPassword@localhost/buildbot)
buildmaster configured in /home/buildbot/master

샘플 구성 파일을 실제 구성 파일로 복사하십시오.

cp ~/master/master.cfg.sample ~/master/master.cfg

구성 파일을 편집하십시오.

nano ~/master/master.cfg

다음 줄을 찾으십시오.

c['workers'] = [worker.Worker("example-worker", "pass")]
...

c['builders'].append(
    util.BuilderConfig(name="runtests",
      workernames=["example-worker"],
      factory=factory))
...

c['title'] = "Hello World CI"
c['titleURL'] = "https://buildbot.github.io/hello-world/"
...

c['buildbotURL'] = "http://localhost:8010/"
...

c['db'] = {
    'db_url' : "postgresql://bb_user:DBpassword@localhost/buildbot",
}

위 구성에는 샘플 작업자에 대한 항목이 있습니다. 우리는 우리가 근무할 작업자의 샘플 항목을 수정할 것입니다 localhost. 변경 example-worker적합한 임의의 이름으로 localhost노동자 및 변경 pass다른 암호. 나중에 자습서에서 요구할 것이므로 작업자 이름과 암호를 기록해 두십시오. 빌더 목록에서 작업자 이름을 변경하십시오. 필요에 따라 응용 프로그램 이름과 프로젝트 URL을 변경하십시오.

Buildbot URL을 localhost실제 도메인 이름 또는 공개 IP 주소로 변경하십시오. 또한 구성 파일의 데이터베이스 정보가 실제 데이터베이스 신임 정보와 일치하는지 확인하십시오.

파일의 끝에을 추가하십시오 c['buildbotNetUsageData'] = None. 이 매개 변수는 소프트웨어 버전 정보 및 플러그인 사용 세부 사항을 개발자에게 전송하지 못하게합니다. 그러나 사용 정보 전송을 사용하려면 옵션을로 변경하십시오 Full.

구성은 다음 텍스트와 같아야합니다.

c['workers'] = [worker.Worker("localhost-worker", "Password123")]
...    

c['builders'].append(
    util.BuilderConfig(name="runtests",
      workernames=["localhost-worker"],
      factory=factory))
...

c['title'] = "My Application CI"
c['titleURL'] = "https://example.com/my-app"
...

c['buildbotURL'] = "http://192.168.1.1:8010/"
...

c['db'] = {
    'db_url' : "postgresql://bb_user:DBpassword@localhost/buildbot",
}
...

c['buildbotNetUsageData'] = None

파일을 저장하고 편집기를 종료하십시오. 구성 파일에 오류가 있는지 확인하십시오.

buildbot checkconfig ~/master

구성 파일에 오류가 없으면 다음 출력이 표시됩니다.

[buildbot@vultr ~]$ buildbot checkconfig ~/master
Config file is good!

모든 것이 올바르게 구성되었으므로 Buildbot 마스터를 시작할 수 있습니다.

buildbot start ~/master

다음과 같은 결과가 나타납니다.

[buildbot@vultr ~]$ buildbot start ~/master
Following twistd.log until startup finished..
The buildmaster appears to have (re)started correctly.

Buildbot 마스터가 올바르게 시작되었으므로에서 웹 사용자 인터페이스에 액세스 할 수 있습니다 http://192.168.1.1:8010. 다음과 같은 Buildbot 인터페이스가 나타납니다.

Buildbot Worker 구성

에서 작업자 구성을 이미 수정 했으므로 ~/master/master.cfg새 작업자를 계속 만들 수 있습니다.

buildbot-worker create-worker ~/worker localhost localhost-worker Password123

~/master/master.cfg파일에 언급 된 것과 정확히 동일한 작업자 이름과 암호를 사용해야 합니다. 작업자 이름 또는 비밀번호가 일치하지 않으면 작업자는 Buildbot 마스터에 연결할 수 없습니다. 성공적으로 실행되면 다음과 같은 결과가 나타납니다.

[buildbot@vultr ~]$ buildbot-worker create-worker ~/worker localhost example-worker pass
mkdir /home/buildbot/worker
mkdir /home/buildbot/worker/info
Creating info/admin, you need to edit it appropriately.
Creating info/host, you need to edit it appropriately.
Not creating info/access_uri - add it if you wish
Please edit the files in /home/buildbot/worker/info appropriately.
worker configured in /home/buildbot/worker

작업자에 대한 정보는 /info디렉토리에 저장됩니다 . 개발자에 대한 관리 정보를 편집하십시오.

nano ~/worker/info/admin

예제 이름을 실제 이름과 이메일로 바꾸십시오.

Your Name <[email protected]>

이제 호스트에 대한 정보가 들어있는 파일을여십시오.

nano ~/worker/info/host

예제 명령을 호스트 시스템에 대한 실제 정보로 바꾸십시오.

Localhost, CentOS 7

작업자 관리자 및 호스트 정보는 사용자에게 시스템에 대해 알리는 데만 사용됩니다. Buildbot 버전 및 Twisted 버전과 같은 시스템에 대한 추가 정보를 추가 할 수도 있습니다.

작업자를 시작하십시오.

buildbot-worker start ~/worker

결과는 다음과 같습니다.

[buildbot@vultr ~]$ buildbot-worker start ~/worker
Following twistd.log until startup finished..
The buildbot-worker appears to have (re)started correctly.

작업자가 등록되었는지 확인하려면 Buildbot의 웹 인터페이스로 이동 Builds >> Workers하여 왼쪽 탐색에서 탐색하십시오. 작업자가 가동하여 구축 할 준비가되었음을 확인해야합니다.

샘플 빌드를 실행하고 Buildbot worker가 성공적으로 실행 중인지 확인하려면로 이동하십시오 Builds >> Builders. 온 클릭 runtests빌더 인터페이스를 열고 클릭 할 빌더 이름 Force빌드를 강제로 버튼을 누릅니다. 이름을 입력하고 Start Build버튼을 클릭 하여 빌드를 시작하십시오. Buildbot 환경을 확인하는 샘플 빌드 테스트이므로 몇 초 안에 완료됩니다. 성공 메시지와 빌드 결과가 나타납니다.

시스템 서비스 설정

위의 명령을 사용하여 Buildbot 마스터 및 작업자를 쉽게 시작할 수 있지만 Systemd 장치를 사용하여 Buildbot 서비스를 실행하고 관리하는 것이 좋습니다. 이렇게하면 시스템 재시작 및 장애시 자동으로 시작됩니다.

참고 : 또는 을 실행 하여 sudo사용자로 다시 전환 하십시오 . 이제부터는 모든 명령을 사용자 가 실행해야합니다 .exitsu <username>sudo

실행중인 Buildbot 작업자 및 마스터 서비스를 중지하십시오.

sudo su buildbot -c "buildbot stop /home/buildbot/master" 
sudo su buildbot -c "buildbot-worker stop ~/worker"

Buildbot 마스터에 대한 새 시스템 단위 파일을 작성하십시오.

sudo nano /etc/systemd/system/buildbot.service

파일을 채 웁니다.

[Unit]
Description=BuildBot master service 
After=network.target

[Service]
Type=forking
User=buildbot 
Group=buildbot 
WorkingDirectory=/home/buildbot/master 
ExecStart=/usr/bin/buildbot start
ExecStop=/usr/bin/buildbot stop
ExecReload=/usr/bin/buildbot restart

[Install]
WantedBy=multi-user.target

Buildbot 마스터를 시작하고 부팅시 자동으로 시작되도록합니다.

sudo systemctl start buildbot
sudo systemctl enable buildbot

Buildbot 작업자를위한 새 시스템 단위 파일을 작성하십시오.

sudo nano /etc/systemd/system/buildbot-worker.service

파일을 채 웁니다.

[Unit]
Description=BuildBot worker service
After=network.target

[Service]
Type=forking
User=buildbot
Group=buildbot
WorkingDirectory=/home/buildbot/worker
ExecStart=/usr/bin/buildbot-worker start
ExecStop=/usr/bin/buildbot-worker stop
ExecReload=/usr/bin/buildbot-worker restart

[Install]
WantedBy=multi-user.target

Buildbot worker를 시작하고 부팅시 자동으로 시작되도록합니다.

sudo systemctl start buildbot-worker
sudo systemctl enable buildbot-worker

서비스 상태를 확인할 수 있습니다.

sudo systemctl status buildbot buildbot-worker

서비스가 원활하게 실행되면 출력에 해당 내용이 표시됩니다.

[user@vultr ~]$ sudo systemctl status buildbot buildbot-worker
● buildbot.service - BuildBot master service
...
Active: active (running) since Fri 2018-01-12 16:00:59 UTC; 1min 25s ago
...
Jan 12 16:00:59 vultr.guest systemd[1]: Started BuildBot master service.

● buildbot-worker.service - BuildBot worker service
...
Active: active (running) since Fri 2018-01-12 16:02:00 UTC; 24s ago
...
Jan 12 16:02:00 vultr.guest systemd[1]: Started BuildBot worker service.

인증 활성화

기본적으로 인증은 Buildbot 웹 인터페이스에서 활성화되어 있지 않습니다. 인터넷 연결 사이트의 경우 인증 된 사용자 만 관리 작업을 수행 할 수 있도록 인증을 설정하는 것이 좋습니다. 인증을 설정하려면 Buildbot 마스터 구성 파일을 다시여십시오.

sudo su buildbot -c "nano /home/buildbot/master/master.cfg"

파일 끝에 다음 줄을 추가하십시오.

c['www']['authz'] = util.Authz(
       allowRules = [
           util.AnyEndpointMatcher(role="admins")
       ],
       roleMatchers = [
           util.RolesFromUsername(roles=['admins'], usernames=['admin_user'])
       ]
)
c['www']['auth'] = util.UserPasswordAuth({'admin_user': 'AdminPassword'})

두 개의 항목 admin_user을 사용하려는 실제 사용자 이름과 AdminPassword강력한 암호로 바꿉니다 .

구성 파일에서 오류를 확인하십시오.

sudo su buildbot -c "buildbot checkconfig /home/buildbot/master"

변경 사항을 적용하려면 Buildbot 마스터 서비스를 다시 시작하십시오.

sudo systemctl restart buildbot

웹 인터페이스를 다시 탐색하여 익명 사용자가 빌드 서버에 대한 기본 세부 사항 만 볼 수 있는지 확인하십시오. 이제 master.cfg파일에 설정된 자격 증명을 사용 하여 로그인하면 로그인 한 관리자 만 다른 모든 관리 기능을 사용할 수 있습니다.

SSL을 암호화하여 Buildbot 보안

기본적으로 Buildbot은 8010보안되지 않은 연결 에서 포트 를 청취 합니다. HTTPS브라우저에서 서버로 전송하는 동안 데이터가 안전하도록 웹 인터페이스를 사용하는 것이 좋습니다. 이 섹션에서는 무료 SSL 인증서로 Let 's Encrypt를 사용하여 Nginx를 설치하고 보호합니다. Nginx 웹 서버는 들어오는 요청을 Buildbot의 HTTP 엔드 포인트로 전달하기위한 리버스 프록시로 작동합니다.

Nginx를 설치하십시오.

sudo yum -y install nginx

Nginx를 시작하고 부팅시 자동으로 시작되도록합니다.

sudo systemctl start nginx
sudo systemctl enable nginx

Let 's Encrypt CA의 클라이언트 응용 프로그램 인 Certbot을 설치하십시오.

sudo yum -y install certbot

인증서를 요청하기 전에 방화벽을 통한 포트 80및 443/ 또는 표준 HTTP및 HTTPS서비스 를 허용해야합니다 . 또한 8010보안되지 않은 연결을 청취하는 port를 제거하십시오 .

sudo firewall-cmd --zone=public --add-service=http --permanent
sudo firewall-cmd --zone=public --add-service=https --permanent
sudo firewall-cmd --zone=public --remove-port=8010/tcp --permanent
sudo firewall-cmd --reload

참고 : Let 's Encrypt CA에서 인증서를 얻으려면 인증서가 생성 될 도메인이 서버를 가리켜 야합니다. 그렇지 않은 경우 도메인의 DNS 레코드를 필요한대로 변경하고 인증서가 다시 요청되기 전에 DNS가 전파 될 때까지 기다리십시오. Certbot은 인증서를 제공하기 전에 도메인 권한을 확인합니다.

SSL 인증서를 생성하십시오.

sudo certbot certonly --webroot -w /usr/share/nginx/html -d ci.example.com

생성 된 인증서는 /etc/letsencrypt/live/ci.example.com/디렉토리에 저장 될 수 있습니다 . SSL 인증서는로 저장되고 fullchain.pem개인 키는로 저장됩니다 privkey.pem.

인증서 암호화는 90 일 후에 만료되므로 Cron 작업을 사용하여 인증서의 자동 갱신을 설정하는 것이 좋습니다.

root사용자 의 크론 작업 파일을여십시오 .

sudo crontab -e

파일 끝에 다음 줄을 추가하십시오.

30 5 * * * /usr/bin/certbot renew --quiet

위의 cron 작업은 매일 오전 5:30에 실행됩니다. 인증서가 만료 예정인 경우 인증서가 자동으로 갱신됩니다.

이제 Nginx 기본 구성 파일을 변경하여 default_server라인 을 제거하십시오 .

sudo sed -i 's/default_server//g' /etc/nginx/nginx.conf

Buildbot 웹 인터페이스에 대한 새 구성 파일을 작성하십시오.

sudo nano /etc/nginx/conf.d/buildbot.conf

파일을 채 웁니다.

upstream buildbot {
server 127.0.0.1:8010;
}

server {
    listen 80 default_server;
    server_name ci.example.com;
    return 301 https://$host$request_uri;
}

server {
    listen 443 ssl http2 default_server;
    server_name ci.example.com;

    root html;
    index index.html index.htm;

    ssl on;
    ssl_certificate         /etc/letsencrypt/live/ci.example.com/fullchain.pem;
    ssl_certificate_key     /etc/letsencrypt/live/ci.example.com/privkey.pem;

    ssl_session_cache      shared:SSL:10m;
    ssl_session_timeout  1440m;
    ssl_protocols  TLSv1 TLSv1.1 TLSv1.2;
    ssl_ciphers HIGH:!aNULL:!eNULL:!EXPORT:!CAMELLIA:!DES:!MD5:!PSK:!RC4;
    ssl_prefer_server_ciphers on;

    add_header Strict-Transport-Security "max-age=31536000; includeSubdomains;";

    access_log  /var/log/nginx/buildbot.access.log;

    proxy_set_header HOST $host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_set_header X-Forwarded-Proto  $scheme;
    proxy_set_header X-Forwarded-Server  $host;
    proxy_set_header X-Forwarded-Host  $host;

    location / {
        proxy_pass http://buildbot;
    }
    location /sse/ {
        proxy_buffering off;
        proxy_pass http://buildbot/sse/;
    }
    location /ws {
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
        proxy_pass http://buildbot/ws;
        proxy_read_timeout 6000s;
    }
}

새 구성 파일에서 오류를 확인하십시오.

sudo nginx -t

다음 출력이 표시되면 구성에 오류가없는 것입니다.

[user@vultr ~]$ sudo nginx -t
nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
nginx: configuration file /etc/nginx/nginx.conf test is successful

어떤 종류의 오류가 발생하면 SSL 인증서의 경로를 다시 확인하십시오. 구성 변경을 구현하려면 Nginx 웹 서버를 다시 시작하십시오.

sudo systemctl restart nginx

Buildmaster 구성 파일을여십시오.

sudo su buildbot -c "nano /home/buildbot/master/master.cfg"

다음 줄을 찾으십시오.

c['buildbotURL'] = "http://192.168.1.1:8010/"

사용중인 도메인 이름에 따라 URL을 변경하십시오.

c['buildbotURL'] = "https://ci.example.com/"

Buildbot 마스터 서비스를 다시 시작하십시오.

sudo systemctl restart buildbot

이제에서 Buildbot 대시 보드에 액세스 할 수 있습니다 https://ci.example.com. 이제 Buildbot에 대한 연결이 SSL로 보안되어 있음을 알 수 있습니다.

관리자 자격 증명을 사용하여 로그인하고 첫 번째 파이프 라인을 추가하여 응용 프로그램 구축을 시작하십시오.