نحوه نصب و پیکربندی Concord CI در CentOS 7

• معرفی
• پیش نیازها
• پایگاه داده PostgreSQL را نصب و پیکربندی کنید
• Concourse CI را بارگیری و نصب کنید
• کلیدهای RSA را ایجاد و تنظیم کنید
• شروع مسابقه
• پیکربندی محیط و سرویس سیستماتیک
• اتصال به سرور
• تنظیم پروکسی معکوس Nginx

معرفی

ادغام مداوم یک روش توسعه نرم افزار DevOps است که به توسعه دهندگان این امکان را می دهد که بارها و بارها کد اصلاح شده را در مخزن مشترک چندین بار در روز ادغام کنند. پس از هر ادغام ، ساختهای اتوماتیک و آزمایشات برای تشخیص مشکلات موجود در کد انجام می شود. این برنامه نویسان را قادر می سازد تا خطاها را به سرعت بهبود بخشند و کیفیت نرم افزار را بهبود ببخشند و تحویل مداوم نرم افزار را ارائه دهند. جابجایی و انتقال از Concourse بسیار آسان است زیرا تمام پیکربندی خود را در پرونده های اعلانی که می توان آنرا در کنترل نسخه بررسی کرد ، نگه می دارد. همچنین یک رابط کاربری وب فراهم می کند که اطلاعات ساخت را به صورت تعاملی نمایش می دهد.

مؤلفه های کانکس

• ATC مؤلفه اصلی Concourse است. این مسئول اجرای UI وب و API است. همچنین به تمام برنامه ریزی خط لوله اهمیت می دهد.
• TSA یک سرور SSH ساخته شده است. این مسئول ثبت نام ایمن یک کارگر در ATC است.
• کارگران دو سرویس مختلف را نیز اجرا می کنند:
  1. Garden یک زمان اجرا کانتینر و یک رابط برای ظروف ارکسترینگ از راه دور بر روی یک کارگر است.
  2. Baggageclaim یک سرور مدیریت حافظه پنهان و مصنوعات است.
• پرواز یک رابط خط فرمان است که برای تعامل با ATC برای پیکربندی خطوط لوله Concourse استفاده می شود.

پیش نیازها

• نمونه سرور Vultr CentOS 7.
• کاربران از sudo .

حتماً تمام وقایع 192.0.2.1و ci.example.comبا آدرس IP واقعی Vultr و نام دامنه واقعی خود را جایگزین کنید.

سیستم پایه خود را با استفاده از راهنمای نحوه به روزرسانی CentOS 7 به روز کنید . پس از به روزرسانی سیستم ، نصب PostgreSQL را ادامه دهید.

پایگاه داده PostgreSQL را نصب و پیکربندی کنید

PostgreSQL یک سیستم پایگاه داده رابطه ای است. Concourse داده های خط لوله خود را در یک پایگاه داده PostgreSQL ذخیره می کند. مخزن PostgreSQL را اضافه کنید.

sudo rpm -Uvh https://download.postgresql.org/pub/repos/yum/9.6/redhat/rhel-7-x86_64/pgdg-centos96-9.6-3.noarch.rpm

سرور پایگاه داده PostgreSQL را نصب کنید.

sudo yum -y install postgresql96-server postgresql96-contrib

اولویت بندی پایگاه داده.

sudo /usr/pgsql-9.6/bin/postgresql96-setup initdb

initdbیک خوشه پایگاه داده جدید PostgreSQL ایجاد می کند ، که مجموعه ای از بانکهای اطلاعاتی است که توسط یک سرور واحد مدیریت می شود. pg_hba.confبرای فعال کردن احراز هویت مبتنی بر MD5 ، پرونده را ویرایش کنید.

sudo nano /var/lib/pgsql/9.6/data/pg_hba.conf

یافتن خطوط زیر و تغییر ارزش peerها و identدر METHODستون به trustو md5، به ترتیب.

# TYPE  DATABASE        USER            ADDRESS                 METHOD

# "local" is for Unix domain socket connections only
local   all             all                                     peer
# IPv4 local connections:
host    all             all             127.0.0.1/32            ident
# IPv6 local connections:
host    all             all             ::1/128                 ident

پس از بروزرسانی ، پیکربندی باید به این شکل باشد.

# TYPE  DATABASE        USER            ADDRESS                 METHOD

# "local" is for Unix domain socket connections only
local   all             all                                     trust
# IPv4 local connections:
host    all             all             127.0.0.1/32            md5
# IPv6 local connections:
host    all             all             ::1/128                 md5

سرور PostgreSQL را راه اندازی کنید و آن را فعال کنید تا به طور خودکار در زمان بوت شروع شود.

sudo systemctl start postgresql-9.6
sudo systemctl enable postgresql-9.6

گذرواژه را برای کاربر پیش فرض PostgreSQL تغییر دهید.

sudo passwd postgres

به عنوان کاربر PostgreSQL وارد شوید:

sudo su - postgres

یک کاربر جدید PostgreSQL برای Concourse CI ایجاد کنید.

createuser concourse

توجه : کاربر پیش فرض PostgreSQL می تواند برای تأیید اعتبار از دیتابیس استفاده شود ، اما توصیه می شود در یک مجموعه تولید از یک کاربر اختصاصی برای احراز هویت بانک اطلاعاتی Concourse استفاده کنید.

PostgreSQL پوسته ای را برای اجرای نمایش داده ها در پایگاه داده فراهم می کند. با اجرا به پوسته PostgreSQL بروید:

psql

برای کاربر تازه ایجاد بانک اطلاعاتی Concourse یک گذرواژه تنظیم کنید.

ALTER USER concourse WITH ENCRYPTED password 'DBPassword';

مهم : DBPasswordبا یک رمزعبور قوی جایگزین کنید . به یادداشت گذرواژه توجه کنید زیرا بعداً در این آموزش لازم خواهد بود.

ایجاد یک بانک اطلاعاتی جدید برای Concourse.

CREATE DATABASE concourse OWNER concourse;

از psqlپوسته خارج شوید.

\q

از کاربر فعلی postgres به کاربر sudo تغییر دهید.

exit

Concourse CI را بارگیری و نصب کنید

آخرین نسخه اجرایی Concourse را بارگیری کنید و آن را در آن ذخیره کنید /usr/binتا مستقیماً اجرا شود. آخرین نسخه Concaries و Fly binaries را می توانید در صفحه بارگیری Concourse پیدا کنید . نسخه های جدید بسیار مکرر هستند. برای جدیدترین نسخه ، لینک زیر را با لینک جدید جایگزین کنید.

sudo wget https://github.com/concourse/concourse/releases/download/v3.4.1/concourse_linux_amd64 -O /usr/bin/concourse

به همین ترتیب ، آخرین نسخه پرواز قابل اجرا را بارگیری کرده و آن را در آن ذخیره کنید /usr/bin.

sudo wget https://github.com/concourse/concourse/releases/download/v3.4.1/fly_linux_amd64 -O /usr/bin/fly

پرواز رابط خط فرمان برای اتصال به ATC API از Concourse CI است. پرواز برای سیستم عامل های مختلف مانند لینوکس ، ویندوز و MacOS در دسترس است.

اجرای مجوزها را برای بارگیری ها concourseو flyباینری ها اختصاص دهید.

sudo chmod +x /usr/bin/concourse /usr/bin/fly

با بررسی نسخه آنها بررسی کنید که Concourse و Fly به درستی کار می کنند.

concourse -version
fly -version

کلیدهای RSA را ایجاد و تنظیم کنید

جفت های کلیدی RSA راهی برای رمزگذاری ارتباط بین مؤلفه های Concourse فراهم می کند.

برای نتیجه کار باید حداقل سه جفت کلید ایجاد شود. برای رمزگذاری داده های جلسه ، الف ایجاد کنید session_signing_key. این کلید همچنین توسط TSA برای امضای درخواست هایی که به ATC ارسال می شود ، استفاده می شود. برای ایمن سازی سرور TSA SSH ، یک tsa_host_key. سرانجام ، worker_keyبرای هر یک از کارگران تولید کنید.

برای ذخیره کلیدها و پیکربندی های مربوط به Concourse CI یک دایرکتوری جدید ایجاد کنید.

sudo mkdir /opt/concourse

کلیدهای مورد نیاز را ایجاد کنید.

sudo ssh-keygen -t rsa -q -N '' -f /opt/concourse/session_signing_key
sudo ssh-keygen -t rsa -q -N '' -f /opt/concourse/tsa_host_key
sudo ssh-keygen -t rsa -q -N '' -f /opt/concourse/worker_key

کلید عمومی کارگران را با کپی کردن مطالب آن در authorized_worker_keysپرونده مجاز کنید:

sudo cp /opt/concourse/worker_key.pub /opt/concourse/authorized_worker_keys

شروع مسابقه

Concourse دو مؤلفه جداگانه را که باید شروع شود ، وب و کارگر ارائه می دهد. وب Concourse را شروع کنید.

sudo concourse web \
  --basic-auth-username admin \
  --basic-auth-password StrongPass \
  --session-signing-key /opt/concourse/session_signing_key \
  --tsa-host-key /opt/concourse/tsa_host_key \
  --tsa-authorized-keys /opt/concourse/authorized_worker_keys \
  --postgres-user=concourse \
  --postgres-password=DBPassword \
  --postgres-database=concourse \
  --external-url http://192.0.2.1:8080

در basic-authصورت تمایل نام کاربری و رمز عبور را تغییر دهید . اطمینان حاصل کنید که مسیر صحیح پرونده های کلیدی صحیح است و مطمئن شوید که مقدار صحیح برای نام کاربری و رمز عبور در پیکربندی پایگاه داده PostgreSQL ارائه شده است.

توجه : ATC به درگاه پیش فرض گوش می دهد 8080و TSA به درگاه گوش می دهد 2222. اگر احراز هویت مورد نظر نیست ، --no-really-i-dont-want-any-authپس از حذف گزینه های اصلی auth ، گزینه را تصویب کنید.

پس از راه اندازی وب سرور ، خروجی زیر نمایش داده می شود.

{"timestamp":"1503657859.661247969","source":"tsa","message":"tsa.listening","log_level":1,"data":{}}
{"timestamp":"1503657859.666907549","source":"atc","message":"atc.listening","log_level":1,"data":{"debug":"127.0.0.1:8079","http":"0.0.0.0:8080"}}

اکنون سرور را متوقف کنید ، زیرا هنوز چند مورد دیگر باید راه اندازی شوند.

Concourse CI Worker را شروع کنید.

sudo concourse worker \
  --work-dir /opt/concourse/worker \
  --tsa-host 127.0.0.1 \
  --tsa-public-key /opt/concourse/tsa_host_key.pub \
  --tsa-worker-private-key /opt/concourse/worker_key

دستور فوق فرض می کند که TSA در محلی اجرا می شود و به درگاه پیش فرض گوش می دهد 2222.

اگرچه وب و کارگر Concourse را می توان با استفاده از دستورات فوق به راحتی شروع کرد ، اما توصیه می شود از Systemd برای مدیریت سرور استفاده کنید.

پیکربندی محیط و سرویس سیستماتیک

با استفاده از خدمات Systemd برای مدیریت برنامه ، اطمینان حاصل می شود که برنامه به طور خودکار روی خرابی ها و در زمان بوت شروع می شود. سرور Concourse از هر پرونده پیکربندی داده ای را نمی گیرد ، اما می تواند به داده های متغیرهای محیط دسترسی پیدا کند. به جای تنظیم متغیرهای محیط جهانی ، یک فایل جدید ایجاد کنید تا متغیرهای محیط را ذخیره کنید و سپس با استفاده از سرویس Systemd ، متغیرها را به Concourse CI منتقل کنید.

یک فایل محیط جدید برای وب سایت Concourse ایجاد کنید.

sudo nano /opt/concourse/web.env

پرونده را جمع کنید.

CONCOURSE_SESSION_SIGNING_KEY=/opt/concourse/session_signing_key
CONCOURSE_TSA_HOST_KEY=/opt/concourse/tsa_host_key
CONCOURSE_TSA_AUTHORIZED_KEYS=/opt/concourse/authorized_worker_keys

CONCOURSE_POSTGRES_USER=concourse
CONCOURSE_POSTGRES_PASSWORD=DBPassword
CONCOURSE_POSTGRES_DATABASE=concourse

CONCOURSE_BASIC_AUTH_USERNAME=admin
CONCOURSE_BASIC_AUTH_PASSWORD=StrongPass
CONCOURSE_EXTERNAL_URL=http://192.0.2.1:8080

در BASIC_AUTHصورت تمایل نام کاربری و رمز عبور را تغییر دهید . اطمینان حاصل کنید که مسیر صحیح پرونده های کلیدی صحیح است و مطمئن شوید که مقدار صحیح برای نام کاربری و رمز عبور در پیکربندی پایگاه داده PostgreSQL ارائه شده است.

به همین ترتیب ، یک پرونده محیط برای کارگر ایجاد کنید.

sudo nano /opt/concourse/worker.env

پرونده را جمع کنید.

CONCOURSE_WORK_DIR=/opt/concourse/worker
CONCOURSE_TSA_WORKER_PRIVATE_KEY=/opt/concourse/worker_key
CONCOURSE_TSA_PUBLIC_KEY=/opt/concourse/tsa_host_key.pub
CONCOURSE_TSA_HOST=127.0.0.1

از آنجا که پرونده های محیط حاوی نام کاربری و رمزهای عبور هستند ، مجوزهای آن را تغییر دهید تا دسترسی سایر کاربران به آن دسترسی پیدا نکند.

sudo chmod 600 /opt/concourse/*.env

اکنون یک کاربر جدید برای Concourse ایجاد کنید تا محیط وب را اجرا کند. این امر باعث می شود كه سرور وب در یك محیط منزوی اجرا شود.

sudo adduser --system concourse

مالکیت کاربر متعلق را به فهرست پرونده Concourse CI اختصاص دهید.

sudo chown -R concourse:concourse /opt/concourse

برای سرویس وب Concourse یک فایل سرویس سیستم دار جدید ایجاد کنید.

sudo nano /etc/systemd/system/concourse-web.service

پرونده را جمع کنید.

[Unit]
Description=Concourse CI web server
After=postgresql-9.6.service

[Service]
Type=simple
User=concourse
Group=concourse
Restart=on-failure
EnvironmentFile=/opt/concourse/web.env
ExecStart=/usr/bin/concourse web
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=concourse_web

[Install]
WantedBy=multi-user.target

ذخیره کنید و فایل را ببندید. یک فایل سرویس جدید برای خدمات کارگر Concourse ایجاد کنید.

sudo nano /etc/systemd/system/concourse-worker.service

پرونده را جمع کنید.

[Unit]
Description=Concourse CI worker process
After=concourse-web.service

[Service]
Type=simple
User=root
Group=root
Restart=on-failure
EnvironmentFile=/opt/concourse/worker.env
ExecStart=/usr/bin/concourse worker
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=concourse_worker

[Install]
WantedBy=multi-user.target

سرویس وب و کارگر هم اکنون با اجرای مستقیم می توانید شروع کنید:

sudo systemctl start concourse-web concourse-worker

برای فعال کردن فرآیند کارگر و وب به طور خودکار در زمان بوت شدن ، اجرا کنید:

sudo systemctl enable concourse-worker concourse-web

برای بررسی وضعیت خدمات ، اجرا کنید:

sudo systemctl status concourse-worker concourse-web

اگر سرویس شروع نشده است ، یا در FAILEDحالت موجود است ، کش را از /tmpفهرست راهنما خارج کنید.

sudo rm -rf /tmp/*

خدمات را مجدداً راه اندازی کنید.

sudo systemctl restart concourse-worker concourse-web

توجه کنید که این بار خدمات به درستی شروع شده اند. خروجی هنگام تأیید وضعیت خدمات باید مشابه باشد.

[user@vultr ~]$ sudo systemctl status concourse-worker concourse-web
● concourse-worker.service - Concourse CI worker process
   Loaded: loaded (/etc/systemd/system/concourse-worker.service; enabled; vendor preset: disabled)
   Active: active (running) since Sat 2017-08-26 07:27:37 UTC; 55s ago
 Main PID: 3037 (concourse)
   CGroup: /system.slice/concourse-worker.service
           └─3037 /usr/bin/concourse worker

Aug 26 07:27:42 vultr.guest concourse_worker[3037]: {"timestamp":"1503732462.934722900","source":"tsa","message":"t...""}}
Aug 26 07:27:42 vultr.guest concourse_worker[3037]: {"timestamp":"1503732462.941227913","source":"guardian","messag...0"}}
...

● concourse-web.service - Concourse CI web server
   Loaded: loaded (/etc/systemd/system/concourse-web.service; enabled; vendor preset: disabled)
   Active: active (running) since Sat 2017-08-26 07:27:37 UTC; 55s ago
 Main PID: 3036 (concourse)
   CGroup: /system.slice/concourse-web.service
           └─3036 /usr/bin/concourse web

Aug 26 07:27:57 vultr.guest concourse_web[3036]: {"timestamp":"1503732477.925554752","source":"tsa","message":"tsa...ve"}}
Aug 26 07:28:02 vultr.guest concourse_web[3036]: {"timestamp":"1503732482.925430775","source":"tsa","message":"tsa...ve"}}
...
Hint: Some lines were ellipsized, use -l to show in full.

فایروال خود را تنظیم کنید تا پورت 8080 ، که ATS در آن در حال اجرا است و پورت 2222 ، که TSA در آن اجرا است ، اجازه دهید.

sudo firewall-cmd --zone=public --add-port=8080/tcp --permanent
sudo firewall-cmd --zone=public --add-port=2222/tcp --permanent
sudo firewall-cmd --reload

اتصال به سرور

پس از راه اندازی سرور ، با رفتن به http://192.0.2.1:8080هر مرورگری ، به رابط وب کنسول CI دسترسی پیدا می کنید. با استفاده از نام کاربری و رمزعبور موجود در پرونده محیط وارد شوید.

برای اتصال به سرور با استفاده از پرواز ، اجرای:

fly -t my-ci login -c http://192.0.2.1:8080

دستور فوق برای ورود اولیه به سرور استفاده می شود. -tبرای تهیه نام هدف استفاده می شود. my-ciبا هر نام هدف مورد نظر جایگزین کنید. دستور فوق وارد تیم پیش فرض می شود main. نام کاربری و رمزعبور موجود در پرونده محیط را درخواست می کند.

خروجی مانند شکل زیر خواهد بود.

[user@vultr ~]$ fly -t my-ci login -c http://192.0.2.1:8080
logging in to team 'main'

username: admin
password:

target saved

ورود به سیستم مورد نظر برای یک روز ذخیره می شود. پس از آن ، منقضی می شود.

برای فوریت ورود به سیستم

fly -t my-ci logout

پرواز را می توان برای ورود به سرور خارج از شبکه استفاده کرد ، اما تنها در صورتی که سرور دارای یک آدرس IP عمومی باشد و از خارج از شبکه قابل دسترسی باشد. دودویی ویندوز یا MacOS را می توان از سایت بارگیری یا از UI وب سرور بارگیری کرد.

تنظیم پروکسی معکوس Nginx

ورود به سیستم و سایر اطلاعاتی که از طریق UI وب به سرور Concourse ارسال می شود ، امن نیستند. اتصال رمزگذاری نشده است. پروکسی معکوس Nginx را می توان با SSL رایگان رمزگذاری کرد.

وب سرور Nginx و Certbot را که برنامه مشتری برای Let Encrypt CA است نصب کنید.

sudo yum -y install certbot-nginx nginx

Nginx را شروع و فعال کنید تا به طور خودکار در زمان بوت شروع شود:

sudo systemctl start nginx
sudo systemctl enable nginx

قبل از ایجاد درخواست برای گواهینامه ها ، باید بندر 80 و 443 یا خدمات استاندارد HTTP و HTTPS از طریق فایروال فعال شوند. Certbot قبل از صدور گواهینامه ، اعتبار دامنه را بررسی می کند.

sudo firewall-cmd --zone=public --add-service=http --permanent
sudo firewall-cmd --zone=public --add-service=https --permanent

دیگر لازم نیست که بندر 8080 از طریق فایروال مجاز باشد زیرا Concourse اکنون در درگاه HTTPS استاندارد اجرا می شود. ورودی فایروال را جدا کرده تا پورت 8080 مجاز باشد.

sudo firewall-cmd --zone=public --remove-port=8080/tcp --permanent
sudo firewall-cmd --reload

توجه داشته باشید

برای به دست آوردن گواهینامه ها از Let Encrypt CA ، دامنه تولید این گواهینامه ها باید به سمت سرور مشخص شود. در این صورت ، تغییرات لازم را در سوابق DNS دامنه ایجاد کرده و منتظر انتشار DNS قبل از درخواست مجوز مجدد باشید. Certbot قبل از ارائه گواهینامه ها ، دامنه را بررسی می کند.

صدور گواهینامه SSL را ایجاد کنید.

sudo certbot certonly --webroot -w /usr/share/nginx/html -d ci.example.com

گواهینامه های تولید شده احتمالاً در /etc/letsencrypt/live/ci.example.com/دایرکتوری ذخیره می شوند . گواهینامه SSL ذخیره می شود fullchain.pemو کلید خصوصی نیز به عنوان ذخیره می شود privkey.pem.

بیایید گواهینامه های رمزگذاری در طی 90 روز منقضی شوند ، بنابراین توصیه می شود تجدید خودکار گواهینامه ها با استفاده از cronjobs تنظیم شود. Cron یک سرویس سیستم است که برای انجام کارهای دوره ای استفاده می شود.

پرونده کار cron را باز کنید.

sudo crontab -e

در انتهای پرونده خط زیر را اضافه کنید.

30 5 * * 1 /usr/bin/certbot renew --quiet

کار فوق در مورد Cron هر دوشنبه ساعت 5:30 دقیقه صبح انجام می شود. اگر گواهی برای انقضا موقت باشد ، به طور خودکار تمدید می شود.

یک میزبان مجازی جدید ایجاد کنید.

sudo nano /etc/nginx/conf.d/concourse-ssl.conf

پرونده را جمع کنید.

server {
    listen 80;
    server_name ci.example.com;
    return 301 https://$host$request_uri;
}
server {

    listen 443;
    server_name ci.example.com;

    ssl_certificate           /etc/letsencrypt/live/ci.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/ci.example.com/privkey.pem;

    ssl on;
    ssl_session_cache  builtin:1000  shared:SSL:10m;
    ssl_protocols  TLSv1 TLSv1.1 TLSv1.2;
    ssl_ciphers HIGH:!aNULL:!eNULL:!EXPORT:!CAMELLIA:!DES:!MD5:!PSK:!RC4;
    ssl_prefer_server_ciphers on;

    access_log    /var/log/nginx/concourse.access.log;

    location / {

      proxy_set_header        Host $host;
      proxy_set_header        X-Real-IP $remote_addr;
      proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;
      proxy_set_header        X-Forwarded-Proto $scheme;
      proxy_pass          http://localhost:8080;
      proxy_read_timeout  90;

      proxy_redirect      http://localhost:8080 https://ci.example.com;
    }
  }

توجه : ci.example.comدامنه واقعی را جایگزین کنید .

پرونده محیط ایجاد شده برای Concourse Web را ویرایش کنید.

sudo nano /opt/concourse/web.env

مقدار را تغییر دهید CONCOURSE_EXTERNAL_URLو همچنین در انتهای پرونده دو خط دیگر اضافه کنید.

CONCOURSE_EXTERNAL_URL=https://ci.example.com
CONCOURSE_BIND_IP=127.0.0.1
CONCOURSE_BIND_PORT=8080

فایل را ذخیره کرده و مجدداً سرور وب Concourse وب ، کارگر و Nginx را مجدداً راه اندازی کنید:

sudo systemctl restart concourse-worker concourse-web nginx

اکنون تمام داده های ارسال شده به مرورگر و از طریق مرورگر با رمزگذاری SSL تضمین شده اند.