نحوه نصب و پیکربندی Concord CI در اوبونتو 16.04

• معرفی
• پیش نیازها
• پایگاه داده PostgreSQL را نصب و پیکربندی کنید
• Concourse CI را بارگیری و نصب کنید
• کلیدهای RSA را ایجاد و تنظیم کنید
• شروع مسابقه
• پیکربندی محیط و سرویس سیستماتیک
• اتصال به سرور
• تنظیم پروکسی معکوس Nginx

معرفی

ادغام مداوم یک روش توسعه نرم افزار DevOps است که به توسعه دهندگان این امکان را می دهد که بارها و بارها کد اصلاح شده را در مخزن مشترک چندین بار در روز ادغام کنند. پس از هر ادغام ، ساختهای اتوماتیک و آزمایشات برای تشخیص مشکلات موجود در کد انجام می شود. این برنامه نویسان را قادر می سازد تا خطاها را به سرعت بهبود بخشند و کیفیت نرم افزار را بهبود ببخشند و تحویل مداوم نرم افزار را ارائه دهند. جابجایی و انتقال از Concourse بسیار آسان است زیرا تمام پیکربندی خود را در پرونده های اعلانی که می توان آنرا در کنترل نسخه بررسی کرد ، نگه می دارد. همچنین یک رابط کاربری وب فراهم می کند که اطلاعات ساخت را به صورت تعاملی نمایش می دهد.

مؤلفه های کانکس

• ATC مؤلفه اصلی Concourse است. این مسئول اجرای UI وب و API است. همچنین به تمام برنامه ریزی خط لوله اهمیت می دهد.
• TSA یک سرور SSH ساخته شده است. این مسئول ثبت نام ایمن یک کارگر در ATC است.
• کارگران دو سرویس مختلف را نیز اجرا می کنند:
  1. Garden یک زمان اجرا کانتینر و یک رابط برای ظروف ارکسترینگ از راه دور بر روی یک کارگر است.
  2. Baggageclaim یک سرور مدیریت حافظه پنهان و مصنوعات است.
• پرواز یک رابط خط فرمان است که برای تعامل با ATC برای پیکربندی خطوط لوله Concourse استفاده می شود.

پیش نیازها

• به عنوان مثال سرور Vultr اوبونتو 16.04.
• کاربران از sudo .

حتماً تمام وقایع 192.0.2.1 و ci.example.com با آدرس IP واقعی Vultr و نام دامنه واقعی خود را جایگزین کنید.

سیستم پایه خود را با استفاده از راهنمای نحوه به روزرسانی اوبونتو 16.04 به روز کنید . پس از به روزرسانی سیستم ، نصب PostgreSQL را ادامه دهید.

پایگاه داده PostgreSQL را نصب و پیکربندی کنید

PostgreSQL یک سیستم پایگاه داده رابطه ای است. Concourse داده های خط لوله خود را در یک پایگاه داده PostgreSQL ذخیره می کند. مخزن PostgreSQL را اضافه کنید.

echo "deb http://apt.postgresql.org/pub/repos/apt/ xenial-pgdg main" | sudo tee /etc/apt/sources.list.d/pgdg.list
wget --quiet -O - https://www.postgresql.org/media/keys/ACCC4CF8.asc | sudo apt-key add -
sudo apt update

سرور پایگاه داده PostgreSQL را نصب کنید.

sudo apt -y install postgresql

سرور PostgreSQL را راه اندازی کنید و آن را فعال کنید تا به طور خودکار در زمان بوت شروع شود.

sudo systemctl start postgresql
sudo systemctl enable postgresql

گذرواژه را برای کاربر پیش فرض PostgreSQL تغییر دهید.

sudo passwd postgres

به عنوان کاربر PostgreSQL وارد شوید:

sudo su - postgres

یک کاربر جدید PostgreSQL برای Concourse CI ایجاد کنید.

createuser concourse

توجه : کاربر پیش فرض PostgreSQL می تواند برای تأیید اعتبار از دیتابیس استفاده شود ، اما توصیه می شود در یک مجموعه تولید از یک کاربر اختصاصی برای احراز هویت بانک اطلاعاتی Concourse استفاده کنید.

PostgreSQL پوسته ای را برای اجرای نمایش داده ها در پایگاه داده فراهم می کند. به پوسته PostgreSQL بروید.

psql

برای کاربر تازه ایجاد بانک اطلاعاتی Concourse یک گذرواژه تنظیم کنید.

ALTER USER concourse WITH ENCRYPTED password 'DBPassword';

مهم : با یک رمزعبور قوی جایگزین کنید DBPassword. به یادداشت گذرواژه توجه کنید زیرا بعداً در این آموزش لازم خواهد بود.

ایجاد یک بانک اطلاعاتی جدید برای Concourse.

CREATE DATABASE concourse OWNER concourse;

از psql پوسته خارج شوید.

\q

از postgresکاربر فعلی به کاربر سودو تغییر دهید .

exit

Concourse CI را بارگیری و نصب کنید

آخرین نسخه اجرایی Concourse را بارگیری کنید و آن را در آن ذخیره کنید /usr/bin تا مستقیماً اجرا شود. آخرین نسخه باینری های Concourse و Fly را می توانید در صفحه بارگیری Concourse پیدا کنید . نسخه های جدید بسیار مکرر هستند. برای جدیدترین نسخه ، لینک زیر را با لینک جدید جایگزین کنید.

sudo wget https://github.com/concourse/concourse/releases/download/v3.10.0/concourse_linux_amd64 -O /usr/bin/concourse

به همین ترتیب ، آخرین نسخه پرواز قابل اجرا را بارگیری کرده و آن را در آن ذخیره کنید /usr/bin.

sudo wget https://github.com/concourse/concourse/releases/download/v3.10.0/fly_linux_amd64 -O /usr/bin/fly

پرواز رابط خط فرمان است که برای اتصال به ATC API از Concourse CI استفاده می شود. پرواز برای سیستم عامل های مختلف مانند لینوکس ، ویندوز و MacOS در دسترس است.

اجرای مجوزها را برای بارگیری ها concourse و fly باینری ها اختصاص دهید.

sudo chmod +x /usr/bin/concourse /usr/bin/fly

با بررسی نسخه آنها بررسی کنید که Concourse و Fly به درستی کار می کنند.

concourse -version
fly -version

کلیدهای RSA را ایجاد و تنظیم کنید

جفت های کلیدی RSA راهی برای رمزگذاری ارتباط بین مؤلفه های Concourse فراهم می کند.

برای نتیجه کار باید حداقل سه جفت کلید ایجاد شود. برای رمزگذاری داده های جلسه ، الف ایجاد کنید session_signing_key. این کلید همچنین توسط TSA برای امضای درخواست هایی که به ATC ارسال می شود ، استفاده می شود. برای ایمن سازی سرور TSA SSH ، یک tsa_host_key. سرانجام ، worker_key برای هر یک از کارگران تولید کنید.

برای ذخیره کلیدها و پیکربندی های مربوط به Concourse CI یک دایرکتوری جدید ایجاد کنید.

sudo mkdir /opt/concourse

کلیدهای مورد نیاز را ایجاد کنید.

sudo ssh-keygen -t rsa -q -N '' -f /opt/concourse/session_signing_key
sudo ssh-keygen -t rsa -q -N '' -f /opt/concourse/tsa_host_key
sudo ssh-keygen -t rsa -q -N '' -f /opt/concourse/worker_key

کلید عمومی کارگران را با کپی کردن مطالب آن در authorized_worker_keys پرونده مجاز کنید.

sudo cp /opt/concourse/worker_key.pub /opt/concourse/authorized_worker_keys

شروع مسابقه

Concourse دو مؤلفه جداگانه را که باید شروع شود فراهم می کند: وب و کارگر. وب Concourse را شروع کنید.

sudo concourse web \
  --basic-auth-username admin \
  --basic-auth-password StrongPass \
  --session-signing-key /opt/concourse/session_signing_key \
  --tsa-host-key /opt/concourse/tsa_host_key \
  --tsa-authorized-keys /opt/concourse/authorized_worker_keys \
  --postgres-user=concourse \
  --postgres-password=DBPassword \
  --postgres-database=concourse \
  --external-url http://192.0.2.1:8080

در basic-auth صورت تمایل نام کاربری و رمز عبور را تغییر دهید . اطمینان حاصل کنید که مسیر صحیح پرونده های کلیدی صحیح است و مطمئن شوید که مقدار صحیح برای نام کاربری و رمز عبور در پیکربندی پایگاه داده PostgreSQL ارائه شده است.

توجه : ATC به درگاه پیش فرض گوش می دهد 8080 و TSA به درگاه گوش می دهد 2222. اگر احراز هویت مورد نظر نیست ، --no-really-i-dont-want-any-authپس از حذف گزینه های اصلی auth ، گزینه را تصویب کنید.

پس از راه اندازی وب سرور ، خروجی زیر نمایش داده می شود.

{"timestamp":"1503657859.661247969","source":"tsa","message":"tsa.listening","log_level":1,"data":{}}
{"timestamp":"1503657859.666907549","source":"atc","message":"atc.listening","log_level":1,"data":{"debug":"127.0.0.1:8079","http":"0.0.0.0:8080"}}

اکنون سرور را متوقف کنید ، زیرا هنوز چند مورد دیگر باید راه اندازی شوند.

Concourse CI Worker را شروع کنید.

sudo concourse worker \
  --work-dir /opt/concourse/worker \
  --tsa-host 127.0.0.1 \
  --tsa-public-key /opt/concourse/tsa_host_key.pub \
  --tsa-worker-private-key /opt/concourse/worker_key

دستور فوق فرض می کند که TSA در محلی اجرا می شود و به درگاه پیش فرض گوش می دهد 2222.

اگرچه وب و کارگر Concourse را می توان با استفاده از دستورات فوق به راحتی شروع کرد ، اما توصیه می شود از Systemd برای مدیریت سرور استفاده کنید.

پیکربندی محیط و سرویس سیستماتیک

با استفاده از خدمات Systemd برای مدیریت برنامه ، اطمینان حاصل می شود که برنامه به طور خودکار روی خرابی ها و در زمان بوت شروع می شود. سرور Concourse از هر پرونده پیکربندی داده ای را نمی گیرد ، اما می تواند به داده های متغیرهای محیط دسترسی پیدا کند. به جای تنظیم متغیرهای محیط جهانی ، یک فایل جدید ایجاد کنید تا متغیرهای محیط را ذخیره کنید و سپس با استفاده از سرویس Systemd ، متغیرها را به Concourse CI منتقل کنید.

یک فایل محیط جدید برای وب سایت Concourse ایجاد کنید.

sudo nano /opt/concourse/web.env

پرونده را جمع کنید.

CONCOURSE_SESSION_SIGNING_KEY=/opt/concourse/session_signing_key
CONCOURSE_TSA_HOST_KEY=/opt/concourse/tsa_host_key
CONCOURSE_TSA_AUTHORIZED_KEYS=/opt/concourse/authorized_worker_keys

CONCOURSE_POSTGRES_USER=concourse
CONCOURSE_POSTGRES_PASSWORD=DBPassword
CONCOURSE_POSTGRES_DATABASE=concourse

CONCOURSE_BASIC_AUTH_USERNAME=admin
CONCOURSE_BASIC_AUTH_PASSWORD=StrongPass
CONCOURSE_EXTERNAL_URL=http://192.0.2.1:8080

در BASIC_AUTH صورت تمایل نام کاربری و رمز عبور را تغییر دهید . اطمینان حاصل کنید که مسیر صحیح پرونده های کلیدی صحیح است و مطمئن شوید که مقدار صحیح برای نام کاربری و رمز عبور در پیکربندی پایگاه داده PostgreSQL ارائه شده است.

به همین ترتیب ، یک پرونده محیط برای کارگر ایجاد کنید.

sudo nano /opt/concourse/worker.env

پرونده را جمع کنید.

CONCOURSE_WORK_DIR=/opt/concourse/worker
CONCOURSE_TSA_WORKER_PRIVATE_KEY=/opt/concourse/worker_key
CONCOURSE_TSA_PUBLIC_KEY=/opt/concourse/tsa_host_key.pub
CONCOURSE_TSA_HOST=127.0.0.1

از آنجا که پرونده های محیط حاوی نام کاربری و رمزعبور هستند ، مجوزهای آن را تغییر دهید تا دسترسی سایر کاربران به آن دسترسی پیدا نکند.

sudo chmod 600 /opt/concourse/*.env

اکنون یک کاربر جدید برای Concourse ایجاد کنید تا محیط وب را اجرا کند. این امر باعث می شود كه سرور وب در یك محیط منزوی اجرا شود.

sudo useradd concourse

مالکیت کاربر متعلق را به فهرست پرونده Concourse CI اختصاص دهید.

sudo chown -R concourse:concourse /opt/concourse

برای سرویس وب Concourse یک فایل سرویس سیستم دار جدید ایجاد کنید.

sudo nano /etc/systemd/system/concourse-web.service

پرونده را جمع کنید.

[Unit]
Description=Concourse CI web server

[Service]
Type=simple
User=concourse
Group=concourse
Restart=on-failure
EnvironmentFile=/opt/concourse/web.env
ExecStart=/usr/bin/concourse web
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=concourse_web

[Install]
WantedBy=multi-user.target

ذخیره کنید و فایل را ببندید. یک فایل سرویس جدید برای خدمات کارگر Concourse ایجاد کنید.

sudo nano /etc/systemd/system/concourse-worker.service

پرونده را جمع کنید.

[Unit]
Description=Concourse CI worker process

[Service]
Type=simple
Restart=on-failure
EnvironmentFile=/opt/concourse/worker.env
ExecStart=/usr/bin/concourse worker
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=concourse_worker

[Install]
WantedBy=multi-user.target

اکنون سرویس وب و کارگر می تواند مستقیماً شروع شود.

sudo systemctl start concourse-web concourse-worker

برای فعال کردن فرآیند کارگر و وب به طور خودکار در زمان بوت شدن ، موارد زیر را اجرا کنید.

sudo systemctl enable concourse-worker concourse-web

برای بررسی وضعیت خدمات ، موارد زیر را اجرا کنید.

sudo systemctl status concourse-worker concourse-web

اگر سرویس شروع نشده است ، یا در FAILED حالت موجود است ، کش را از /tmp فهرست راهنما خارج کنید.

sudo rm -rf /tmp/*

خدمات را مجدداً راه اندازی کنید.

sudo systemctl restart concourse-worker concourse-web

توجه کنید که این بار خدمات به درستی شروع شده اند. خروجی پس از تأیید وضعیت خدمات ، مشابه موارد زیر خواهد بود.

[user@vultr ~]$ sudo systemctl status concourse-worker concourse-web
● concourse-worker.service - Concourse CI worker process
   Loaded: loaded (/etc/systemd/system/concourse-worker.service; enabled; vendor preset: disabled)
   Active: active (running) since Sat 2017-08-26 07:27:37 UTC; 55s ago
 Main PID: 3037 (concourse)
   CGroup: /system.slice/concourse-worker.service
           └─3037 /usr/bin/concourse worker

Aug 26 07:27:42 vultr.guest concourse_worker[3037]: {"timestamp":"1503732462.934722900","source":"tsa","message":"t...""}}
Aug 26 07:27:42 vultr.guest concourse_worker[3037]: {"timestamp":"1503732462.941227913","source":"guardian","messag...0"}}

...

● concourse-web.service - Concourse CI web server
   Loaded: loaded (/etc/systemd/system/concourse-web.service; enabled; vendor preset: disabled)
   Active: active (running) since Sat 2017-08-26 07:27:37 UTC; 55s ago
 Main PID: 3036 (concourse)
   CGroup: /system.slice/concourse-web.service
           └─3036 /usr/bin/concourse web

Aug 26 07:27:57 vultr.guest concourse_web[3036]: {"timestamp":"1503732477.925554752","source":"tsa","message":"tsa...ve"}}
Aug 26 07:28:02 vultr.guest concourse_web[3036]: {"timestamp":"1503732482.925430775","source":"tsa","message":"tsa...ve"}}
...
Hint: Some lines were ellipsized, use -l to show in full.

اتصال به سرور

پس از راه اندازی سرور ، با رفتن به http://192.0.2.1:8080 هر مرورگری ، به رابط وب کنسول CI دسترسی پیدا می کنید. با استفاده از نام کاربری و رمزعبور موجود در پرونده محیط وارد شوید.

برای اتصال به سرور با استفاده از پرواز ، موارد زیر را اجرا کنید.

fly -t my-ci login -c http://192.0.2.1:8080

دستور فوق برای ورود اولیه به سرور استفاده می شود. -t برای تهیه نام هدف استفاده می شود. my-ci با هر نام هدف مورد نظر جایگزین کنید. دستور فوق وارد تیم پیش فرض می شود main. نام کاربری و رمزعبور موجود در پرونده محیط را درخواست می کند.

خروجی مانند شکل زیر خواهد بود.

[user@vultr ~]$ fly -t my-ci login -c http://192.0.2.1:8080
logging in to team 'main'

username: admin
password:

target saved

ورود به سیستم مورد نظر برای یک روز ذخیره می شود. پس از آن ، منقضی می شود.

برای فوریت ورود به سیستم

fly -t my-ci logout

پرواز را می توان برای ورود به سرور خارج از شبکه استفاده کرد ، اما تنها در صورتی که سرور دارای یک آدرس IP عمومی باشد و از خارج از شبکه قابل دسترسی باشد. دودویی ویندوز یا MacOS را می توان از سایت بارگیری یا از UI وب سرور بارگیری کرد.

تنظیم پروکسی معکوس Nginx

ورود به سیستم و سایر اطلاعاتی که از طریق UI وب به سرور Concourse ارسال می شود ، ایمن نیستند. اتصال رمزگذاری نشده است. پروکسی معکوس Nginx را می توان با SSL رایگان رمزگذاری کرد.

Nginx را نصب کنید.

sudo apt -y install nginx

Nginx را شروع کنید و آن را فعال کنید تا به طور خودکار در زمان بوت شروع شود.

sudo systemctl start nginx
sudo systemctl enable nginx

مخزن Certbot را اضافه کنید.

sudo add-apt-repository --yes ppa:certbot/certbot
sudo apt-get update

Certbot را نصب کنید ، که برنامه مشتری برای Let Encrypt CA است.

sudo apt -y install certbot

توجه : برای به دست آوردن گواهینامه ها از Let Encrypt CA ، دامنه تولید شده برای صدور گواهینامه ها باید به سمت سرور هدایت شود. در این صورت ، تغییرات لازم را در سوابق DNS دامنه ایجاد کرده و منتظر انتشار DNS قبل از درخواست مجوز مجدد باشید. Certbot قبل از ارائه گواهینامه ها ، دامنه را بررسی می کند.

صدور گواهینامه SSL را ایجاد کنید.

sudo certbot certonly --webroot -w /var/www/html -d ci.example.com

گواهینامه های تولید شده احتمالاً در /etc/letsencrypt/live/ci.example.com/ دایرکتوری ذخیره می شوند . گواهینامه SSL ذخیره می شود fullchain.pem و کلید خصوصی نیز به عنوان ذخیره می شود privkey.pem.

بیایید گواهینامه های رمزگذاری در طی 90 روز منقضی شوند ، بنابراین توصیه می شود تجدید خودکار گواهینامه ها با استفاده از cronjobs تنظیم شود. Cron یک سرویس سیستم است که برای انجام کارهای دوره ای استفاده می شود.

پرونده کار cron را باز کنید.

sudo crontab -e

در انتهای پرونده خط زیر را اضافه کنید.

30 5 * * * /usr/bin/certbot renew --quiet

کار فوق در مورد cron هر روز ساعت 5:30 صبح اجرا می شود. اگر گواهی برای انقضا موقت باشد ، به طور خودکار تمدید می شود.

یک میزبان مجازی جدید ایجاد کنید.

sudo nano /etc/nginx/sites-available/concourse

پرونده را جمع کنید.

server {
    listen 80;
    server_name ci.example.com;
    return 301 https://$host$request_uri;
}
server {

    listen 443;
    server_name ci.example.com;

    ssl_certificate           /etc/letsencrypt/live/ci.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/ci.example.com/privkey.pem;

    ssl on;
    ssl_session_cache  builtin:1000  shared:SSL:10m;
    ssl_protocols  TLSv1 TLSv1.1 TLSv1.2;
    ssl_ciphers HIGH:!aNULL:!eNULL:!EXPORT:!CAMELLIA:!DES:!MD5:!PSK:!RC4;
    ssl_prefer_server_ciphers on;

    access_log    /var/log/nginx/concourse.access.log;

    location / {

      proxy_set_header        Host $host;
      proxy_set_header        X-Real-IP $remote_addr;
      proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;
      proxy_set_header        X-Forwarded-Proto $scheme;
      proxy_pass          http://localhost:8080;
      proxy_read_timeout  90;

      proxy_redirect      http://localhost:8080 https://ci.example.com;
    }
  }

توجه : دامنه واقعی را جایگزین کنید ci.example.com.

پرونده پیکربندی را فعال کنید.

sudo ln -s /etc/nginx/sites-available/concourse /etc/nginx/sites-enabled/concourse

پرونده محیط ایجاد شده برای Concourse Web را ویرایش کنید.

sudo nano /opt/concourse/web.env

مقدار را تغییر دهید CONCOURSE_EXTERNAL_URL و همچنین در انتهای پرونده دو خط دیگر اضافه کنید.

CONCOURSE_EXTERNAL_URL=https://ci.example.com
CONCOURSE_BIND_IP=127.0.0.1
CONCOURSE_BIND_PORT=8080

پرونده را ذخیره کنید و Concourse Web ، Worker و Nginx را مجدداً راه اندازی کنید.

sudo systemctl restart concourse-worker concourse-web nginx

اکنون تمام داده های ارسال شده به مرورگر و از طریق مرورگر با رمزگذاری SSL تضمین شده اند.