كيفية تثبيت وتكوين Concourse CI على أوبونتو 16.04

• المقدمة
• المتطلبات الأساسية
• تثبيت وتكوين قاعدة بيانات PostgreSQL
• تنزيل Concourse CI وتثبيته
• إنشاء وإعداد مفاتيح RSA
• بدء الكونكورس
• تكوين البيئة وخدمة Systemd
• جاري التوصيل بالخادم
• إعداد وكيل Nginx المعكوس

المقدمة

التكامل المستمر هو ممارسة تطوير برامج DevOps تمكن المطورين من دمج التعليمات البرمجية المعدلة بشكل متكرر في المستودع المشترك عدة مرات في اليوم. بعد كل عملية دمج ، يتم إجراء اختبارات واختبارات تلقائية للكشف عن المشكلات في التعليمات البرمجية. فهو يمكّن المطورين من العثور على الأخطاء وحلها بسرعة لتحسين جودة البرنامج وتقديم تسليم مستمر للبرنامج. يعد التبديل من وإلى Concourse أمرًا سهلاً للغاية حيث يحتفظ بكل تكويناته في ملفات تعريفية يمكن التحقق منها في التحكم في الإصدار. كما يوفر واجهة مستخدم ويب تعرض معلومات البناء بشكل تفاعلي.

مكونات الكونكورس.

• ATC هو المكون الرئيسي للكونكورس. وهي مسؤولة عن تشغيل Web UI و API. كما أنه يعتني بجميع جدولة خط الأنابيب.
• TSA هو خادم SSH مخصص. وهي مسؤولة عن تسجيل عامل لدى ATC بشكل آمن.
• يدير العمال كذلك خدمتين مختلفتين:
  1. الحديقة هي وقت تشغيل الحاوية وواجهة لتنسيق الحاويات عن بعد على العامل.
  2. Baggageclaim هو خادم إدارة ذاكرة التخزين المؤقت والقطع الأثرية.
• Fly هي واجهة سطر أوامر تستخدم للتفاعل مع ATC ​​لتكوين خطوط أنابيب Concourse.

المتطلبات الأساسية

• نسخة خادم Vultr Ubuntu 16.04.
• A المستخدم سودو .

تأكد من استبدال كافة تواجدات 192.0.2.1 و ci.example.com مع عنوان الفعلي Vultr الجمهور IP واسم المجال الفعلي.

قم بتحديث نظامك الأساسي باستخدام الدليل كيفية تحديث Ubuntu 16.04 . بمجرد تحديث نظامك ، تابع تثبيت PostgreSQL.

تثبيت وتكوين قاعدة بيانات PostgreSQL

PostgreSQL هو نظام قاعدة بيانات علائقية للكائنات. يخزن Concourse بيانات خط الأنابيب الخاصة به في قاعدة بيانات PostgreSQL. أضف مستودع PostgreSQL.

echo "deb http://apt.postgresql.org/pub/repos/apt/ xenial-pgdg main" | sudo tee /etc/apt/sources.list.d/pgdg.list
wget --quiet -O - https://www.postgresql.org/media/keys/ACCC4CF8.asc | sudo apt-key add -
sudo apt update

قم بتثبيت خادم قاعدة بيانات PostgreSQL.

sudo apt -y install postgresql

قم بتشغيل خادم PostgreSQL وتمكينه من البدء تلقائيًا في وقت التمهيد.

sudo systemctl start postgresql
sudo systemctl enable postgresql

قم بتغيير كلمة المرور لمستخدم PostgreSQL الافتراضي.

sudo passwd postgres

تسجيل الدخول كمستخدم PostgreSQL:

sudo su - postgres

قم بإنشاء مستخدم PostgreSQL جديد لـ Concourse CI.

createuser concourse

ملاحظة : يمكن استخدام مستخدم PostgreSQL الافتراضي لمصادقة قاعدة البيانات ، ولكن يوصى باستخدام مستخدم مخصص لمصادقة قاعدة بيانات الكونكورس في إعداد الإنتاج.

يوفر PostgreSQL صدفة لتشغيل الاستعلامات في قاعدة البيانات. قم بالتبديل إلى غلاف PostgreSQL.

psql

قم بتعيين كلمة مرور لمستخدم قاعدة بيانات Concourse الذي تم إنشاؤه حديثًا.

ALTER USER concourse WITH ENCRYPTED password 'DBPassword';

هام : استبدل DBPassword بكلمة مرور قوية. قم بتدوين كلمة المرور لأنها ستكون مطلوبة لاحقًا في البرنامج التعليمي.

إنشاء قاعدة بيانات جديدة للكونكورس.

CREATE DATABASE concourse OWNER concourse;

اخرج من psql الصدفة.

\q

قم بالتبديل إلى مستخدم sudo من postgresالمستخدم الحالي .

exit

تنزيل Concourse CI وتثبيته

قم بتنزيل أحدث إصدار من الملف القابل للتنفيذ وتخزينه /usr/bin بحيث يمكن تنفيذه مباشرة. يمكن العثور على أحدث إصدار من Concourse و Fly binaries على صفحة تنزيل Concourse . الإصدارات الجديدة متكررة للغاية. استبدل الرابط أدناه بالرابط الجديد لأحدث إصدار.

sudo wget https://github.com/concourse/concourse/releases/download/v3.10.0/concourse_linux_amd64 -O /usr/bin/concourse

وبالمثل ، قم بتنزيل أحدث إصدار من الملف التنفيذي القابل للطي وقم بتخزينه فيه /usr/bin.

sudo wget https://github.com/concourse/concourse/releases/download/v3.10.0/fly_linux_amd64 -O /usr/bin/fly

Fly هي واجهة سطر الأوامر المستخدمة للاتصال بواجهة برمجة تطبيقات ATC الخاصة بـ Concourse CI. يتوفر Fly لأنظمة أساسية متعددة مثل Linux و Windows و MacOS.

تعيين تنفيذ الإذن إلى تحميلا concourse و fly الثنائيات.

sudo chmod +x /usr/bin/concourse /usr/bin/fly

تحقق مما إذا كان Concourse و Fly يعملان بشكل صحيح عن طريق التحقق من نسختهما.

concourse -version
fly -version

إنشاء وإعداد مفاتيح RSA

توفر أزواج مفاتيح RSA طريقة لتشفير الاتصال بين مكونات الكونكورس.

لكي يعمل Concourse ، يجب إنشاء ثلاثة أزواج من المفاتيح على الأقل. لتشفير بيانات الجلسة ، قم بإنشاء session_signing_key. سيتم استخدام هذا المفتاح أيضًا بواسطة TSA لتوقيع الطلبات التي يقدمها إلى ATC. لتأمين خادم TSA SSH ، قم بإنشاء tsa_host_key. أخيرًا ، قم بإنشاء worker_key لكل عامل.

قم بإنشاء دليل جديد لتخزين المفاتيح والتكوين المرتبط بـ Concourse CI.

sudo mkdir /opt/concourse

إنشاء المفاتيح المطلوبة.

sudo ssh-keygen -t rsa -q -N '' -f /opt/concourse/session_signing_key
sudo ssh-keygen -t rsa -q -N '' -f /opt/concourse/tsa_host_key
sudo ssh-keygen -t rsa -q -N '' -f /opt/concourse/worker_key

تفويض المفتاح العمومي للعمال عن طريق نسخ محتوياته إلى authorized_worker_keys الملف.

sudo cp /opt/concourse/worker_key.pub /opt/concourse/authorized_worker_keys

بدء الكونكورس

يوفر الكونكورس عنصرين منفصلين يجب البدء فيهما: الويب والعامل. ابدأ الويب Concourse على الويب.

sudo concourse web \
  --basic-auth-username admin \
  --basic-auth-password StrongPass \
  --session-signing-key /opt/concourse/session_signing_key \
  --tsa-host-key /opt/concourse/tsa_host_key \
  --tsa-authorized-keys /opt/concourse/authorized_worker_keys \
  --postgres-user=concourse \
  --postgres-password=DBPassword \
  --postgres-database=concourse \
  --external-url http://192.0.2.1:8080

قم بتغيير اسم المستخدم وكلمة المرور basic-auth إذا رغبت في ذلك. تأكد من صحة المسار إلى الملفات الرئيسية وتأكد من توفير القيمة الصحيحة لاسم المستخدم وكلمة المرور في تكوين قاعدة بيانات PostgreSQL.

ملاحظة : سوف يستمع ATC ​​إلى المنفذ الافتراضي 8080 وسوف يستمع TSA إلى المنفذ 2222. إذا لم تكن المصادقة مطلوبة ، فمرر --no-really-i-dont-want-any-authالخيار بعد إزالة خيارات المصادقة الأساسية.

بمجرد بدء تشغيل خادم الويب ، سيتم عرض الإخراج التالي.

{"timestamp":"1503657859.661247969","source":"tsa","message":"tsa.listening","log_level":1,"data":{}}
{"timestamp":"1503657859.666907549","source":"atc","message":"atc.listening","log_level":1,"data":{"debug":"127.0.0.1:8079","http":"0.0.0.0:8080"}}

أوقف الخادم في الوقت الحالي ، حيث يجب إعداد بعض الأشياء الأخرى.

بدء تشغيل Concourse CI Worker.

sudo concourse worker \
  --work-dir /opt/concourse/worker \
  --tsa-host 127.0.0.1 \
  --tsa-public-key /opt/concourse/tsa_host_key.pub \
  --tsa-worker-private-key /opt/concourse/worker_key

يفترض الأمر أعلاه أن TSA يعمل على مضيف محلي ويستمع إلى المنفذ الافتراضي 2222.

على الرغم من أنه يمكن بدء تشغيل Concourse web والعامل بسهولة باستخدام الأوامر أعلاه ، فمن المستحسن استخدام Systemd لإدارة الخادم.

تكوين البيئة وخدمة Systemd

يضمن استخدام خدمة Systemd لإدارة التطبيق بدء تشغيل التطبيق تلقائيًا عند الفشل وفي وقت التمهيد. لا يأخذ خادم Concourse البيانات من أي ملف تكوين ، ولكن يمكنه الوصول إلى البيانات من متغيرات البيئة. بدلاً من تعيين متغيرات البيئة العالمية ، قم بإنشاء ملف جديد لتخزين متغيرات البيئة ثم قم بتمرير المتغيرات إلى Concourse CI باستخدام خدمة Systemd.

إنشاء ملف بيئة جديد لكونكورس ويب.

sudo nano /opt/concourse/web.env

تعبئة الملف.

CONCOURSE_SESSION_SIGNING_KEY=/opt/concourse/session_signing_key
CONCOURSE_TSA_HOST_KEY=/opt/concourse/tsa_host_key
CONCOURSE_TSA_AUTHORIZED_KEYS=/opt/concourse/authorized_worker_keys

CONCOURSE_POSTGRES_USER=concourse
CONCOURSE_POSTGRES_PASSWORD=DBPassword
CONCOURSE_POSTGRES_DATABASE=concourse

CONCOURSE_BASIC_AUTH_USERNAME=admin
CONCOURSE_BASIC_AUTH_PASSWORD=StrongPass
CONCOURSE_EXTERNAL_URL=http://192.0.2.1:8080

قم بتغيير اسم المستخدم وكلمة المرور BASIC_AUTH إذا رغبت في ذلك. تأكد من صحة المسار إلى الملفات الرئيسية وتأكد من توفير القيمة الصحيحة لاسم المستخدم وكلمة المرور في تكوين قاعدة بيانات PostgreSQL.

وبالمثل ، قم بإنشاء ملف بيئة للعامل.

sudo nano /opt/concourse/worker.env

تعبئة الملف.

CONCOURSE_WORK_DIR=/opt/concourse/worker
CONCOURSE_TSA_WORKER_PRIVATE_KEY=/opt/concourse/worker_key
CONCOURSE_TSA_PUBLIC_KEY=/opt/concourse/tsa_host_key.pub
CONCOURSE_TSA_HOST=127.0.0.1

نظرًا لأن ملفات البيئة تحتوي على أسماء المستخدمين وكلمات المرور ، قم بتغيير أذوناتها بحيث لا يمكن للمستخدمين الآخرين الوصول إليها.

sudo chmod 600 /opt/concourse/*.env

الآن قم بإنشاء مستخدم جديد لـ Concourse لتشغيل بيئة الويب. سيضمن ذلك تشغيل خادم الويب في بيئة معزولة.

sudo useradd concourse

امنح مستخدم الكونكورس ملكية على دليل ملف Concourse CI.

sudo chown -R concourse:concourse /opt/concourse

إنشاء ملف خدمة systemd جديد لخدمة الويب Concourse.

sudo nano /etc/systemd/system/concourse-web.service

تعبئة الملف.

[Unit]
Description=Concourse CI web server

[Service]
Type=simple
User=concourse
Group=concourse
Restart=on-failure
EnvironmentFile=/opt/concourse/web.env
ExecStart=/usr/bin/concourse web
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=concourse_web

[Install]
WantedBy=multi-user.target

أحفظ وأغلق الملف. إنشاء ملف خدمة جديد لخدمة عامل الكونكورس.

sudo nano /etc/systemd/system/concourse-worker.service

تعبئة الملف.

[Unit]
Description=Concourse CI worker process

[Service]
Type=simple
Restart=on-failure
EnvironmentFile=/opt/concourse/worker.env
ExecStart=/usr/bin/concourse worker
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=concourse_worker

[Install]
WantedBy=multi-user.target

يمكن الآن بدء خدمة الويب والعامل مباشرة.

sudo systemctl start concourse-web concourse-worker

لتمكين العامل وعملية الويب من البدء تلقائيًا في وقت التمهيد ، قم بتشغيل ما يلي.

sudo systemctl enable concourse-worker concourse-web

للتحقق من حالة الخدمات ، قم بتشغيل ما يلي.

sudo systemctl status concourse-worker concourse-web

إذا لم تبدأ الخدمة ، أو في FAILED الحالة ، قم بإزالة ذاكرة التخزين المؤقت من /tmp الدليل.

sudo rm -rf /tmp/*

أعد تشغيل الخدمات.

sudo systemctl restart concourse-worker concourse-web

لاحظ أن هذه المرة بدأت الخدمات بشكل صحيح. الناتج عند التحقق من حالة الخدمات سيكون مماثلاً لما يلي.

[user@vultr ~]$ sudo systemctl status concourse-worker concourse-web
● concourse-worker.service - Concourse CI worker process
   Loaded: loaded (/etc/systemd/system/concourse-worker.service; enabled; vendor preset: disabled)
   Active: active (running) since Sat 2017-08-26 07:27:37 UTC; 55s ago
 Main PID: 3037 (concourse)
   CGroup: /system.slice/concourse-worker.service
           └─3037 /usr/bin/concourse worker

Aug 26 07:27:42 vultr.guest concourse_worker[3037]: {"timestamp":"1503732462.934722900","source":"tsa","message":"t...""}}
Aug 26 07:27:42 vultr.guest concourse_worker[3037]: {"timestamp":"1503732462.941227913","source":"guardian","messag...0"}}

...

● concourse-web.service - Concourse CI web server
   Loaded: loaded (/etc/systemd/system/concourse-web.service; enabled; vendor preset: disabled)
   Active: active (running) since Sat 2017-08-26 07:27:37 UTC; 55s ago
 Main PID: 3036 (concourse)
   CGroup: /system.slice/concourse-web.service
           └─3036 /usr/bin/concourse web

Aug 26 07:27:57 vultr.guest concourse_web[3036]: {"timestamp":"1503732477.925554752","source":"tsa","message":"tsa...ve"}}
Aug 26 07:28:02 vultr.guest concourse_web[3036]: {"timestamp":"1503732482.925430775","source":"tsa","message":"tsa...ve"}}
...
Hint: Some lines were ellipsized, use -l to show in full.

جاري التوصيل بالخادم

بمجرد بدء تشغيل الخادم ، يمكن الوصول إلى واجهة الويب الخاصة بـ Concourse CI من خلال الانتقال إلى http://192.0.2.1:8080 أي متصفح. قم بتسجيل الدخول باستخدام اسم المستخدم وكلمة المرور المقدمة في ملف البيئة.

للاتصال بالخادم باستخدام Fly ، قم بتشغيل ما يلي.

fly -t my-ci login -c http://192.0.2.1:8080

يتم استخدام الأمر أعلاه لتسجيل الدخول الأولي إلى الخادم. -t يستخدم لتوفير اسم الهدف. استبدال my-ci أي اسم الهدف المطلوب. سيقوم الأمر أعلاه بتسجيل الدخول إلى الفريق الافتراضي main. سيطلب اسم المستخدم وكلمة المرور المقدمة في ملف البيئة.

سيبدو الإخراج كما يلي.

[user@vultr ~]$ fly -t my-ci login -c http://192.0.2.1:8080
logging in to team 'main'

username: admin
password:

target saved

سيتم حفظ تسجيل الدخول الهدف لمدة يوم. بعد ذلك ، ستنتهي صلاحيتها.

لتسجيل الخروج على الفور.

fly -t my-ci logout

يمكن استخدام Fly للدخول إلى الخادم خارج الشبكة ، ولكن فقط إذا كان الخادم لديه عنوان IP عام ويمكن الوصول إليه من خارج الشبكة. يمكن تنزيل Windows أو MacOS الثنائي من موقع التنزيل أو من واجهة مستخدم الويب للخادم.

إعداد وكيل Nginx المعكوس

لا يتم تأمين تسجيلات الدخول والمعلومات الأخرى التي يتم إرسالها عبر واجهة مستخدم الويب إلى خادم الكونكورس. الاتصال غير مشفر. يمكن إعداد وكيل Nginx عكسي باستخدام SSL المجاني.

قم بتثبيت Nginx.

sudo apt -y install nginx

قم بتشغيل Nginx وتمكينه من البدء تلقائيًا في وقت التمهيد.

sudo systemctl start nginx
sudo systemctl enable nginx

أضف مستودع Certbot.

sudo add-apt-repository --yes ppa:certbot/certbot
sudo apt-get update

قم بتثبيت Certbot ، وهو تطبيق العميل لـ Let's Encrypt CA.

sudo apt -y install certbot

ملاحظة : للحصول على شهادات من Let's Encrypt CA ، يجب توجيه النطاق الذي سيتم إنشاء الشهادات من أجله إلى الخادم. إذا لم يكن الأمر كذلك ، قم بإجراء التغييرات اللازمة على سجلات DNS للمجال وانتظر DNS للنشر قبل إجراء طلب الشهادة مرة أخرى. يتحقق Certbot من سلطة المجال قبل تقديم الشهادات.

إنشاء شهادات SSL.

sudo certbot certonly --webroot -w /var/www/html -d ci.example.com

من المرجح أن يتم تخزين الشهادات التي تم إنشاؤها في /etc/letsencrypt/live/ci.example.com/ الدليل. سيتم تخزين شهادة SSL كـ وسيتم تخزين fullchain.pem المفتاح الخاص كـ privkey.pem.

تنتهي صلاحية شهادات التشفير خلال 90 يومًا ، لذا يوصى بالتجديد التلقائي للشهادات التي تم إعدادها باستخدام cronjobs. Cron هي خدمة نظام تُستخدم لتشغيل المهام الدورية.

افتح ملف مهمة كرون.

sudo crontab -e

أضف السطر التالي في نهاية الملف.

30 5 * * * /usr/bin/certbot renew --quiet

سيتم تشغيل وظيفة cron المذكورة أعلاه كل يوم في الساعة 5:30 صباحًا. إذا كانت الشهادة مستحقة للانتهاء ، فسيتم تجديدها تلقائيًا.

إنشاء مضيف افتراضي جديد.

sudo nano /etc/nginx/sites-available/concourse

تعبئة الملف.

server {
    listen 80;
    server_name ci.example.com;
    return 301 https://$host$request_uri;
}
server {

    listen 443;
    server_name ci.example.com;

    ssl_certificate           /etc/letsencrypt/live/ci.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/ci.example.com/privkey.pem;

    ssl on;
    ssl_session_cache  builtin:1000  shared:SSL:10m;
    ssl_protocols  TLSv1 TLSv1.1 TLSv1.2;
    ssl_ciphers HIGH:!aNULL:!eNULL:!EXPORT:!CAMELLIA:!DES:!MD5:!PSK:!RC4;
    ssl_prefer_server_ciphers on;

    access_log    /var/log/nginx/concourse.access.log;

    location / {

      proxy_set_header        Host $host;
      proxy_set_header        X-Real-IP $remote_addr;
      proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;
      proxy_set_header        X-Forwarded-Proto $scheme;
      proxy_pass          http://localhost:8080;
      proxy_read_timeout  90;

      proxy_redirect      http://localhost:8080 https://ci.example.com;
    }
  }

ملاحظة : استبدل ci.example.com بالمجال الفعلي.

قم بتنشيط ملف التكوين.

sudo ln -s /etc/nginx/sites-available/concourse /etc/nginx/sites-enabled/concourse

تحرير ملف البيئة الذي تم إنشاؤه لويب الكونكورس.

sudo nano /opt/concourse/web.env

غيّر قيمة CONCOURSE_EXTERNAL_URL إضافة سطرين آخرين في نهاية الملف.

CONCOURSE_EXTERNAL_URL=https://ci.example.com
CONCOURSE_BIND_IP=127.0.0.1
CONCOURSE_BIND_PORT=8080

احفظ الملف وأعد تشغيل Concourse Web و Worker و Nginx.

sudo systemctl restart concourse-worker concourse-web nginx

جميع البيانات المرسلة من وإلى المتصفح مؤمنة الآن بتشفيرات SSL.