كيفية تثبيت وتكوين Concourse CI على CentOS 7

• المقدمة
• المتطلبات الأساسية
• تثبيت وتكوين قاعدة بيانات PostgreSQL
• تنزيل Concourse CI وتثبيته
• إنشاء وإعداد مفاتيح RSA
• بدء الكونكورس
• تكوين البيئة وخدمة Systemd
• جاري التوصيل بالخادم
• إعداد وكيل Nginx المعكوس

المقدمة

التكامل المستمر هو ممارسة تطوير برامج DevOps تمكن المطورين من دمج التعليمات البرمجية المعدلة بشكل متكرر في المستودع المشترك عدة مرات في اليوم. بعد كل عملية دمج ، يتم إجراء اختبارات واختبارات تلقائية للكشف عن المشكلات في التعليمات البرمجية. فهو يمكّن المطورين من العثور على الأخطاء وحلها بسرعة لتحسين جودة البرنامج وتقديم تسليم مستمر للبرنامج. يعد التبديل من وإلى Concourse أمرًا سهلاً للغاية حيث يحتفظ بكل تكويناته في ملفات تعريفية يمكن التحقق منها في التحكم في الإصدار. كما يوفر واجهة مستخدم ويب تعرض معلومات البناء بشكل تفاعلي.

مكونات الكونكورس.

• ATC هو المكون الرئيسي للكونكورس. وهي مسؤولة عن تشغيل Web UI و API. كما أنه يعتني بجميع جدولة خط الأنابيب.
• TSA هو خادم SSH مخصص. وهي مسؤولة عن تسجيل عامل لدى ATC بشكل آمن.
• يدير العمال كذلك خدمتين مختلفتين:
  1. الحديقة هي وقت تشغيل الحاوية وواجهة لتنسيق الحاويات عن بعد على العامل.
  2. Baggageclaim هو خادم إدارة ذاكرة التخزين المؤقت والقطع الأثرية.
• Fly هي واجهة سطر أوامر تستخدم للتفاعل مع ATC ​​لتكوين خطوط أنابيب Concourse.

المتطلبات الأساسية

• نسخة خادم Vultr CentOS 7.
• A المستخدم سودو .

تأكد من استبدال كافة تواجدات 192.0.2.1و ci.example.comمع عنوان الفعلي Vultr الجمهور IP واسم المجال الفعلي.

قم بتحديث نظامك الأساسي باستخدام الدليل كيفية تحديث CentOS 7 . بمجرد تحديث نظامك ، تابع تثبيت PostgreSQL.

تثبيت وتكوين قاعدة بيانات PostgreSQL

PostgreSQL هو نظام قاعدة بيانات علائقية للكائنات. يخزن Concourse بيانات خط الأنابيب الخاصة به في قاعدة بيانات PostgreSQL. أضف مستودع PostgreSQL.

sudo rpm -Uvh https://download.postgresql.org/pub/repos/yum/9.6/redhat/rhel-7-x86_64/pgdg-centos96-9.6-3.noarch.rpm

قم بتثبيت خادم قاعدة بيانات PostgreSQL.

sudo yum -y install postgresql96-server postgresql96-contrib

تهيئة قاعدة البيانات.

sudo /usr/pgsql-9.6/bin/postgresql96-setup initdb

initdbيُنشئ مجموعة قواعد بيانات PostgreSQL جديدة ، وهي عبارة عن مجموعة من قواعد البيانات التي تتم إدارتها بواسطة مثيل خادم واحد. قم بتحرير pg_hba.confالملف لتمكين المصادقة المستندة إلى MD5.

sudo nano /var/lib/pgsql/9.6/data/pg_hba.conf

العثور على الأسطر التالية وتغيير القيم peerو identفي METHODعامود ل trustو md5، على التوالي.

# TYPE  DATABASE        USER            ADDRESS                 METHOD

# "local" is for Unix domain socket connections only
local   all             all                                     peer
# IPv4 local connections:
host    all             all             127.0.0.1/32            ident
# IPv6 local connections:
host    all             all             ::1/128                 ident

بمجرد التحديث ، يجب أن يبدو التكوين على هذا النحو.

# TYPE  DATABASE        USER            ADDRESS                 METHOD

# "local" is for Unix domain socket connections only
local   all             all                                     trust
# IPv4 local connections:
host    all             all             127.0.0.1/32            md5
# IPv6 local connections:
host    all             all             ::1/128                 md5

قم بتشغيل خادم PostgreSQL وتمكينه من البدء تلقائيًا في وقت التمهيد.

sudo systemctl start postgresql-9.6
sudo systemctl enable postgresql-9.6

قم بتغيير كلمة المرور لمستخدم PostgreSQL الافتراضي.

sudo passwd postgres

تسجيل الدخول كمستخدم PostgreSQL:

sudo su - postgres

قم بإنشاء مستخدم PostgreSQL جديد لـ Concourse CI.

createuser concourse

ملاحظة : يمكن استخدام مستخدم PostgreSQL الافتراضي لمصادقة قاعدة البيانات ، ولكن يوصى باستخدام مستخدم مخصص لمصادقة قاعدة بيانات الكونكورس في إعداد الإنتاج.

يوفر PostgreSQL صدفة لتشغيل الاستعلامات في قاعدة البيانات. قم بالتبديل إلى غلاف PostgreSQL بتشغيل:

psql

قم بتعيين كلمة مرور لمستخدم قاعدة بيانات Concourse الذي تم إنشاؤه حديثًا.

ALTER USER concourse WITH ENCRYPTED password 'DBPassword';

هام : استبدل DBPasswordبكلمة مرور قوية. قم بتدوين كلمة المرور لأنها ستكون مطلوبة لاحقًا في البرنامج التعليمي.

إنشاء قاعدة بيانات جديدة للكونكورس.

CREATE DATABASE concourse OWNER concourse;

اخرج من psqlالصدفة.

\q

التبديل إلى مستخدم sudo من مستخدم postgres الحالي.

exit

تنزيل Concourse CI وتثبيته

قم بتنزيل أحدث إصدار من Concourse القابل للتنفيذ وقم بتخزينه /usr/binبحيث يمكن تنفيذه مباشرة. يمكن العثور على أحدث إصدار من Concourse و Fly binaries على صفحة تنزيل Concourse . الإصدارات الجديدة متكررة للغاية. استبدل الرابط أدناه بالرابط الجديد لأحدث إصدار.

sudo wget https://github.com/concourse/concourse/releases/download/v3.4.1/concourse_linux_amd64 -O /usr/bin/concourse

وبالمثل ، قم بتنزيل أحدث إصدار من الملف التنفيذي القابل للطي وقم بتخزينه فيه /usr/bin.

sudo wget https://github.com/concourse/concourse/releases/download/v3.4.1/fly_linux_amd64 -O /usr/bin/fly

Fly هي واجهة سطر الأوامر للاتصال بواجهة برمجة تطبيقات ATC لـ Concourse CI. يتوفر Fly لأنظمة أساسية متعددة مثل Linux و Windows و MacOS.

تعيين تنفيذ الإذن إلى تحميلا concourseو flyالثنائيات.

sudo chmod +x /usr/bin/concourse /usr/bin/fly

تحقق مما إذا كان Concourse و Fly يعملان بشكل صحيح عن طريق التحقق من نسختهما.

concourse -version
fly -version

إنشاء وإعداد مفاتيح RSA

توفر أزواج مفاتيح RSA طريقة لتشفير الاتصال بين مكونات الكونكورس.

لكي يعمل Concourse ، يجب إنشاء ثلاثة أزواج من المفاتيح على الأقل. لتشفير بيانات الجلسة ، قم بإنشاء session_signing_key. سيتم استخدام هذا المفتاح أيضًا بواسطة TSA لتوقيع الطلبات التي يقدمها إلى ATC. لتأمين خادم TSA SSH ، قم بإنشاء tsa_host_key. وأخيرا، تولد worker_keyعن كل عامل.

قم بإنشاء دليل جديد لتخزين المفاتيح والتكوين المرتبط بـ Concourse CI.

sudo mkdir /opt/concourse

إنشاء المفاتيح المطلوبة.

sudo ssh-keygen -t rsa -q -N '' -f /opt/concourse/session_signing_key
sudo ssh-keygen -t rsa -q -N '' -f /opt/concourse/tsa_host_key
sudo ssh-keygen -t rsa -q -N '' -f /opt/concourse/worker_key

تفويض المفتاح العمومي للعمال عن طريق نسخ محتوياته إلى authorized_worker_keysالملف:

sudo cp /opt/concourse/worker_key.pub /opt/concourse/authorized_worker_keys

بدء الكونكورس

يوفر الكونكورس عنصرين منفصلين يجب البدء فيهما ، وهما الويب والعامل. ابدأ الويب Concourse على الويب.

sudo concourse web \
  --basic-auth-username admin \
  --basic-auth-password StrongPass \
  --session-signing-key /opt/concourse/session_signing_key \
  --tsa-host-key /opt/concourse/tsa_host_key \
  --tsa-authorized-keys /opt/concourse/authorized_worker_keys \
  --postgres-user=concourse \
  --postgres-password=DBPassword \
  --postgres-database=concourse \
  --external-url http://192.0.2.1:8080

قم بتغيير اسم المستخدم وكلمة المرور basic-authإذا رغبت في ذلك. تأكد من صحة المسار إلى الملفات الرئيسية وتأكد من توفير القيمة الصحيحة لاسم المستخدم وكلمة المرور في تكوين قاعدة بيانات PostgreSQL.

ملاحظة : سوف يستمع ATC ​​إلى المنفذ الافتراضي 8080وسوف يستمع TSA إلى المنفذ 2222. إذا لم تكن المصادقة مطلوبة ، فمرر --no-really-i-dont-want-any-authالخيار بعد إزالة خيارات المصادقة الأساسية.

بمجرد بدء تشغيل خادم الويب ، يجب عرض الإخراج التالي.

{"timestamp":"1503657859.661247969","source":"tsa","message":"tsa.listening","log_level":1,"data":{}}
{"timestamp":"1503657859.666907549","source":"atc","message":"atc.listening","log_level":1,"data":{"debug":"127.0.0.1:8079","http":"0.0.0.0:8080"}}

أوقف الخادم في الوقت الحالي ، حيث يجب إعداد بعض الأشياء الأخرى.

بدء تشغيل Concourse CI Worker.

sudo concourse worker \
  --work-dir /opt/concourse/worker \
  --tsa-host 127.0.0.1 \
  --tsa-public-key /opt/concourse/tsa_host_key.pub \
  --tsa-worker-private-key /opt/concourse/worker_key

يفترض الأمر أعلاه أن TSA يعمل على مضيف محلي ويستمع إلى المنفذ الافتراضي 2222.

على الرغم من أنه يمكن بدء تشغيل Concourse web والعامل بسهولة باستخدام الأوامر أعلاه ، فمن المستحسن استخدام Systemd لإدارة الخادم.

تكوين البيئة وخدمة Systemd

يضمن استخدام خدمة Systemd لإدارة التطبيق بدء تشغيل التطبيق تلقائيًا عند الفشل وفي وقت التمهيد. لا يأخذ خادم Concourse البيانات من أي ملف تكوين ، ولكن يمكنه الوصول إلى البيانات من متغيرات البيئة. بدلاً من تعيين متغيرات البيئة العالمية ، قم بإنشاء ملف جديد لتخزين متغيرات البيئة ثم قم بتمرير المتغيرات إلى Concourse CI باستخدام خدمة Systemd.

إنشاء ملف بيئة جديد لكونكورس ويب.

sudo nano /opt/concourse/web.env

تعبئة الملف.

CONCOURSE_SESSION_SIGNING_KEY=/opt/concourse/session_signing_key
CONCOURSE_TSA_HOST_KEY=/opt/concourse/tsa_host_key
CONCOURSE_TSA_AUTHORIZED_KEYS=/opt/concourse/authorized_worker_keys

CONCOURSE_POSTGRES_USER=concourse
CONCOURSE_POSTGRES_PASSWORD=DBPassword
CONCOURSE_POSTGRES_DATABASE=concourse

CONCOURSE_BASIC_AUTH_USERNAME=admin
CONCOURSE_BASIC_AUTH_PASSWORD=StrongPass
CONCOURSE_EXTERNAL_URL=http://192.0.2.1:8080

قم بتغيير اسم المستخدم وكلمة المرور BASIC_AUTHإذا رغبت في ذلك. تأكد من صحة المسار إلى الملفات الرئيسية وتأكد من توفير القيمة الصحيحة لاسم المستخدم وكلمة المرور في تكوين قاعدة بيانات PostgreSQL.

وبالمثل ، قم بإنشاء ملف بيئة للعامل.

sudo nano /opt/concourse/worker.env

تعبئة الملف.

CONCOURSE_WORK_DIR=/opt/concourse/worker
CONCOURSE_TSA_WORKER_PRIVATE_KEY=/opt/concourse/worker_key
CONCOURSE_TSA_PUBLIC_KEY=/opt/concourse/tsa_host_key.pub
CONCOURSE_TSA_HOST=127.0.0.1

نظرًا لأن ملفات البيئة تحتوي على اسم المستخدم وكلمات المرور ، قم بتغيير أذوناتها بحيث لا يمكن للمستخدمين الآخرين الوصول إليها.

sudo chmod 600 /opt/concourse/*.env

الآن قم بإنشاء مستخدم جديد لـ Concourse لتشغيل بيئة الويب. سيضمن ذلك تشغيل خادم الويب في بيئة معزولة.

sudo adduser --system concourse

امنح مستخدم الكونكورس ملكية على دليل ملف Concourse CI.

sudo chown -R concourse:concourse /opt/concourse

إنشاء ملف خدمة systemd جديد لخدمة الويب Concourse.

sudo nano /etc/systemd/system/concourse-web.service

تعبئة الملف.

[Unit]
Description=Concourse CI web server
After=postgresql-9.6.service

[Service]
Type=simple
User=concourse
Group=concourse
Restart=on-failure
EnvironmentFile=/opt/concourse/web.env
ExecStart=/usr/bin/concourse web
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=concourse_web

[Install]
WantedBy=multi-user.target

أحفظ وأغلق الملف. إنشاء ملف خدمة جديد لخدمة عامل الكونكورس.

sudo nano /etc/systemd/system/concourse-worker.service

تعبئة الملف.

[Unit]
Description=Concourse CI worker process
After=concourse-web.service

[Service]
Type=simple
User=root
Group=root
Restart=on-failure
EnvironmentFile=/opt/concourse/worker.env
ExecStart=/usr/bin/concourse worker
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=concourse_worker

[Install]
WantedBy=multi-user.target

يمكن الآن بدء خدمة الويب والعامل مباشرةً عن طريق تشغيل:

sudo systemctl start concourse-web concourse-worker

لتمكين العامل والويب من البدء تلقائيًا في وقت التمهيد ، شغّل:

sudo systemctl enable concourse-worker concourse-web

للتحقق من حالة الخدمات ، قم بتشغيل:

sudo systemctl status concourse-worker concourse-web

إذا لم تبدأ الخدمة ، أو في FAILEDالحالة ، قم بإزالة ذاكرة التخزين المؤقت من /tmpالدليل.

sudo rm -rf /tmp/*

أعد تشغيل الخدمات.

sudo systemctl restart concourse-worker concourse-web

لاحظ أن هذه المرة بدأت الخدمات بشكل صحيح. يجب أن يكون الناتج عند التحقق من حالة الخدمات مشابهًا.

[user@vultr ~]$ sudo systemctl status concourse-worker concourse-web
● concourse-worker.service - Concourse CI worker process
   Loaded: loaded (/etc/systemd/system/concourse-worker.service; enabled; vendor preset: disabled)
   Active: active (running) since Sat 2017-08-26 07:27:37 UTC; 55s ago
 Main PID: 3037 (concourse)
   CGroup: /system.slice/concourse-worker.service
           └─3037 /usr/bin/concourse worker

Aug 26 07:27:42 vultr.guest concourse_worker[3037]: {"timestamp":"1503732462.934722900","source":"tsa","message":"t...""}}
Aug 26 07:27:42 vultr.guest concourse_worker[3037]: {"timestamp":"1503732462.941227913","source":"guardian","messag...0"}}
...

● concourse-web.service - Concourse CI web server
   Loaded: loaded (/etc/systemd/system/concourse-web.service; enabled; vendor preset: disabled)
   Active: active (running) since Sat 2017-08-26 07:27:37 UTC; 55s ago
 Main PID: 3036 (concourse)
   CGroup: /system.slice/concourse-web.service
           └─3036 /usr/bin/concourse web

Aug 26 07:27:57 vultr.guest concourse_web[3036]: {"timestamp":"1503732477.925554752","source":"tsa","message":"tsa...ve"}}
Aug 26 07:28:02 vultr.guest concourse_web[3036]: {"timestamp":"1503732482.925430775","source":"tsa","message":"tsa...ve"}}
...
Hint: Some lines were ellipsized, use -l to show in full.

اضبط جدار الحماية الخاص بك للسماح بالمنفذ 8080 ، الذي يعمل عليه ATS والمنفذ 2222 ، الذي يعمل TSA عليه.

sudo firewall-cmd --zone=public --add-port=8080/tcp --permanent
sudo firewall-cmd --zone=public --add-port=2222/tcp --permanent
sudo firewall-cmd --reload

جاري التوصيل بالخادم

بمجرد بدء تشغيل الخادم ، يمكن الوصول إلى واجهة الويب الخاصة بـ Concourse CI من خلال الانتقال إلى http://192.0.2.1:8080أي متصفح. قم بتسجيل الدخول باستخدام اسم المستخدم وكلمة المرور المقدمة في ملف البيئة.

للاتصال بالخادم باستخدام Fly ، قم بتشغيل:

fly -t my-ci login -c http://192.0.2.1:8080

يتم استخدام الأمر أعلاه لتسجيل الدخول الأولي إلى الخادم. -tيستخدم لتوفير اسم الهدف. استبدال my-ciأي اسم الهدف المطلوب. سيقوم الأمر أعلاه بتسجيل الدخول إلى الفريق الافتراضي main. سيطلب اسم المستخدم وكلمة المرور المقدمة في ملف البيئة.

سيبدو الإخراج كما يلي.

[user@vultr ~]$ fly -t my-ci login -c http://192.0.2.1:8080
logging in to team 'main'

username: admin
password:

target saved

سيتم حفظ تسجيل الدخول الهدف لمدة يوم. بعد ذلك ، ستنتهي صلاحيتها.

لتسجيل الخروج على الفور.

fly -t my-ci logout

يمكن استخدام fly لتسجيل الدخول إلى الخادم خارج الشبكة ، ولكن فقط إذا كان الخادم لديه عنوان IP عام ويمكن الوصول إليه من خارج الشبكة. يمكن تنزيل Windows أو MacOS الثنائي من موقع التنزيل أو من واجهة مستخدم الويب للخادم.

إعداد وكيل Nginx المعكوس

معلومات تسجيل الدخول والمعلومات الأخرى التي يتم إرسالها عبر واجهة مستخدم الويب إلى خادم الكونكورس ليست آمنة. الاتصال غير مشفر. يمكن إعداد وكيل Nginx عكسي باستخدام SSL المجاني.

قم بتثبيت خادم الويب Nginx و Certbot ، وهو تطبيق العميل لـ Let's Encrypt CA.

sudo yum -y install certbot-nginx nginx

ابدأ وتمكين Nginx من البدء تلقائيًا في وقت التمهيد:

sudo systemctl start nginx
sudo systemctl enable nginx

قبل إجراء طلب للحصول على الشهادات ، يجب تمكين المنفذ 80 و 443 أو خدمات HTTP و HTTPS القياسية من خلال جدار الحماية. سيتحقق Certbot من سلطة المجال قبل إصدار الشهادات.

sudo firewall-cmd --zone=public --add-service=http --permanent
sudo firewall-cmd --zone=public --add-service=https --permanent

لم يعد المنفذ 8080 بحاجة إلى السماح به من خلال جدار الحماية بعد الآن لأنه سيتم تشغيل Concourse الآن على منفذ HTTPS القياسي. قم بإزالة إدخال جدار الحماية للسماح بالمنفذ 8080.

sudo firewall-cmd --zone=public --remove-port=8080/tcp --permanent
sudo firewall-cmd --reload

ملحوظة

للحصول على شهادات من Let's Encrypt CA ، يجب توجيه النطاق الذي سيتم إنشاء الشهادات من أجله إلى الخادم. إذا لم يكن الأمر كذلك ، قم بإجراء التغييرات اللازمة على سجلات DNS للمجال وانتظر DNS للنشر قبل إجراء طلب الشهادة مرة أخرى. يتحقق Certbot من سلطة المجال قبل تقديم الشهادات.

إنشاء شهادات SSL.

sudo certbot certonly --webroot -w /usr/share/nginx/html -d ci.example.com

من المرجح أن يتم تخزين الشهادات التي تم إنشاؤها في /etc/letsencrypt/live/ci.example.com/الدليل. سيتم تخزين شهادة SSL كـ وسيتم تخزين fullchain.pemالمفتاح الخاص كـ privkey.pem.

تنتهي صلاحية شهادات التشفير خلال 90 يومًا ، لذا يوصى بالتجديد التلقائي للشهادات التي تم إعدادها باستخدام cronjobs. Cron هي خدمة نظام تُستخدم لتشغيل المهام الدورية.

افتح ملف مهمة كرون.

sudo crontab -e

أضف السطر التالي في نهاية الملف.

30 5 * * 1 /usr/bin/certbot renew --quiet

سيتم تشغيل وظيفة cron المذكورة أعلاه كل يوم إثنين الساعة 5:30 صباحًا. إذا كانت الشهادة ستنتهي صلاحيتها ، فسيتم تجديدها تلقائيًا.

إنشاء مضيف افتراضي جديد.

sudo nano /etc/nginx/conf.d/concourse-ssl.conf

تعبئة الملف.

server {
    listen 80;
    server_name ci.example.com;
    return 301 https://$host$request_uri;
}
server {

    listen 443;
    server_name ci.example.com;

    ssl_certificate           /etc/letsencrypt/live/ci.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/ci.example.com/privkey.pem;

    ssl on;
    ssl_session_cache  builtin:1000  shared:SSL:10m;
    ssl_protocols  TLSv1 TLSv1.1 TLSv1.2;
    ssl_ciphers HIGH:!aNULL:!eNULL:!EXPORT:!CAMELLIA:!DES:!MD5:!PSK:!RC4;
    ssl_prefer_server_ciphers on;

    access_log    /var/log/nginx/concourse.access.log;

    location / {

      proxy_set_header        Host $host;
      proxy_set_header        X-Real-IP $remote_addr;
      proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;
      proxy_set_header        X-Forwarded-Proto $scheme;
      proxy_pass          http://localhost:8080;
      proxy_read_timeout  90;

      proxy_redirect      http://localhost:8080 https://ci.example.com;
    }
  }

ملاحظة : استبدل ci.example.comبالمجال الفعلي.

تحرير ملف البيئة الذي تم إنشاؤه لويب الكونكورس.

sudo nano /opt/concourse/web.env

غيّر قيمة CONCOURSE_EXTERNAL_URLإضافة سطرين آخرين في نهاية الملف.

CONCOURSE_EXTERNAL_URL=https://ci.example.com
CONCOURSE_BIND_IP=127.0.0.1
CONCOURSE_BIND_PORT=8080

احفظ الملف وأعد تشغيل خادم الويب Concourse Web و Worker و Nginx:

sudo systemctl restart concourse-worker concourse-web nginx

جميع البيانات المرسلة من وإلى المتصفح مؤمنة الآن بتشفيرات SSL.