نظرة ثاقبة على 26 أسلوبًا لتحليل البيانات الضخمة: الجزء الأول
نظرة ثاقبة على 26 أسلوبًا لتحليل البيانات الضخمة: الجزء الأول
Redmine أداة مجانية ومفتوحة المصدر لإدارة المشاريع على شبكة الإنترنت. هو مكتوب في Ruby on Rails ويدعم خوادم قاعدة بيانات متعددة لتخزين قاعدة البيانات. وهو تطبيق غني بالميزات يدعم مشاريع متعددة ، وقائمة ACL تعتمد على الأدوار ونظام تتبع المشكلات. كما أن لديها مخطط جانت ودعم التقويم ، وإدارة الملفات ، لكل مشروع ومنتدى ، بالإضافة إلى العديد من الميزات الأخرى. وهو يدعم أنظمة التحكم في الإصدار مثل Git أو SVN أو CVS. كما أنها متعددة اللغات ، وتدعم ما يصل إلى 49 لغة.
في هذا البرنامج التعليمي ، سوف نستخدم 192.168.1.1كعنوان IP عام redmine.example.com ولكونه اسم النطاق الموجه نحو مثيل Vultr. يرجى التأكد من استبدال كل تكرارات مثال اسم المجال وعنوان IP بالحدث الفعلي.
قم بتحديث نظامك الأساسي باستخدام الدليل كيفية تحديث Ubuntu 16.04 . بمجرد تحديث النظام الخاص بك ، انتقل إلى تثبيت التبعيات.
Redmine مكتوب في Ruby on Rails ، وبالتالي سنطلب من Phusion Passenger التكامل مع خادم الويب Apache لخدمة التطبيق.
قم بتثبيت أباتشي.
sudo apt -y install apache2 apache2-dev libcurl4-openssl-dev
لبناء Ruby و Passenger ، سنحتاج إلى بعض أدوات التطوير أيضًا. قم بتثبيت الأدوات المطلوبة.
sudo apt -y install imagemagick libmagickwand-dev git build-essential automake libgmp-dev
يدعم Redmine أنواعًا متعددة من خوادم قواعد البيانات مثل MySQL و PostgreSQL و MSSQL. في هذا البرنامج التعليمي ، سنستخدم PostgreSQL لاستضافة خادم قاعدة بيانات Redmine.
PostgreSQL هو نظام قاعدة بيانات علائقية للكائنات. يحتوي مستودع Ubuntu الافتراضي على إصدار قديم من PostgreSQL ، لذا أضف مستودع PostgreSQL إلى النظام.
echo "deb http://apt.postgresql.org/pub/repos/apt/ xenial-pgdg main" | sudo tee /etc/apt/sources.list.d/pgdg.list
wget --quiet -O - https://www.postgresql.org/media/keys/ACCC4CF8.asc | sudo apt-key add -
sudo apt update
قم بتثبيت خادم قاعدة بيانات PostgreSQL.
sudo apt -y install postgresql
قم بتشغيل خادم PostgreSQL وتمكينه من البدء تلقائيًا في وقت التمهيد.
sudo systemctl start postgresql
sudo systemctl enable postgresql
قم بتغيير كلمة المرور لمستخدم PostgreSQL الافتراضي.
sudo passwd postgres
قم بتسجيل الدخول باسم مستخدم PostgreSQL.
sudo su - postgres
قم بإنشاء مستخدم PostgreSQL جديد لـ Redmine.
createuser redmine
مسموح لك باستخدام أي اسم مستخدم بدلاً من redmine. يوفر PostgreSQL psql الصدفة لتشغيل الاستعلامات في قاعدة البيانات. قم بالتبديل إلى غلاف PostgreSQL.
psql
قم بتعيين كلمة مرور للمستخدم الذي تم إنشاؤه حديثًا لقاعدة بيانات Redmine.
ALTER USER redmine WITH ENCRYPTED password 'DBPassword';
استبدلها DBPassword بكلمة مرور آمنة. إنشاء قاعدة بيانات جديدة لتثبيت Redmine.
CREATE DATABASE redmine WITH ENCODING='UTF8' OWNER=redmine;
اخرج من psql القشرة.
\q
قم بالتبديل إلى sudo المستخدم.
exit
قم بتثبيت عدد قليل من تبعيات PostgreSQL المطلوبة.
sudo apt -y install libpqxx-dev protobuf-compiler
سنقوم بتثبيت أحدث إصدار من Ruby باستخدام RVM. يتم استخدامه لتثبيت وإدارة إصدارات متعددة من روبي.
أضف مستودع RVM.
sudo apt-add-repository -y ppa:rael-gc/rvm
sudo apt update
قم بتثبيت RVM.
sudo apt -y install rvm
نظرًا لأننا بحاجة إلى تثبيت نظام Ruby على نطاق واسع ، فسننتقل إلى المستخدم الجذر مؤقتًا.
sudo -i
تحديث متغيرات البيئة.
echo "source /etc/profile.d/rvm.sh" | tee -a /etc/profile
source /etc/profile.d/rvm.sh
قم بتثبيت أحدث إصدار من روبي.
rvm install 2.5.1
ملاحظة: إذا كنت تستخدم إصدارًا مختلفًا من Ruby ، فتأكد من تحديث مسار Ruby وفقًا لذلك.
استخدم الإصدار المثبت من روبي.
rvm use 2.5.1 --default
يمكنك التحقق من إصداره.
ruby -v
سترى مخرجات مماثلة.
root@vultr:~# ruby -v
ruby 2.5.1p57 (2018-03-29 revision 63029) [x86_64-linux]
التثبيت bundler، وهو مدير التبعية لتطبيق روبي.
gem install bundler
تم تثبيت روبي الآن. قبل تثبيت Redmine ، سنحتاج إلى تثبيت Phusion Passenger.
قم بتشغيل الأمر التالي لتثبيت Passenger.
gem install passenger
قم بتثبيت وحدة Apache الخاصة بـ Passenger.
passenger-install-apache2-module
سيسألك البرنامج النصي المثبت بعض الأسئلة. أولاً ، سيوفر لك معلومات حول عملية التثبيت. بعد ذلك ، سيطلب منك تحديد اللغة التي ستستخدمها. نظرًا لأن طلبنا مكتوب بلغة Ruby on Rails ، حدد Ruby من القائمة واضغط ENTERعلى المضي قدمًا.
Which languages are you interested in?
Use <space> to select.
If the menu doesn't display correctly, press '!'
‣ ⬢ Ruby
⬢ Python
⬡ Node.js
⬡ Meteor
سيتحقق المثبت الآن من المتطلبات. لن يواجه المثبت أي تبعيات مفقودة وسيتابع تلقائيًا تجميع الوحدة النمطية وتثبيتها.
بمجرد تثبيت الوحدة النمطية ، ستطالبك بإضافة الوحدة النمطية إلى ملف تكوين Apache.
Almost there!
Please edit your Apache configuration file, and add these lines:
LoadModule passenger_module /usr/share/rvm/gems/ruby-2.5.1/gems/passenger-5.2.3/buildout/apache2/mod_passenger.so
<IfModule mod_passenger.c>
PassengerRoot /usr/share/rvm/gems/ruby-2.5.1/gems/passenger-5.2.3
PassengerDefaultRuby /usr/share/rvm/gems/ruby-2.5.1/wrappers/ruby
</IfModule>
After you restart Apache, you are ready to deploy any number of web
applications on Apache, with a minimum amount of configuration!
Press ENTER when you are done editing.
سوف نتخطى هذا الآن وسنكمله لاحقًا في البرنامج التعليمي. اضغط ENTERلتخطي هذه الخطوة.
أخيرًا ، سيقوم البرنامج النصي للمثبت بالتحقق من صحة التثبيت وسترى تحذيرًا يقول أن وحدة Passenger غير محددة في تكوين Apache.
Validating installation...
* Checking whether this Passenger install is in PATH... ✓
* Checking whether there are no other Passenger installations... ✓
* Checking whether Apache is installed... ✓
* Checking whether the Passenger module is correctly configured in Apache... (!)
You did not specify 'LoadModule passenger_module' in any of your Apache
configuration files. Please paste the configuration snippet that this
installer printed earlier, into one of your Apache configuration files, such
as /etc/apache2/apache2.conf.
Detected 0 error(s), 1 warning(s).
Press ENTER to continue.
الآن بعد أن قمنا بتثبيت وحدة Passenger النمطية لـ Apache ، تابع تنزيل وتثبيت Redmine. انتقل إلى sudoالمستخدم مرة أخرى لأننا لسنا بحاجة إلى تشغيل أي أوامر أخرى باستخدام rootالمستخدم.
exit
يوصى باستخدام مستخدم غير مميز لتشغيل التطبيق لإبقائه معزولًا عن بقية النظام. قم بإنشاء مستخدم جديد لـ Redmine والتبديل إلى المستخدم الذي تم إنشاؤه حديثًا.
sudo adduser --disabled-password --gecos "Redmine User" redmine
sudo su - redmine
قم بتنزيل أحدث إصدار من Redmine من صفحة تنزيل Redmine الرسمية .
cd ~
wget http://www.redmine.org/releases/redmine-3.4.4.tar.gz
استخرج الأرشيف وأعد تسمية الدليل من أجل الراحة.
tar -xf redmine-*.tar.gz
mv redmine-*/ redmine/
انسخ ملفات التكوين المثال إلى موقع إنتاجها.
cd redmine
cp config/configuration.yml.example config/configuration.yml
cp config/database.yml.example config/database.yml
افتح ملف تكوين قاعدة البيانات الذي قمنا بنسخه للتو لإدخال تفاصيل قاعدة البيانات.
nano config/database.yml
بشكل افتراضي ، يتم تكوين ملف قاعدة البيانات ل MySQL. ابحث عن تكوينات الإنتاج والتطوير واختبر الذي يستخدم محول MySQL. علق على كل هذه الخطوط
#production:
# adapter: mysql2
# database: redmine
# host: localhost
# username: root
# password: ""
# encoding: utf8
#development:
# adapter: mysql2
# database: redmine_development
# host: localhost
# username: root
# password: ""
# encoding: utf8
#test:
# adapter: mysql2
# database: redmine_test
# host: localhost
# username: root
# password: ""
# encoding: utf8
فورثر ، ابحث عن الخطوط التي تم التعليق عليها ، مع production تكوين postgresql المحول. قم بإلغاء تعليق هذه السطور وقم بتحديث اسم قاعدة البيانات وبيانات اعتماد المستخدم. تأكد من استخدام المسافة البادئة الصحيحة ، وهي مسافتان.
production:
adapter: postgresql
database: redmine
host: localhost
username: redmine
password: "DBPassword"
تكوين التطبيق لاستخدام تكوين PostgreSQL.
bundle config build.pg --with-pg-config=/usr/bin/pg_config
تثبيت التبعيات المطلوبة من قبل التطبيق.
bundle install --path vendor/bundle --without development test
سترى الرسالة التالية في نهاية التثبيت.
Installing roadie-rails 1.1.1
Bundle complete! 31 Gemfile dependencies, 55 gems now installed.
Gems in the groups development and test were not installed.
Bundled gems are installed into `./vendor/bundle`
ينشئ الأمر التالي رموزًا سرية يتم استخدامها لترميز بيانات الجلسة.
bundle exec rake generate_secret_token
اكتب قاعدة بيانات PostgreSQL.
RAILS_ENV=production bundle exec rake db:migrate
قم بتشغيل الأمر التالي ، الذي يكتب البيانات الافتراضية في قاعدة بيانات PostgreSQL.
RAILS_ENV=production bundle exec rake redmine:load_default_data
سيطلب منك الأمر أعلاه اختيار اللغة الافتراضية لاستخدامها مع التطبيق. الخيار الافتراضي هو الإنجليزية ؛ اختر وفقًا لتفضيلاتك.
[redmine@vultr redmine]$ RAILS_ENV=production bundle exec rake redmine:load_default_data
Select language: ar, az, bg, bs, ca, cs, da, de, el, en, en-GB, es, es-PA, et, eu, fa, fi, fr, gl, he, hr, hu, id, it, ja, ko, lt, lv, mk, mn, nl, no, pl, pt, pt-BR, ro, ru, sk, sl, sq, sr, sr-YU, sv, th, tr, uk, vi, zh, zh-TW [en]
====================================
Default configuration data loaded.
تم الآن الانتهاء من تثبيت تطبيق Redmine. تغيير ملكية وأذونات الدلائل والملفات.
mkdir -p tmp tmp/pdf public/plugin_assets
chown -R redmine:redmine files log tmp public/plugin_assets
chmod -R 755 files log tmp public/plugin_assets
لقد قمنا بتكوين كل ما نحتاجه من المستخدم غير المحظوظ. العودة إلى sudo المستخدم عن طريق التشغيل su - <username>.
أضف وحدة Passenger النمطية لـ Apache في ملف تكوين Apache. سيؤدي ذلك إلى تحميل وحدة الركاب تلقائيًا.
echo "LoadModule passenger_module /usr/share/rvm/gems/ruby-2.5.1/gems/passenger-5.2.3/buildout/apache2/mod_passenger.so" | sudo tee -a /etc/apache2/apache2.conf
ملاحظة: قد يتغير المسار إلى وحدة Passenger Module عندما يكون هناك إصدار جديد من Passenger. للعثور على المسار إلى الوحدة النمطية ، استخدم sudo find / -name mod_passenger.soالأمر.
قم بإنشاء ملف مضيف ظاهري جديد لتطبيق Redmine الخاص بك.
sudo nano /etc/apache2/sites-available/redmine.conf
تعبئة الملف بالمحتوى التالي.
<VirtualHost *:80>
ServerName redmine.example.com
DocumentRoot /home/redmine/redmine/public
PassengerRoot /usr/share/rvm/gems/ruby-2.5.1/gems/passenger-5.2.3
PassengerDefaultRuby /usr/share/rvm/gems/ruby-2.5.1/wrappers/ruby
PassengerUser redmine
<Directory /home/redmine/redmine/public>
Allow from all
Options -MultiViews
Require all granted
</Directory>
</VirtualHost>
تأكد من استبدال redmine.example.com اسم المجال الفعلي الخاص بك. أيضا، تأكد من أن المسار إلى PassengerRoot و PassengerDefaultRuby صحيحة. قد يتغير المسار إلى الثنائيات عندما يكون هناك إصدار جديد من Ruby أو Passenger. للعثور على هذه المسارات ، قم بتشغيل الأمر التالي.
passenger-config about ruby-command
ستحصل على الإخراج التالي.
user@vultr:~$ passenger-config about ruby-command
passenger-config was invoked through the following Ruby interpreter:
Command: /usr/share/rvm/gems/ruby-2.5.1/wrappers/ruby
Version: ruby 2.5.1p57 (2018-03-29 revision 63029) [x86_64-linux]
To use in Apache: PassengerRuby /usr/share/rvm/gems/ruby-2.5.1/wrappers/ruby
To use in Nginx : passenger_ruby /usr/share/rvm/gems/ruby-2.5.1/wrappers/ruby
To use with Standalone: /usr/share/rvm/gems/ruby-2.5.1/wrappers/ruby /usr/share/rvm/gems/ruby-2.5.1/gems/passenger-5.2.3/bin/passenger start
## Notes for RVM users
Do you want to know which command to use for a different Ruby interpreter? 'rvm use' that Ruby interpreter, then re-run 'passenger-config about ruby-command'.
بمجرد إنشاء ملف المضيف الظاهري. قم بتنشيط التكوين.
sudo a2ensite redmine
أعد تشغيل خادم الويب أباتشي.
sudo systemctl restart apache2
يمكنك الآن الوصول إلى واجهة Redmine على http://redmine.example.com. تسجيل الدخول باسم المستخدم وكلمة adminالمرور admin. في أول تسجيل دخول لك ، سيطلب منك Redmine تحديث كلمة المرور.
نظرًا لأن تثبيت Redmine الخاص بنا موجود على خادم يواجه الجمهور ، فمن المستحسن استخدام SSL لتأمين تبادل البيانات من الخادم.
أضف مستودع Certbot.
sudo add-apt-repository --yes ppa:certbot/certbot
sudo apt-get update
قم بتثبيت Certbot ، وهو تطبيق العميل لـ Let's Encrypt CA.
sudo apt -y install certbot
ملاحظة: للحصول على شهادات من Let's Encrypt CA ، يجب توجيه النطاق الذي سيتم إنشاء الشهادات من أجله إلى الخادم. إذا لم يكن الأمر كذلك ، قم بإجراء التغييرات اللازمة على سجلات DNS للمجال وانتظر DNS للنشر قبل إجراء طلب الشهادة مرة أخرى. يتحقق Certbot من سلطة المجال قبل تقديم الشهادات.
إنشاء شهادات SSL.
sudo certbot certonly --webroot -w /home/redmine/redmine/public -d redmine.example.com
من المرجح أن يتم تخزين الشهادات التي تم إنشاؤها /etc/letsencrypt/live/redmine.example.com/. سيتم تخزين شهادة SSL كـ وسيتم تخزين cert.pem المفتاح الخاص كـ privkey.pem.
تنتهي صلاحية شهادات التشفير في غضون 90 يومًا ، وبالتالي يوصى بإعداد التجديد التلقائي للشهادات باستخدام وظائف Cron.
افتح ملف مهمة Cron root للمستخدم.
sudo crontab -e
أضف السطر التالي في نهاية الملف.
30 5 * * * /usr/bin/certbot renew --quiet
سيتم تشغيل وظيفة Cron المذكورة أعلاه كل يوم الساعة 5:30 صباحًا. إذا كانت الشهادة مستحقة للانتهاء ، فسيتم تجديدها تلقائيًا.
تمكين وحدة SSL لأباتشي.
sudo a2enmod ssl
قم بتحرير ملف المضيف الظاهري الذي أنشأناه سابقًا لـ Redmine.
sudo nano /etc/apache2/sites-available/redmine.conf
قم بتعديل ملف المضيف الظاهري ليكون مشابهًا لما يلي.
<VirtualHost *:80>
ServerName redmine.example.com
Redirect permanent / https://redmine.example.com/
</VirtualHost>
<VirtualHost *:443>
ServerAdmin admin@example.com
ServerName redmine.example.com
DocumentRoot "/home/redmine/redmine/public"
<Directory "/home/redmine/redmine/public">
Options None
Require all granted
</Directory>
PassengerAppEnv production
PassengerRoot /usr/share/rvm/gems/ruby-2.5.1/gems/passenger-5.2.3
PassengerDefaultRuby /usr/share/rvm/gems/ruby-2.5.1/wrappers/ruby
PassengerUser redmine
PassengerHighPerformance on
SSLEngine on
SSLCertificateFile /etc/letsencrypt/live/redmine.example.com/cert.pem
SSLCertificateKeyFile /etc/letsencrypt/live/redmine.example.com/privkey.pem
SSLCertificateChainFile /etc/letsencrypt/live/redmine.example.com/chain.pem
SSLProtocol all -SSLv2 -SSLv3
SSLHonorCipherOrder on
SSLCipherSuite ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-AES128-SHA256:ECDHE-RSA-AES128-SHA256:ECDHE-ECDSA-AES128-SHA:ECDHE-RSA-AES256-SHA384:ECDHE-RSA-AES128-SHA:ECDHE-ECDSA-AES256-SHA384:ECDHE-ECDSA-AES256-SHA:ECDHE-RSA-AES256-SHA:DHE-RSA-AES128-SHA256:DHE-RSA-AES128-SHA:DHE-RSA-AES256-SHA256:DHE-RSA-AES256-SHA:ECDHE-ECDSA-DES-CBC3-SHA:ECDHE-RSA-DES-CBC3-SHA:EDH-RSA-DES-CBC3-SHA:AES128-GCM-SHA256:AES256-GCM-SHA384:AES128-SHA256:AES256-SHA256:AES128-SHA:AES256-SHA:DES-CBC3-SHA:!DSS
<IfModule headers_module>
Header always edit Set-Cookie ^(.*)$ $1;HttpOnly;Secure
Header always set Strict-Transport-Security "max-age=15768000; includeSubDomains"
</IfModule>
</VirtualHost>
احفظ الملف واخرج من المحرر.
أعد تشغيل Apache حتى تصبح التغييرات نافذة المفعول.
sudo systemctl restart apache2
يمكنك الآن الوصول Redmine على HTTPS في https://redmine.example.com.
تهانينا ، لقد نجحت في تثبيت Redmine على مثيل Ubuntu 16.04. ابدأ في تطوير مشروعك إما عن طريق إنشاء أو استيراد مشروعك.
نظرة ثاقبة على 26 أسلوبًا لتحليل البيانات الضخمة: الجزء الأول
اقرأ المدونة لمعرفة الطبقات المختلفة في بنية البيانات الضخمة ووظائفها بأبسط طريقة.
يعرف الكثير منكم أن Switch سيصدر في مارس 2017 وميزاته الجديدة. بالنسبة لأولئك الذين لا يعرفون ، قمنا بإعداد قائمة بالميزات التي تجعل "التبديل" "أداة لا غنى عنها".
هل تنتظر عمالقة التكنولوجيا للوفاء بوعودهم؟ تحقق من ما تبقى دون تسليم.
اقرأ هذا لمعرفة مدى انتشار الذكاء الاصطناعي بين الشركات الصغيرة وكيف أنه يزيد من احتمالات نموها ومنح منافسيها القدرة على التفوق.
مع تطور العلم بمعدل سريع ، واستلام الكثير من جهودنا ، تزداد أيضًا مخاطر تعريض أنفسنا إلى تفرد غير قابل للتفسير. اقرأ ، ماذا يمكن أن يعني التفرد بالنسبة لنا.
لقد أصبح حل CAPTCHA صعبًا جدًا على المستخدمين في السنوات القليلة الماضية. هل ستكون قادرة على أن تظل فعالة في اكتشاف البريد العشوائي والروبوتات في المستقبل القريب؟
ما هو التطبيب عن بعد والرعاية الصحية عن بعد وأثره على الأجيال القادمة؟ هل هو مكان جيد أم لا في حالة الوباء؟ اقرأ المدونة لتجد طريقة عرض!
ربما سمعت أن المتسللين يكسبون الكثير من المال ، لكن هل تساءلت يومًا كيف يجنون هذا النوع من المال؟ دعنا نناقش.
أصدرت Apple مؤخرًا macOS Catalina 10.15.4 تحديثًا تكميليًا لإصلاح المشكلات ولكن يبدو أن التحديث يتسبب في المزيد من المشكلات التي تؤدي إلى إنشاء أجهزة macOS. قراءة هذه المادة لمعرفة المزيد