نظرة ثاقبة على 26 أسلوبًا لتحليل البيانات الضخمة: الجزء الأول
نظرة ثاقبة على 26 أسلوبًا لتحليل البيانات الضخمة: الجزء الأول
في هذا البرنامج التعليمي ، ستتعلم كيفية إعداد RESTful API كاملة ، والتي ستخدم طلبات HTTP باستخدام Node.js و Express أثناء عكسها مع NGINX ، على Ubuntu 16.04 LTS. سنستخدم تطبيقًا يسمى Postman، وهي أداة تطوير API معروفة جدًا ، لاختبار API والتأكد من أنها تعمل بكامل طاقتها وتعمل بشكل صحيح. Node.js عبارة عن إطار عمل جافا سكريبت سريع وعبر الأنظمة الأساسية يعتمد على محرك V8 في Chrome. يتم استخدامه في كل من تطبيقات سطح المكتب والخادم ويشتهر بمعالجة حلقة الأحداث ذات الخيوط الفردية. سنستخدم Node.js كواجهة خلفية لواجهة برمجة التطبيقات RESTful الخاصة بنا ، المجمعة مع Express.js ، إطار عمل تطبيق الويب الخاص بنا المصمم لـ Node.js. تم إصدار Express.js كبرنامج مجاني ومفتوح. Express هو من جانب الخادم ، مكتوب بلغة JavaScript ، وهو مصمم لإنشاء واجهات برمجة التطبيقات ، مما يجعله مثاليًا لمشروعنا. من ناحية أخرى ، Postman هو عميل HTTP قوي للغاية ، مع وضع تطوير API في الاعتبار. يحتوي على جميع الأدوات التي قد تحتاجها لتطوير واجهة برمجة التطبيقات.
أولاً ، تريد التوجه إلى موقع Postman على الويب ، وتنزيل Postman وتثبيته على جهاز الكمبيوتر الرئيسي (وليس خادمك). ستكون جميع تعليمات التثبيت على موقع الويب الخاص بهم.
للبدء ، سنحتاج أولاً إلى تثبيت Node.js حتى نتمكن من البدء في تطوير واجهة برمجة التطبيقات الخاصة بنا. سنقوم بتنزيل وتثبيت Node.js من الموقع الرسمي.
curl -sL https://deb.nodesource.com/setup_8.x | sudo -E bash -
sudo apt-get install -y nodejs
بالإضافة إلى ذلك ، ستحتاج أيضًا إلى الحصول على أدوات البناء اللازمة ، والتي ستكون مفيدة في تجميع الوحدات.
sudo apt-get install build-essential
في هذا البرنامج التعليمي ، سنستخدم إصدار LTS من Node.js ، وهو الإصدار 8.9.3.
سنحتاج إلى تهيئة مشروع Node.js جديد ، والذي سيحتوي على تطبيق. للقيام بذلك ، قم بإنشاء دليل جديد.
mkdir expressapi
التغيير إلى الدليل الجديد. بمجرد الدخول ، قم بتشغيل npm init
وإكمال جميع المطالبات المطلوبة. دوّن ملاحظة عن "نقطة الدخول" لتطبيقك: ستنشئ هذا الملف لاحقًا. بمجرد الانتهاء ، سترى package.json
ملفًا في الدليل الحالي. وهي بمثابة وصف لمشروعنا ، وتسرد جميع التبعيات اللازمة للعمل.
الآن سنقوم بتكوين Express.js وتبعياته.
npm install express
ستبدأ عملية التثبيت. سيستغرق تنزيل كل شيء بضع دقائق.
بعد ذلك ، سنقوم بإنشاء ملف البداية الرئيسي لواجهة برمجة التطبيقات الخاصة بنا. هنا حيث ستستخدم "نقطة الدخول" التي رأيتها في package.json
الملف. من أجل هذا البرنامج التعليمي ، سأستخدم نظام التسمية الافتراضي ، index.js
.
touch index.js
ثم افتحه في محرر النصوص nano.
nano index.js
في ملفنا الرئيسي ، نريد أولاً استدعاء جميع حزمنا الرئيسية وتسجيل مساراتنا.
var express = require('express');
var app = express();
var bodyParser = require('body-parser');
app.use(bodyParser.urlencoded({ extended: true }));
app.use(bodyParser.json());
var port = process.env.PORT || 8080;
const router = express.Router();
router.get('/', function(req, res) {
res.json({ message: 'API is Online!' });
});
app.use('/api', router);
app.listen(port);
console.log('Listening on port ' + port);
بشكل أساسي ما نقوم به هنا هو تهيئة تطبيقنا ، وإعداد جهاز توجيه أساسي لواجهة برمجة التطبيقات الخاصة بنا. لاحظ أننا قمنا بتعيين منفذ التطبيق الخاص بنا إلى 8080
. سنحتاج إلى هذا الرقم عندما نقوم بتهيئة RESTful API. نحن الآن على استعداد للمضي قدمًا واختبار واجهة برمجة التطبيقات لدينا.
في دليل المشروع ، قم بتشغيل ما يلي.
node <filename>.js
سيبدأ هذا API ، حيث <filename>
هو ملف البدء الذي حددته في package.json
الملف. ثم ، افتح Postman على جهاز الكمبيوتر الخاص بك / Mac ، وانقر فوق New
الزر " " في الزاوية اليمنى العليا ، ثم انقر فوق " Request
". عندما تكون هناك ، من المفترض أن ترى شريطًا GET
بجواره. سنقوم هنا بإدخال عنوان URL الخاص بطلبنا. ما عليك سوى إدخال ما يلي في قسم عنوان URL للطلب والنقر فوق " Send
".
`http://your-server-ip:3000/api`
سترى " 'API is online'
".
للتعامل مع المسارات ، سنستخدم جهاز التوجيه السريع. إذا كنت لا تعرف ماهية جهاز التوجيه ، فتكون الطريقة الأساسية لاستجابة نقاط نهاية التطبيق لطلبات العميل. إليك الطرق التي سنقوم بإعدادها كمثال:
/api/numbers
- إظهار جميع الأرقام من 1-10.
/api/letters
- يعرض جميع الرسائل من الألف إلى الياء.
الآن سنقوم بإنشاء هيكل الوسيطة لدينا المسار الأول ، مثل ذلك.
router.use(function(req, res, next) {
console.log('We've got something.');
next() //calls next middleware in the application.
});
router.route('/numbers/:number').get((req, res) => {
res.json({result: req.params.number + 1})
});
في هذا المثال ، قمنا بإعداد موقف حيث يمكن للمستخدم أن يطلب مجموع رقم + 1 من خلال تقديم شكل كلمة منه ، باستخدام طريقة GET. نستخدم router.route()
الوظيفة للإشارة إلى الرقم الذي نريد إرساله نتيجة لذلك. تتم تسمية المعلمات بعلامة " :
" أمامها. نصل إلى هذه المعلمات (المعلمات) عبر req.params
.
فيما يلي مثال على الحروف.
router.route('/letters/:letter').get((req, res) => {
res.json({result: req.params.letter.toUpperCase()})
});
نستخدم نفس الطريقة المذكورة أعلاه ، ولكننا نعيد الرسالة بالحرف الكبير.
NGINX هو برنامج مفتوح المصدر معروف يستخدم لخدمة الويب ، وعكس الوكلاء ، والبث ، والمزيد. سنستخدم NGINX لعكس بروكسي API الخاص بنا ، للسماح لنا بتشغيله على المنفذ 80
، لأن Node.js لا يسمح بالاتصالات على المنافذ أقل من 1024 بدون وصول الجذر. يمكن أن يكون هذا مفيدًا عند ربط نطاقك بخادمك.
لبدء تثبيت NGINX ، ستحتاج إلى تشغيل ما يلي في جهازك ، وانتظر اكتمال التثبيت.
sudo apt-get install nginx
بعد ذلك ، سنرغب في إنشاء ملف موقعنا الذي سيستخدمه NGINX لعكس بروكسي تطبيقنا.
sudo nano /etc/nginx/sites-available-api.js
قم بملء الملف بما يلي ، ثم CTRL+ Oلحفظه.
server {
listen 80;
location / {
proxy_set_header X-Real-IP
$remote_addr;
proxy_set_header
X-Forwarded-For
$proxy_add_x_forwarded_for;
proxy_set_header Host
$http_host;
proxy_set_header
X-NginX-Proxy true; proxy_pass
http://127.0.0.1:8080/;
proxy_redirect off;
proxy_http_version 1.1;
proxy_set_header Upgrade
$http_upgrade;
proxy_set_header Connection
"upgrade";
proxy_redirect off;
proxy_set_header
X-Forwarded-Proto $scheme;
}
}
باستخدام نفس المنفذ الذي قمنا بتشغيل تطبيقنا عليه في وقت سابق ، فإننا نطلب من Nginx إعادة توجيه جميع الطلبات من عنوان IP الخاص بنا على المنفذ 80
إلى API الخاص بنا الذي يعمل على المنفذ 8080
.
بعد ذلك ، قم بتمكين الوكيل العكسي من خلال ربط ملفنا الذي تم إنشاؤه حديثًا sites-available
بالمجلد:
sudo ln -s /etc/nginx/sites-available/api /etc/nginx/sites-available
سيضمن ذلك أن NGINX سيعكس واجهة برمجة التطبيقات (API) الخاصة بنا.
بمجرد الانتهاء من تكوين NGINX ، سنبدأ NGINX ، ثم نبدأ API الخاص بنا. أولاً ، أعد تشغيل NGINX.
sudo systemctl restart nginx
ثم ، عد مرة أخرى إلى دليل API الخاص بك ، وابدأ تشغيله.
node <filename>.js
سيتم تشغيل التطبيق على المنفذ 80
. ما عليك سوى إجراء الاختبار من الأعلى باستخدام Postman ، للتأكد من أن كل شيء يعمل بشكل صحيح.
في بيئة الإنتاج ، تريد التأكد من أن لديك مدير عمليات لتطبيقات العقدة الخاصة بك ، لضمان استمرار تشغيلها إلى الأبد في الخلفية. في هذا البرنامج التعليمي ، سنستخدم مدير عمليات يسمى PM2 (مدير العمليات 2) ، وهو مدير عمليات لتطبيقات Node.js التي ستبقيها حية إلى الأبد مع الحد الأدنى من وقت التوقف. يأتي PM2 بالعديد من أدوات الإدارة المفيدة ، مثل التوقف وإعادة التحميل والإيقاف المؤقت والمزيد. لتثبيت PM2 ، اكتب ما يلي وانتظر حتى يتم التثبيت.
sudo npm install pm2 -g
بمجرد تثبيته ، كل ما عليك فعله هو التأكد من أنك في دليل المشروع ، اكتب ما يلي ، وسيتم بدء تشغيل التطبيق.
pm2 start <filename>.js
كما ذكرنا سابقًا ، يحتوي PM2 على بعض الأدوات المفيدة التي يمكنك استخدامها لإدارة تطبيقك بشكل أفضل.
pm2 stop
- كما يوحي الاسم ، يسمح لك هذا بإيقاف التطبيق قيد التشغيل حاليًا ، وإنهاء عمليته. إذا كان تطبيقك ينتج عنه نتيجة غير متوقعة ، فإن إيقافه سيكون مفيدًا.
pm2 list
- تسمح لك وظيفة القائمة بمشاهدة جميع التطبيقات التي تعمل حاليًا عبر PM2 ، والتي يتم تعيينها بأسمائها. إذا كنت بحاجة إلى التحقق من وقت تشغيل التطبيق الخاص بك بسرعة ، فيجب عليك استخدام هذه الأداة.
pm2 restart
- إذا تجمد تطبيقك لسبب ما ، وترغب في إعادة تحميله ، فإن إعادة التشغيل pm2 تفعل ذلك. سيؤدي ذلك إلى إنهاء عملية التقديم ، ويبدأ مرة أخرى ، في عملية مختلفة.
pm2 monit
- تتيح لك أداة المراقبة المدمجة في PM2 عرض رسم بياني للتفاصيل المحددة للتطبيق الخاص بك ، مثل استخدام وحدة المعالجة المركزية / ذاكرة الوصول العشوائي ، في رسم بياني على غرار ncurses سهل الاستخدام. هذا مفيد إذا كنت ترغب في الحصول على صورة مرئية لتحميل التطبيق الخاص بك.
لقد أكملنا الآن مهمتنا في إنشاء RESTful API ، باستخدام Node.js ، Express ، وعكسها باستخدام NGINX. لا تتردد في التوسع في هذا البرنامج التعليمي. يمكنك القيام بالعديد من الأشياء الرائعة باستخدام واجهة برمجة التطبيقات الجديدة الخاصة بك ، مثل إضافة أساليب المصادقة ، وقاعدة بيانات ، ومسار أفضل ومعالجة الأخطاء ، وأكثر من ذلك بكثير. إذا كان لديك نطاق ، مع إعداد سجل "أ" بالفعل على عنوان IP الخاص بك ، فستتمكن من الوصول إلى واجهة برمجة التطبيقات الخاصة بك من المجال الخاص بك. إذا كنت تريد معرفة المزيد عن Express.js ، فقم بزيارة موقع الويب الخاص بهم على http://expressjs.com . لمعرفة المزيد حول NGINX والتوكيل العكسي ، قم بزيارة http://nginx.com . لقراءة المزيد عن PM2 ، قم بزيارة صفحتهم على http://pm2.keymetrics.io .
نظرة ثاقبة على 26 أسلوبًا لتحليل البيانات الضخمة: الجزء الأول
يعرف الكثير منكم أن Switch سيصدر في مارس 2017 وميزاته الجديدة. بالنسبة لأولئك الذين لا يعرفون ، قمنا بإعداد قائمة بالميزات التي تجعل "التبديل" "أداة لا غنى عنها".
هل تنتظر عمالقة التكنولوجيا للوفاء بوعودهم؟ تحقق من ما تبقى دون تسليم.
اقرأ المدونة لمعرفة الطبقات المختلفة في بنية البيانات الضخمة ووظائفها بأبسط طريقة.
اقرأ هذا لمعرفة مدى انتشار الذكاء الاصطناعي بين الشركات الصغيرة وكيف أنه يزيد من احتمالات نموها ومنح منافسيها القدرة على التفوق.
لقد أصبح حل CAPTCHA صعبًا جدًا على المستخدمين في السنوات القليلة الماضية. هل ستكون قادرة على أن تظل فعالة في اكتشاف البريد العشوائي والروبوتات في المستقبل القريب؟
مع تطور العلم بمعدل سريع ، واستلام الكثير من جهودنا ، تزداد أيضًا مخاطر تعريض أنفسنا إلى تفرد غير قابل للتفسير. اقرأ ، ماذا يمكن أن يعني التفرد بالنسبة لنا.
ما هو التطبيب عن بعد والرعاية الصحية عن بعد وأثره على الأجيال القادمة؟ هل هو مكان جيد أم لا في حالة الوباء؟ اقرأ المدونة لتجد طريقة عرض!
ربما سمعت أن المتسللين يكسبون الكثير من المال ، لكن هل تساءلت يومًا كيف يجنون هذا النوع من المال؟ دعنا نناقش.
أصدرت Apple مؤخرًا macOS Catalina 10.15.4 تحديثًا تكميليًا لإصلاح المشكلات ولكن يبدو أن التحديث يتسبب في المزيد من المشكلات التي تؤدي إلى إنشاء أجهزة macOS. قراءة هذه المادة لمعرفة المزيد