Изучение 26 методов анализа больших данных: часть 1
Изучение 26 методов анализа больших данных: часть 1
GoAccess - это анализатор логов с открытым исходным кодом. Вы можете использовать его для анализа журналов в режиме реального времени в терминале или веб-браузере. Он обрабатывает много типов журналов веб-доступа. Это позволяет генерировать отчеты в формате HTML, JSON и CSV.
В этом руководстве мы установим последнюю версию GoAccess на Ubuntu 16.04.
Перед установкой любых пакетов на экземпляр сервера Ubuntu рекомендуется обновить систему. Войдите в систему, используя пользователя sudo, и выполните следующие команды для обновления системы.
sudo apt-get update
sudo apt-get -y upgrade
После завершения обновления системы перейдите к следующему шагу.
GoAccess написан на языке программирования Си. Следовательно, единственной необходимой зависимостью является ncurses
библиотека и gcc
. Чтобы установить ncurses
и gcc
, запустите:
sudo apt-get -y install libncursesw5-dev gcc make
Установите дополнительные пакеты, набрав:
sudo apt-get -y install libgeoip-dev libtokyocabinet-dev
Загрузите архив с GoAccess, запустив:
wget http://tar.goaccess.io/goaccess-1.2.tar.gz
Вы можете найти последнюю версию GoAccess на официальной странице загрузки .
Извлеките тарбол.
tar -xzvf goaccess-1.2.tar.gz
Настройте и установите пакет.
cd goaccess-1.2
sudo ./configure --enable-utf8 --enable-geoip=legacy
sudo make
sudo make install
Создайте мягкую ссылку goaccess
в /usr/bin
каталоге, выполнив:
sudo ln -s /usr/local/bin/goaccess /usr/bin/goaccess
GoAccess теперь установлен на вашем сервере.
GoAccess - это анализа��ор веб-журнала. Если у вас не работает веб-сервер, установите веб-сервер Apache.
sudo apt-get -y install apache2
Запустите и включите веб-сервер во время загрузки.
sudo systemctl start apache2
sudo systemctl enable apache2
Разрешите требуемый порт HTTP через системный брандмауэр.
sudo firewall-cmd --add-service=http --permanent
sudo firewall-cmd --reload
Теперь вы можете получить доступ к веб-серверу, используя http://Vultr_Server_IP
. При доступе к веб-странице Apache добавит некоторые записи журнала в access_log
файл по умолчанию . Путь к файлу журнала в Ubuntu 16.04 есть /var/log/apache2/access.log
.
Чтобы проанализировать журнал с помощью GoAccess из терминала, введите:
sudo goaccess /var/log/apache2/access.log --log-format=COMBINED
Программа покажет вам сгенерированный отчет после анализа файла журнала. Пример отчета выглядит так, как показано ниже.
Dashboard - Overall Analyzed Requests (29/Jun/2017 - 29/Jun/2017) [Active Panel: Visitors]
Total Requests 16 Unique Visitors 6 Unique Files 1 Referrers 0
Valid Requests 16 Init. Proc. Time 0s Static Files 1 Log Size 3.44 KiB
Failed Requests 0 Excl. IP Hits 0 Unique 404 2 Bandwidth 40.91 KiB
Log Source /var/log/apache2/access.log
> 1 - Unique visitors per day - Including spiders Total: 1/1
Hits h% Vis. v% Bandwidth Data
---- ------- ---- ------- ----------- ----
16 100.00% 6 100.00% 40.91 KiB 29/Jun/2017 |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
2 - Requested Files (URLs) Total: 1/1
Hits h% Vis. v% Bandwidth Mtd Proto Data
---- ------- ---- ------- ----------- --- -------- ----
6 100.00% 5 100.00% 20.62 KiB GET HTTP/1.1 /
3 - Static Requests Total: 1/1
Hits h% Vis. v% Bandwidth Mtd Proto Data
---- ------- ---- ------- ----------- --- -------- ----
[?] Help [Enter] Exp. Panel 0 - Thu Jun 29 11:29:56 2017 [Q]uit GoAccess 1.2
Чтобы создать отчет в формате HTML, введите:
sudo goaccess /var/log/apache2/access.log --log-format=COMBINED -a -o /var/www/html/report.html
Откройте веб-браузер и перейдите по URL-адресу, http://Vultr_Server_IP/report.html
используя ваш любимый веб-браузер. Браузер покажет вам много типов статистики, используя интерактивные графики.
Изучение 26 методов анализа больших данных: часть 1
Многие из вас знают Switch, который выйдет в марте 2017 года, и его новые функции. Для тех, кто не знает, мы подготовили список функций, которые делают «Switch» обязательным гаджетом.
Вы ждете, когда технологические гиганты выполнят свои обещания? проверить, что осталось недоставленным.
Прочтите блог, чтобы узнать о различных уровнях архитектуры больших данных и их функциях самым простым способом.
Прочтите это, чтобы узнать, как искусственный интеллект становится популярным среди небольших компаний и как он увеличивает вероятность их роста и дает преимущество перед конкурентами.
CAPTCHA стало довольно сложно решать пользователям за последние несколько лет. Сможет ли он оставаться эффективным в обнаружении спама и ботов в ближайшем будущем?
По мере того, как наука развивается быстрыми темпами, принимая на себя большую часть наших усилий, также возрастает риск подвергнуться необъяснимой сингулярности. Прочтите, что может значить для нас необычность.
Что такое телемедицина, дистанционное здравоохранение и их влияние на будущее поколение? Это хорошее место или нет в ситуации пандемии? Прочтите блог, чтобы узнать мнение!
Возможно, вы слышали, что хакеры зарабатывают много денег, но задумывались ли вы когда-нибудь о том, как они зарабатывают такие деньги? Давайте обсудим.
Недавно Apple выпустила macOS Catalina 10.15.4, дополнительное обновление для исправления проблем, но похоже, что это обновление вызывает больше проблем, приводящих к поломке компьютеров Mac. Прочтите эту статью, чтобы узнать больше