Jak zainstalować Apache Zeppelin na CentOS 7

• Wymagania wstępne
• Zainstaluj Javę
• Zainstaluj Zeppelin
• Skonfiguruj usługę Systemd
• Skonfiguruj odwrotny serwer proxy
• Wyłącz dostęp anonimowy
• Włącz uwierzytelnianie Shiro

Apache Zeppelin to internetowy notatnik typu open source i narzędzie do współpracy w zakresie interaktywnego wprowadzania danych, odkrywania, analiz i wizualizacji. Zeppelin obsługuje ponad 20 języków, w tym Apache Spark, SQL, R, Elasticsearch i wiele innych. Apache Zeppelin pozwala tworzyć piękne dokumenty oparte na danych i wyświetlać wyniki analiz.

Wymagania wstępne

• Instancja serwera Vultr CentOS 7.
• Użytkownik sudo .
• Nazwa domeny wskazuje na serwer.

W tym samouczku użyjemy zeppelin.example.comjako nazwy domeny wskazanej na instancję Vultr. Pamiętaj, aby zamienić wszystkie wystąpienia przykładowej nazwy domeny na rzeczywistą.

Zaktualizuj system podstawowy za pomocą przewodnika Jak zaktualizować CentOS 7 . Po zaktualizowaniu systemu przejdź do instalacji Java.

Zainstaluj Javę

Apache Zeppelin jest napisany w Javie, dlatego wymaga pracy JDK. Pobierz pakiet Oracle SE JDK RPM.

wget --no-cookies --no-check-certificate --header "Cookie:oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u151-b12/e758a0de34e24606bca991d704f6dcbf/jdk-8u151-linux-x64.rpm"

Zainstaluj pobrany pakiet.

sudo yum -y localinstall jdk-8u151-linux-x64.rpm

Jeśli Java została zainstalowana pomyślnie, powinieneś mieć możliwość zweryfikowania jej wersji.

java -version

Zobaczysz następujące dane wyjściowe.

[user@vultr ~]$ java -version
java version "1.8.0_151"
Java(TM) SE Runtime Environment (build 1.8.0_151-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.151-b12, mixed mode)

Zanim przejdziemy dalej, musimy skonfigurować zmienne środowiskowe JAVA_HOMEi JRE_HOME. Znajdź absolutną ścieżkę pliku wykonywalnego JAVA w swoim systemie.

readlink -f $(which java)

Zobaczysz podobne wyjście.

[user@vultr ~]$ readlink -f $(which java)
/usr/java/jdk1.8.0_151/jre/bin/java

Teraz ustaw zmienne środowiskowe JAVA_HOMEi JRE_HOMEzgodnie ze ścieżką do katalogu Java.

echo "export JAVA_HOME=/usr/java/jdk1.8.0_151" >> ~/.bash_profile
echo "export JRE_HOME=/usr/java/jdk1.8.0_151/jre" >> ~/.bash_profile

Uruchom bash_profileplik.

source ~/.bash_profile

Teraz możesz uruchomić echo $JAVA_HOMEpolecenie, aby sprawdzić, czy zmienna środowiskowa jest ustawiona.

[user@vultr ~]$ echo $JAVA_HOME
/usr/java/jdk1.8.0_151

Zainstaluj Zeppelin

Apache Zeppelin dostarcza wszystkie zależności wraz z plikami binarnymi, więc nie musimy instalować niczego poza Javą. Pobierz plik binarny Zeppelin na swój system. Zawsze możesz znaleźć najnowszą wersję aplikacji na stronie pobierania Zeppelin .

wget http://www-us.apache.org/dist/zeppelin/zeppelin-0.7.3/zeppelin-0.7.3-bin-all.tgz

Wypakuj archiwum.

sudo tar xf zeppelin-*-bin-all.tgz -C /opt

Powyższe polecenie wyodrębni archiwum do /opt/zeppelin-0.7.3-bin-all. Zmień nazwę katalogu dla wygody.

sudo mv /opt/zeppelin-*-bin-all /opt/zeppelin

Apache Zeppelin jest teraz zainstalowany. Możesz natychmiast uruchomić aplikację, ale nie będzie ona dostępna, ponieważ tylko nasłuchuje localhost. Skonfigurujemy Apache Zeppelin jako usługę. Skonfigurujemy również serwer WWW Nginx jako odwrotne proxy.

Skonfiguruj usługę Systemd

W tym kroku skonfigurujemy plik jednostki Systemd dla aplikacji Zeppelin. Zapewni to automatyczne uruchomienie procesu aplikacji przy ponownym uruchomieniu systemu i awariach.

Ze względów bezpieczeństwa utwórz nieuprzywilejowanego użytkownika do uruchomienia procesu Zeppelin.

sudo adduser -d /opt/zeppelin -s /sbin/nologin zeppelin

Przekaż własność plików nowo utworzonemu użytkownikowi Zeppelin.

sudo chown -R zeppelin:zeppelin /opt/zeppelin

Utwórz nowy plik jednostki serwisowej Systemd.

sudo nano /etc/systemd/system/zeppelin.service

Wypełnij plik następującymi danymi.

[Unit]
Description=Zeppelin service
After=syslog.target network.target

[Service]
Type=forking
ExecStart=/opt/zeppelin/bin/zeppelin-daemon.sh start
ExecStop=/opt/zeppelin/bin/zeppelin-daemon.sh stop
ExecReload=/opt/zeppelin/bin/zeppelin-daemon.sh reload
User=zeppelin
Group=zeppelin
Restart=always

[Install]
WantedBy=multi-user.target

Uruchom aplikację.

sudo systemctl start zeppelin

Włącz usługę Zeppelin, aby automatycznie uruchamiała się podczas rozruchu.

sudo systemctl enable zeppelin

Aby sprawdzić, czy usługa jest uruchomiona, możesz uruchomić następujące czynności.

sudo systemctl status zeppelin

Skonfiguruj odwrotny serwer proxy

Domyślnie serwer Zeppelin nasłuchuje localhostna porcie 8080. W tym samouczku użyjemy Nginx jako odwrotnego proxy, aby aplikacja była dostępna za pośrednictwem standardu HTTPi HTTPSportów. Skonfigurujemy również Nginx do korzystania z SSL wygenerowanego za pomocą Let's Encrypt darmowego SSL CA.

Zainstaluj Nginx.

sudo yum -y install nginx

Uruchom Nginx i włącz automatyczne uruchamianie podczas uruchamiania.

sudo systemctl start nginx
sudo systemctl enable nginx

Zainstaluj Certbot, czyli aplikację kliencką Let's Encrypt CA.

sudo yum -y install certbot

Aby móc zażądać certyfikatów, musisz zezwolić na port 80i / 443lub standard HTTPi HTTPSusługi za pośrednictwem zapory.

sudo firewall-cmd --zone=public --add-service=http --permanent
sudo firewall-cmd --zone=public --add-service=https --permanent
sudo firewall-cmd --reload

Uwaga : Aby uzyskać certyfikaty z Let's Encrypt CA, domena, dla której mają być generowane certyfikaty, musi być skierowana w stronę serwera. Jeśli nie, dokonaj niezbędnych zmian w rekordach DNS domeny i poczekaj na propagację DNS przed ponownym żądaniem certyfikatu. Certbot sprawdza urząd domeny przed podaniem certyfikatów.

Wygeneruj certyfikaty SSL.

sudo certbot certonly --webroot -w /usr/share/nginx/html -d zeppelin.example.com

Wygenerowane certyfikaty prawdopodobnie będą przechowywane /etc/letsencrypt/live/zeppelin.example.com/. Certyfikat SSL będzie przechowywany jako, fullchain.pema klucz prywatny będzie przechowywany jako privkey.pem.

Ważność certyfikatów Let's Encrypt wygasa za 90 dni, dlatego zaleca się skonfigurowanie automatycznego odnawiania certyfikatów za pomocą zadań Cron.

Otwórz plik zadania cron.

sudo crontab -e

Dodaj następujący wiersz na końcu pliku.

30 5 * * * /usr/bin/certbot renew --quiet

Powyższe zadanie crona będzie uruchamiane codziennie o 5:30. Jeśli termin ważności certyfikatu upływa, zostanie on automatycznie odnowiony.

Utwórz nowy plik bloku serwera dla strony Zeppelin.

sudo nano /etc/nginx/conf.d/zeppelin.example.com.conf

Wypełnij plik.

upstream zeppelin {
server 127.0.0.1:8080;
}
server {
    listen 80;
    server_name zeppelin.example.com;
    return 301 https://$host$request_uri;
}

server {
    listen 443;
    server_name zeppelin.example.com;

    ssl_certificate           /etc/letsencrypt/live/zeppelin.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/zeppelin.example.com/privkey.pem;

    ssl on;
    ssl_session_cache  builtin:1000  shared:SSL:10m;
    ssl_protocols  TLSv1 TLSv1.1 TLSv1.2;
    ssl_ciphers HIGH:!aNULL:!eNULL:!EXPORT:!CAMELLIA:!DES:!MD5:!PSK:!RC4;
    ssl_prefer_server_ciphers on;

    access_log  /var/log/nginx/zeppelin.access.log;

location / {
        proxy_pass http://zeppelin;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header Host $http_host;
        proxy_set_header X-NginX-Proxy true;
        proxy_redirect off;
    }
location /ws {
    proxy_pass http://zeppelin/ws;
    proxy_http_version 1.1;
    proxy_set_header Upgrade websocket;
    proxy_set_header Connection upgrade;
    proxy_read_timeout 86400;
    }
  }

Uruchom ponownie Nginx, aby zmiany mogły zostać wprowadzone.

sudo systemctl restart nginx zeppelin

Zeppelin jest teraz dostępny pod następującym adresem.

https://zeppelin.example.com

Domyślnie uwierzytelnianie nie jest włączone, więc możesz bezpośrednio korzystać z aplikacji.

Ponieważ aplikacja jest dostępna dla wszystkich, tworzone przez ciebie notesy są również dostępne dla wszystkich. Bardzo ważne jest, aby wyłączyć dostęp anonimowy i włączyć uwierzytelnianie, aby tylko uwierzytelnieni użytkownicy mieli dostęp do aplikacji.

Wyłącz dostęp anonimowy

Aby wyłączyć domyślny dostęp anonimowy, skopiuj szablon pliku konfiguracyjnego do jego lokalizacji na żywo.

cd /opt/zeppelin
sudo cp conf/zeppelin-site.xml.template conf/zeppelin-site.xml

Edytuj plik konfiguracyjny.

sudo nano conf/zeppelin-site.xml

Znajdź następujące wiersze w pliku.

<property>
  <name>zeppelin.anonymous.allowed</name>
  <value>true</value>

Zmień wartość, falseaby wyłączyć dostęp anonimowy.

Włącz uwierzytelnianie Shiro

Teraz, gdy wyłączyliśmy dostęp anonimowy, musimy włączyć mechanizm uwierzytelniania, aby uprzywilejowani użytkownicy mogli się zalogować. Apache Zeppelin korzysta z uwierzytelniania Apache Shiro. Skopiuj plik konfiguracyjny Shiro.

sudo cp conf/shiro.ini.template conf/shiro.ini

Edytuj plik konfiguracyjny.

sudo nano conf/shiro.ini

Znajdź następujące wiersze w pliku.

[users]

admin = password1, admin
user1 = password2, role1, role2
user2 = password3, role3
user3 = password4, role2

Lista zawiera nazwę użytkownika, hasło i role użytkowników. Na razie będziemy używać tylko admini user1. Zmienić hasło admini user1i wyłączyć innym użytkownikom i ich komentowania. Możesz także zmienić nazwę użytkownika i role użytkowników. Aby dowiedzieć się więcej o użytkownikach i rolach Apache Shiro, przeczytaj przewodnik autoryzacji Shiro .

Po zmianie haseł blok kodu powinien wyglądać następująco.

[users]

admin = StrongPassword, admin
user1 = UserPassword, role1, role2
# user2 = password3, role3
# user3 = password4, role2

Teraz uruchom ponownie Zeppelin, aby zastosować zmiany.

sudo systemctl restart zeppelin

Powinieneś zobaczyć, że uwierzytelnianie zostało włączone i będziesz mógł zalogować się przy użyciu nazwy użytkownika i hasła ustawionych w pliku konfiguracyjnym Shiro.