So installieren Sie Apache Zeppelin unter CentOS 7

• Voraussetzungen
• Installieren Sie Java
• Installieren Sie Zeppelin
• Konfigurieren Sie den Systemd-Dienst
• Reverse Proxy konfigurieren
• Deaktivieren Sie den anonymen Zugriff
• Aktivieren Sie die Shiro-Authentifizierung

Apache Zeppelin ist ein webbasiertes Open-Source-Notizbuch und ein kollaboratives Tool für die interaktive Datenerfassung, -erkennung, -analyse und -visualisierung. Zeppelin unterstützt mehr als 20 Sprachen, darunter Apache Spark, SQL, R, Elasticsearch und viele mehr. Mit Apache Zeppelin können Sie wunderschöne datengesteuerte Dokumente erstellen und die Ergebnisse Ihrer Analysen anzeigen.

Voraussetzungen

• Eine Vultr CentOS 7-Serverinstanz.
• Ein Sudo-Benutzer .
• Ein Domainname zeigte auf den Server.

In diesem Lernprogramm wird zeppelin.example.comder Domainname verwendet, der auf die Vultr-Instanz verweist. Stellen Sie sicher, dass alle Vorkommen des Beispieldomänennamens durch den tatsächlichen ersetzt werden.

Aktualisieren Sie Ihr Basissystem mithilfe der Anleitung zum Aktualisieren von CentOS 7 . Fahren Sie nach der Aktualisierung Ihres Systems mit der Installation von Java fort.

Installieren Sie Java

Apache Zeppelin ist in Java geschrieben und erfordert daher JDK. Laden Sie das Oracle SE JDK RPM-Paket herunter.

wget --no-cookies --no-check-certificate --header "Cookie:oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u151-b12/e758a0de34e24606bca991d704f6dcbf/jdk-8u151-linux-x64.rpm"

Installieren Sie das heruntergeladene Paket.

sudo yum -y localinstall jdk-8u151-linux-x64.rpm

Wenn Java erfolgreich installiert wurde, sollten Sie in der Lage sein, seine Version zu überprüfen.

java -version

Sie sehen die folgende Ausgabe.

[user@vultr ~]$ java -version
java version "1.8.0_151"
Java(TM) SE Runtime Environment (build 1.8.0_151-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.151-b12, mixed mode)

Bevor wir fortfahren können, müssen wir die Variablen JAVA_HOMEund JRE_HOMEumgebungsvariablen einrichten . Finden Sie den absoluten Pfad der ausführbaren JAVA-Datei in Ihrem System.

readlink -f $(which java)

Sie sehen eine ähnliche Ausgabe.

[user@vultr ~]$ readlink -f $(which java)
/usr/java/jdk1.8.0_151/jre/bin/java

Legen Sie nun die Umgebungsvariablen JAVA_HOMEund den JRE_HOMEUmgebungsvariablen entsprechend dem Pfad des Java-Verzeichnisses fest.

echo "export JAVA_HOME=/usr/java/jdk1.8.0_151" >> ~/.bash_profile
echo "export JRE_HOME=/usr/java/jdk1.8.0_151/jre" >> ~/.bash_profile

Führen Sie die bash_profileDatei aus.

source ~/.bash_profile

Jetzt können Sie den echo $JAVA_HOMEBefehl ausführen, um zu überprüfen, ob die Umgebungsvariable festgelegt ist.

[user@vultr ~]$ echo $JAVA_HOME
/usr/java/jdk1.8.0_151

Installieren Sie Zeppelin

Apache Zeppelin liefert alle Abhängigkeiten zusammen mit den Binärdateien aus, sodass wir außer Java nichts anderes installieren müssen. Laden Sie die Zeppelin-Binärdatei auf Ihr System herunter. Die neueste Version der Anwendung finden Sie immer auf der Zeppelin-Download-Seite .

wget http://www-us.apache.org/dist/zeppelin/zeppelin-0.7.3/zeppelin-0.7.3-bin-all.tgz

Extrahieren Sie das Archiv.

sudo tar xf zeppelin-*-bin-all.tgz -C /opt

Der obige Befehl extrahiert das Archiv nach /opt/zeppelin-0.7.3-bin-all. Benennen Sie das Verzeichnis der Einfachheit halber um.

sudo mv /opt/zeppelin-*-bin-all /opt/zeppelin

Apache Zeppelin ist jetzt installiert. Sie können die Anwendung sofort starten, sie ist jedoch für Sie nicht zugänglich, da sie nur abgehört wird localhost. Wir werden Apache Zeppelin als Service konfigurieren. Wir werden den Nginx-Webserver auch als Reverse-Proxy konfigurieren.

Konfigurieren Sie den Systemd-Dienst

In diesem Schritt richten wir eine Systemd-Einheitendatei für die Zeppelin-Anwendung ein. Dadurch wird sichergestellt, dass der Anwendungsprozess beim Neustart des Systems und bei Fehlern automatisch gestartet wird.

Erstellen Sie aus Sicherheitsgründen einen nicht privilegierten Benutzer zum Ausführen des Zeppelin-Prozesses.

sudo adduser -d /opt/zeppelin -s /sbin/nologin zeppelin

Stellen Sie dem neu erstellten Zeppelin-Benutzer das Eigentum an den Dateien zur Verfügung.

sudo chown -R zeppelin:zeppelin /opt/zeppelin

Erstellen Sie eine neue Systemd Service Unit-Datei.

sudo nano /etc/systemd/system/zeppelin.service

Füllen Sie die Datei wie folgt aus.

[Unit]
Description=Zeppelin service
After=syslog.target network.target

[Service]
Type=forking
ExecStart=/opt/zeppelin/bin/zeppelin-daemon.sh start
ExecStop=/opt/zeppelin/bin/zeppelin-daemon.sh stop
ExecReload=/opt/zeppelin/bin/zeppelin-daemon.sh reload
User=zeppelin
Group=zeppelin
Restart=always

[Install]
WantedBy=multi-user.target

Starten Sie die Anwendung.

sudo systemctl start zeppelin

Aktivieren Sie den Zeppelin-Dienst so, dass er beim Booten automatisch gestartet wird.

sudo systemctl enable zeppelin

Um zu überprüfen, ob der Dienst ausgeführt wird, können Sie Folgendes ausführen.

sudo systemctl status zeppelin

Reverse Proxy konfigurieren

Standardmäßig überwacht der Zeppelin-Server den localhostPort 8080. In diesem Tutorial verwenden wir Nginx als Reverse-Proxy, damit auf die Anwendung über Standard HTTPund HTTPSPorts zugegriffen werden kann . Wir werden Nginx auch so konfigurieren, dass SSL verwendet wird, das mit Let's Encrypt Free SSL CA generiert wurde.

Installieren Sie Nginx.

sudo yum -y install nginx

Starten Sie Nginx und aktivieren Sie es, um es beim Booten automatisch zu starten.

sudo systemctl start nginx
sudo systemctl enable nginx

Installieren Sie Certbot, die Clientanwendung für Let's Encrypt CA.

sudo yum -y install certbot

Bevor Sie die Zertifikate anfordern können, müssen Sie Port 80und / 443oder Standard HTTPund HTTPSDienste über die Firewall zulassen .

sudo firewall-cmd --zone=public --add-service=http --permanent
sudo firewall-cmd --zone=public --add-service=https --permanent
sudo firewall-cmd --reload

Hinweis : Um Zertifikate von Let's Encrypt CA zu erhalten, muss die Domäne, für die die Zertifikate generiert werden sollen, auf den Server gerichtet sein. Wenn nicht, nehmen Sie die erforderlichen Änderungen an den DNS-Einträgen der Domäne vor und warten Sie, bis sich der DNS verbreitet hat, bevor Sie die Zertifikatanforderung erneut stellen. Certbot überprüft die Domänenautorität, bevor die Zertifikate bereitgestellt werden.

Generieren Sie die SSL-Zertifikate.

sudo certbot certonly --webroot -w /usr/share/nginx/html -d zeppelin.example.com

Die generierten Zertifikate werden wahrscheinlich in gespeichert /etc/letsencrypt/live/zeppelin.example.com/. Das SSL-Zertifikat wird als fullchain.pemund der private Schlüssel als gespeichert privkey.pem.

Lassen Sie uns Zertifikate verschlüsseln, die in 90 Tagen ablaufen. Daher wird empfohlen, die automatische Erneuerung der Zertifikate mithilfe von Cron-Jobs einzurichten.

Öffnen Sie die Cron-Jobdatei.

sudo crontab -e

Fügen Sie am Ende der Datei die folgende Zeile hinzu.

30 5 * * * /usr/bin/certbot renew --quiet

Der oben genannte Cron-Job wird jeden Tag um 5:30 Uhr ausgeführt. Wenn das Zertifikat abläuft, werden sie automatisch erneuert.

Erstellen Sie eine neue Serverblockdatei für die Zeppelin-Site.

sudo nano /etc/nginx/conf.d/zeppelin.example.com.conf

Füllen Sie die Datei.

upstream zeppelin {
server 127.0.0.1:8080;
}
server {
    listen 80;
    server_name zeppelin.example.com;
    return 301 https://$host$request_uri;
}

server {
    listen 443;
    server_name zeppelin.example.com;

    ssl_certificate           /etc/letsencrypt/live/zeppelin.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/zeppelin.example.com/privkey.pem;

    ssl on;
    ssl_session_cache  builtin:1000  shared:SSL:10m;
    ssl_protocols  TLSv1 TLSv1.1 TLSv1.2;
    ssl_ciphers HIGH:!aNULL:!eNULL:!EXPORT:!CAMELLIA:!DES:!MD5:!PSK:!RC4;
    ssl_prefer_server_ciphers on;

    access_log  /var/log/nginx/zeppelin.access.log;

location / {
        proxy_pass http://zeppelin;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header Host $http_host;
        proxy_set_header X-NginX-Proxy true;
        proxy_redirect off;
    }
location /ws {
    proxy_pass http://zeppelin/ws;
    proxy_http_version 1.1;
    proxy_set_header Upgrade websocket;
    proxy_set_header Connection upgrade;
    proxy_read_timeout 86400;
    }
  }

Starten Sie Nginx neu, damit die Änderungen wirksam werden.

sudo systemctl restart nginx zeppelin

Zeppelin ist jetzt unter der folgenden Adresse erreichbar.

https://zeppelin.example.com

Standardmäßig ist keine Authentifizierung aktiviert, sodass Sie die Anwendung direkt verwenden können.

Da die Anwendung für alle zugänglich ist, sind die von Ihnen erstellten Notizbücher auch für alle zugänglich. Es ist sehr wichtig, den anonymen Zugriff zu deaktivieren und die Authentifizierung zu aktivieren, damit nur die authentifizierten Benutzer auf die Anwendung zugreifen können.

Deaktivieren Sie den anonymen Zugriff

Kopieren Sie die Konfigurationsdateivorlage an ihren Live-Speicherort, um den anonymen Standardzugriff zu deaktivieren.

cd /opt/zeppelin
sudo cp conf/zeppelin-site.xml.template conf/zeppelin-site.xml

Bearbeiten Sie die Konfigurationsdatei.

sudo nano conf/zeppelin-site.xml

Suchen Sie die folgenden Zeilen in der Datei.

<property>
  <name>zeppelin.anonymous.allowed</name>
  <value>true</value>

Ändern Sie den Wert in false, um den anonymen Zugriff zu deaktivieren.

Aktivieren Sie die Shiro-Authentifizierung

Nachdem wir den anonymen Zugriff deaktiviert haben, müssen wir einen Authentifizierungsmechanismus aktivieren, damit sich privilegierte Benutzer anmelden können. Apache Zeppelin verwendet die Apache Shiro-Authentifizierung. Kopieren Sie die Shiro-Konfigurationsdatei.

sudo cp conf/shiro.ini.template conf/shiro.ini

Bearbeiten Sie die Konfigurationsdatei.

sudo nano conf/shiro.ini

Suchen Sie die folgenden Zeilen in der Datei.

[users]

admin = password1, admin
user1 = password2, role1, role2
user2 = password3, role3
user3 = password4, role2

Die Liste enthält den Benutzernamen, das Kennwort und die Rollen der Benutzer. Im Moment werden wir nur adminund verwenden user1. Ändern Sie das Passwort von adminund user1deaktivieren Sie die anderen Benutzer, indem Sie sie kommentieren. Sie können auch den Benutzernamen und die Rollen der Benutzer ändern. Weitere Informationen zu Apache Shiro-Benutzern und -Rollen finden Sie im Shiro-Autorisierungshandbuch .

Sobald Sie die Passwörter geändert haben, sollte der Codeblock so aussehen.

[users]

admin = StrongPassword, admin
user1 = UserPassword, role1, role2
# user2 = password3, role3
# user3 = password4, role2

Starten Sie nun Zeppelin neu, um die Änderungen zu übernehmen.

sudo systemctl restart zeppelin

Sie sollten sehen, dass die Authentifizierung aktiviert wurde und Sie sich mit dem in der Shiro-Konfigurationsdatei festgelegten Benutzernamen und Kennwort anmelden können.