Funkcjonalności warstw architektury referencyjnej Big Data
Przeczytaj blog, aby w najprostszy sposób poznać różne warstwy w architekturze Big Data i ich funkcjonalności.
Firefox Sync to funkcja synchronizacji przeglądarki, która umożliwia udostępnianie danych i preferencji (takich jak zakładki, historia, hasła, otwarte karty i zainstalowane dodatki) na wszystkich urządzeniach. Mozilla oferuje również aplikację „serwera synchronizacji” do użytku z Firefox Sync dla użytkowników i firm, które wolą hostować własne dane synchronizacji. W tym artykule pokazano, jak skonfigurować serwer Mozilla Sync.
Zaktualizuj system:
sudo yum check-update
Aby zbudować i uruchomić Serwer synchronizacji, musisz zainstalować następujące pakiety:
Mecurial
sqlite3
git
Python 2.6.6
Python 2.6.6 virtualenv
Python 2.6.6 SetupTools
Python 2.6.6 Developer Tools
Zainstaluj najnowszą wersję Mercurial:
sudo yum install mercurial
Zainstaluj wymagane narzędzia programistyczne i biblioteki:
yum groupinstall 'Development Tools' 'Development Libraries'
yum install tk-devel libjpeg-devel mysql-devel python-devel httpd-devel zlib-devel bzip2-devel
Zainstaluj SQLite3:
sudo yum install sqlite
Zainstaluj i skompiluj Python 2.6.6:
cd $home
sudo wget http://python.org/ftp/python/2.6.6/Python-2.6.6.tgz
sudo tar xzvf Python-2.6.6.tgz
cd $home/Python-2.6.6
sudo ./configure --prefix=/opt/python2.6 --enable-thread --enable-shared --enable-unicode=ucs4
sudo make
sudo make install
Sklonujemy repozytorium Git serwera synchronizacji, a następnie wejdziemy do folderu:
git clone https://github.com/mozilla-services/syncserver
cd syncserver
Uruchom komendę build, która pobierze zależności i skompiluje kod:
make build
Uruchom serwer synchronizacji i sprawdź, czy działa poprawnie:
bin/paster serve development.ini
Zobaczysz coś takiego:
Starting server in PID 5952.
serving on 0.0.0.0:5000 view at http://127.0.0.1:5000
Konfiguracja serwera synchronizacji jest bardzo prosta, w pliku konfiguracyjnym ( ./syncserver.ini
) można zmienić tylko kilka parametrów .
Otwórz plik konfiguracyjny w swoim ulubionym edytorze tekstu (na przykład nano ./syncserver.ini
).
[server:main]
use = egg:gunicorn
host = 0.0.0.0
port = 5000
workers = 1
timeout = 30
[app:main]
use = egg:syncserver
[syncserver]
# This must be edited to point to the public URL of your server,
# i.e. the URL as seen by Firefox.
public_url = http://localhost:5000/
# This defines the database in which to store all server data.
#sqluri = sqlite:////tmp/syncserver.db
# This is a secret key used for signing authentication tokens.
# It should be long and randomly-generated.
# The following command will give a suitable value on *nix systems:
#
# head -c 20 /dev/urandom | sha1sum
#
# If not specified then the server will generate a temporary one at startup.
#secret = INSERT_SECRET_KEY_HERE
# Set this to "false" to disable new-user signups on the server.
# Only request by existing accounts will be honoured.
# allow_new_users = false
# Set this to "true" to work around a mismatch between public_url and
# the application URL as seen by python, which can happen in certain reverse-
# proxy hosting setups. It will overwrite the WSGI environ dict with the
# details from public_url. This could have security implications if e.g.
# you tell the app that it's on HTTPS but it's really on HTTP, so it should
# only be used as a last resort and after careful checking of server config.
force_wsgi_environ = false
[browserid]
# Uncomment and edit the following to use a local BrowserID verifier
# rather than posting assertions to the mozilla-hosted verifier.
# Audiences should be set to your public_url without a trailing slash.
#backend = tokenserver.verifiers.LocalVerifier
#audiences = https://localhost:5000
# By default, syncserver will accept identity assertions issues by
# any server. You can restrict this by setting the below to a list
# of allowed issuer domains.
#allowed_issuers = www.mysite.com myfriendsdomain.org
Adres twojego serwera musi być określony za pomocą parametru public_url
:
public_url = http://fsync.example.com
Uwaga : wartość domyślna public_url
, http://localhost:5000/
będzie pracować dla celów testowych na komputerze lokalnym.
Odkomentujemy tę sqluri
opcję i umieścimy lokalizację, lub URI
, co pozwoli serwerowi połączyć się z bazą danych i przechowywać jej informacje:
sqluri = sqlite:////path/to/database/file.db
Jeśli chcesz użyć innego typu DB:
sqluri = pymysql://username:[email protected]/sync
Dla tego secret
parametru będziemy musieli wygenerować tajny klucz dla tokenów uwierzytelniających:
head -c 20 /dev/urandom | sha1sum
Usuń komentarz z wiersza tajnego parametru, a następnie skopiuj / wklej zwrócony ciąg do tajnego parametru:
secret = db8a203aed5fe3e4594d4b75990acb76242efd35
Uwaga : Jeśli nie wprowadzisz niczego w tym parametrze, serwer wygeneruje jeden, ale będzie różny przy każdym ponownym uruchomieniu serwera.
Odznacz allow\_new\_users
parametr i ustaw go tak, true
aby nasze konto mogło połączyć się z naszym serwerem po raz pierwszy:
allow_new_users = true
Następnie usuniemy komentarz z audiences
parametru i wstawimy to samo, co public_uri
parametr:
audiences = http://fsync.example.com
Na koniec po prostu dodaj następujący wiersz na końcu pliku:
forwarded_allow_ips = *
Ta linia pomoże ci uniknąć komunikatów o błędach i problemów z autoryzacją.
Aby uruchomić serwer synchronizacji, możesz użyć jednego z następujących poleceń:
./path/to/syncserver/local/bin/gunicorn --threads 4 --paste /path/to/syncserver/syncserver.ini &
Pozwala to wybrać lokalizację pliku konfiguracyjnego; a także wstaw argument --threads 4
, który pozwala przypisać większą moc do serwera synchronizacji.
Aby uruchomić serwer przy każdym uruchomieniu instancji, możesz dodać następujący wiersz do swojego crontab, wpisując crontab -e
polecenie:
@reboot ./path/to/syncserver/local/bin/gunicorn --paste /path/to/syncserver/syncserver.ini &
Możesz używać różnych serwerów internetowych, które są zgodne z WSGI
protokołem. Na przykład:
Nginx
z uWSGI.Apache
w połączeniu z mod_wsgi.W przypadku Nginx musisz użyć wbudowanego serwera proxy Nginx, jak pokazano poniżej:
server {
listen 80;
server_name fsync.example.com;
location / {
proxy_set_header Host $http_host;
proxy_set_header X-Forwarded-Proto $scheme;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Real-IP $remote_addr;
proxy_redirect off;
proxy_read_timeout 120;
proxy_connect_timeout 10;
proxy_pass http://127.0.0.1:5000/;
}
}
Użytkownicy Nginx mogą korzystać tylko z gniazda WSGI.
Zainstaluj uWSGI
przez Pip:
pip install uwsgi
Zainstaluj, uWSGI
pobierając źródłowy plik archiwum:
wget https://projects.unbit.it/downloads/uwsgi-latest.tar.gz
tar zxvf uwsgi-latest.tar.gz
cd <dir>
make
Uwaga : po kompilacji będziesz mieć plik uwsgi
binarny w bieżącym katalogu.
Po zainstalowaniu uruchom go z następującymi opcjami:
uwsgi --plugins python27 --manage-script-name \
--mount /<location>=/path/to/syncserver/syncserver.wsgi \
--socket /path/to/uwsgi.sock
Następnie użyj następującej konfiguracji Nginx:
location /<location>/ {
include uwsgi_params;
uwsgi_pass unix:/path/to/uwsgi.sock;
}
Zainstaluj mod_wsgi
:
apt-get install libapache2-mod-wsgi
Następnie użyj następującego vhosta:
<VirtualHost *:80>
ServerName sync.example.com
DocumentRoot /path/to/syncserver
WSGIProcessGroup sync
WSGIDaemonProcess sync user=sync group=sync processes=2 threads=25 python-path=/path/to/syncserver/local/lib/python2.7/site-packages/
WSGIPassAuthorization On
WSGIScriptAlias / /path/to/syncserver/syncserver.wsgi
CustomLog /var/log/apache2/sync.example.com-access.log combined
ErrorLog /var/log/apache2/sync.example.com-error.log
</VirtualHost>
Po zainstalowaniu i skonfigurowaniu serwera możesz skonfigurować klienta Firefox na komputery stacjonarne, aby komunikował się z Twoim nowym serwerem synchronizacji. Zanim zaczniesz, jeśli masz już połączenie z serwerami Firefox Sync, musisz się wylogować. W przeciwnym razie połączenie z nowym serwerem może nie działać.
Najpierw otwórz nową kartę i wprowadź następujący adres:
about:config
W pasku wyszukiwania wprowadź identity.sync.tokenserver.uri
i zmień jego wartość na adres URL swojego serwera za pomocą ścieżki token/1.0/sync/1.5
:
http://sync.example.com/token/1.0/sync/1.5
Przeczytaj blog, aby w najprostszy sposób poznać różne warstwy w architekturze Big Data i ich funkcjonalności.
Chcesz zobaczyć rewolucyjne wynalazki Google i jak te wynalazki zmieniły życie każdego człowieka dzisiaj? Następnie czytaj na blogu, aby zobaczyć wynalazki Google.
13 komercyjnych narzędzi do ekstrakcji danych z Big Data
Whatsapp w końcu uruchomił aplikację Desktop dla użytkowników komputerów Mac i Windows. Teraz możesz łatwo uzyskać dostęp do Whatsapp z systemu Windows lub Mac. Dostępne dla Windows 8+ i Mac OS 10.9+
Energia jądrowa jest zawsze pogardzana, nigdy jej nie szanujemy z powodu przeszłych wydarzeń, ale nie zawsze jest zła. Przeczytaj post, aby dowiedzieć się więcej na ten temat.
Koncepcja autonomicznych samochodów, które wyjadą na drogi za pomocą sztucznej inteligencji, to marzenie, które mamy już od jakiegoś czasu. Ale pomimo kilku obietnic nigdzie ich nie widać. Przeczytaj ten blog, aby dowiedzieć się więcej…
Wzrasta liczba ataków ransomware, ale czy sztuczna inteligencja może pomóc w radzeniu sobie z najnowszym wirusem komputerowym? Czy AI jest odpowiedzią? Przeczytaj tutaj, wiedz, że sztuczna inteligencja jest zmorą lub zgubą
Sztuczna inteligencja nie jest dla ludzi nową nazwą. Ponieważ sztuczna inteligencja jest włączona do każdego strumienia, jednym z nich jest opracowywanie narzędzi zwiększających ludzką wydajność i dokładność. Skorzystaj z tych niesamowitych narzędzi uczenia maszynowego i uprość swoje codzienne zadania.
Zawsze potrzebujemy Big Data Analytics do efektywnego zarządzania danymi. W tym artykule omówiliśmy kilka technik analizy Big Data. Sprawdź ten artykuł.
Czy jesteś również ofiarą ataków DDOS i nie masz pewności co do metod zapobiegania? Przeczytaj ten artykuł, aby rozwiązać swoje pytania.