Funkcjonalności warstw architektury referencyjnej Big Data
Przeczytaj blog, aby w najprostszy sposób poznać różne warstwy w architekturze Big Data i ich funkcjonalności.
Według oficjalnej strony Gentoo ,
Witamy w Gentoo, elastycznej, opartej na źródłach dystrybucji Linuksa, która staje się niemal każdym systemem, którego potrzebujesz - i wiele więcej.
Jak widać, instalacja Gentoo na ukochanej maszynie Vultr umożliwia zarządzanie serwerem w bardziej kontrolowany sposób, ponieważ wybierasz zawartość serwera, a nawet więcej, wybierasz funkcje do skompilowania w celu zaoszczędzenia cennych zasobów twój serwer.
W przypadku instalacji Gentoo na Vultr w zasadzie musimy wykonać następujące czynności:
sshd
w środowisku LiveCD.Zaczynajmy!
Najpierw przejdź do strony zarządzania ISO i prześlij swoją ISO zdalnie. Prawie każdy nośnik jest odpowiedni do instalacji Gentoo, a my użyjemy oficjalnej minimalnej płyty CD. Wypełnij ten (lub inny minimalny link ISO Gentoo) w polu adresu URL i naciśnij przycisk przesyłania, a następnie poczekaj kilka minut. Po pomyślnym przesłaniu ISO możemy przystąpić do tworzenia maszyny.
Wybierz opcję ISO niestandardowe w sekcji systemu operacyjnego. Wybierz inne opcje zgodnie z potrzebami i pamiętaj, aby zaznaczyć opcję Włącz IPv6, ponieważ będziemy wdrażać instalację z włączoną obsługą IPv6. Gdy masz pewność, że wszystko jest w porządku, utwórz maszynę i uruchom ją.
Wybierz Wyświetl konsolę w panelu sterowania maszyny, a powita Cię minimalna powłoka CD Gentoo. Ponieważ operacje z VNC mogą być trudne, włączymy sshd. Użyj, passwd
aby zmienić hasło roota, a następnie wykonaj następujące czynności:
/etc/init.d/sshd start
Następnie znajdź adres IP serwera w panelu sterowania i połącz się z serwerem za pomocą:
ssh [email protected]
Pamiętaj, że każdy adres IP, który wchodzi w skład 203.0.113.0/24, jest wirtualny i powinieneś zastąpić go prawdziwym adresem IPv4 serwera.
Teraz, gdy doszliśmy do właściwej powłoki w LiveCD, możemy rozpocząć proces instalacji. Zasadniczo będziemy robić następujące rzeczy:
Najpierw podzielimy dysk. Użyj cfdisk
:
cfdisk /dev/vda
Wybierz mbr w wyskakującym okienku i utwórz 2 partycje: jedna to twoja partycja główna, a druga twoja partycja wymiany. Zalecam zarezerwowanie 2 * wielkości pamięci na małych planach pamięci, natomiast mniejsze wymiany są możliwe, jeśli masz dużo pamięci fizycznej. Napisz tablicę partycji i wyjdź po dokonaniu odpowiednich zmian.
Następnie sformatuj partycje. Użyjemy tutaj ext4. Możesz wybrać, co chcesz, ale pamiętaj, aby włączyć obsługę tego FS później podczas konfigurowania jądra, w przeciwnym razie system nie uruchomi się. Wykonaj następujące czynności:
mkfs.ext4 /dev/vda1
mkswap /dev/vda2
Zakładając, że twoja partycja root jest, vda1
a partycja swap jest vda2
.
Następnie zamontuj systemy plików.
mount /dev/vda1 /mnt/gentoo
swapon /dev/vda2
Chwyć NAJNOWSZY tarball stage3 (najpierw spójrz, co jest w folderze na lustrze!) Z lustra, które jest geograficznie blisko twojego serwera. Rozpakuj archiwum do nowego katalogu głównego.
cd /mnt/gentoo
wget http://ftp.iij.ad.jp/pub/linux/gentoo/releases/amd64/autobuilds/current-stage3-amd64/stage3-amd64-20161103.tar.bz2
tar xvjpf stage3-amd64-20161103.tar.bz2 --xattrs
Będziemy musieli wybrać źródło, które jest geograficznie blisko serwera, aby zaoszczędzić czas podczas pobierania kodów źródłowych. Minimalna płyta instalacyjna Gentoo zapewnia nam doskonałe narzędzie mirrorselect
. Wybierz te, które znajdują się w regionie twojego serwera:
mirrorselect -i -o >> /mnt/gentoo/etc/portage/make.conf
Na przykład serwer w Tokio chciałby mieć włączone IIJ i lustro Jaista, więc wciśnij spację i zaznacz te linie znakiem *
. Wyjdź i sprawdź make.conf
zmiany:
nano -w /etc/portage/make.conf
Drugim ważnym krokiem przy wyborze mirrorów jest skonfigurowanie głównego repozytorium Gentoo za pomocą /etc/portage/repos.conf/gentoo.conf
pliku. Definicje dotyczące zdalnego źródła drzewa portage znajdują się tam. Wykonaj następujące czynności:
mkdir -p /mnt/gentoo/etc/portage/repos.conf
cp /mnt/gentoo/usr/share/portage/config/repos.conf /mnt/gentoo/etc/portage/repos.conf/gentoo.conf
nano -w /mnt/gentoo/etc/portage/repos.conf/gentoo.conf
Zastąp adres serwera w sync-uri
zestawie. Listę serwerów lustrzanych rsync można znaleźć tutaj . Regionalne serwery rsync są zwykle dostarczane przy użyciu takich adresów URL rsync://rsync.jp.gentoo.org/gentoo-portage/
. Ten okrągły sposób zapewni, że konfiguracja będzie nadal działać, nawet jeśli niektóre serwery ulegną awarii w puli serwerów.
Mała wskazówka: ponieważ rsync jest kosztowny, wiele serwerów nie pozwala na zbyt wiele częstych synchronizacji. Zalecam synchronizację raz dziennie lub rzadziej. Jeśli spróbujesz (nawet mimowolnie) zakłócić rotację serwera, możesz zostać dodany do tymczasowej listy banów.
Skopiuj resolv.conf
do chroot.
cp -L /etc/resolv.conf /mnt/gentoo/etc/
Zamontuj niezbędne systemy plików, abyśmy mogli wykonać chroot.
mount -t proc proc /mnt/gentoo/proc
mount --rbind /sys /mnt/gentoo/sys
mount --make-rslave /mnt/gentoo/sys
mount --rbind /dev /mnt/gentoo/dev
mount --make-rslave /mnt/gentoo/dev
Następnie chroot do środowiska.
chroot /mnt/gentoo /bin/su
export PS1="(chroot) $PS1"
Chwyć migawkę Portage.
emerge-webrsync
Czytać wiadomości:
eselect news list
eselect news read
Wybierz profil:
eselect profile list
eselect profile set 1
Wykonaj aktualizację świata:
emerge -avuDN @world
Ustaw strefę czasową. Załóżmy, że wybrana strefa czasowa to Europe/Brussels
:
echo "Europe/Brussels" > /etc/timezone
emerge --config sys-libs/timezone-data
Ustaw lokalizację.
nano /etc/locale.gen
locale-gen
eselect locale list
eselect locale set en_US.UTF-8
Załaduj ponownie środowisko.
env-update && source /etc/profile && export PS1="(chroot) $PS1"
Zainstaluj jądro Linux. Najpierw ujawnij źródło:
emerge -av sys-kernel/gentoo-sources
Następnie skonfiguruj jądro. Ponieważ wykonujemy instalację na VPS, musimy włączyć opcje związane z VirtIO. Możesz użyć standardowego menuconfig
narzędzia:
make menuconfig
Użyj /
klawisza, aby wyszukać VIRTIO_PCI
i VIRTIO_MMIO
. Po ich zlokalizowaniu włącz je, a także nowe elementy, które mogą się pojawić po włączeniu tych dwóch. Zapisz i wyjdź z menuconfig
.
Jeśli masz raczej mały terminal lub nie lubisz szukać opcji, możesz również .config
samodzielnie zhakować . Wyszukaj VIRTIO
i zmień
# CONFIG_VIRTIO_PCI is not set
# CONFIG_VIRTIO_MMIO is not set
# CONFIG_VIRTIO_BLK may not be set
do:
CONFIG_VIRTIO_PCI=y
CONFIG_VIRTIO_MMIO=y
CONFIG_VIRTIO_BLK=y
... i odpowiedz y
na wszystkie pytania dotyczące VIRTIO w poniższej sekcji kompilacji jądra (ale pamiętaj, aby przeczytać pytania przed naciśnięciem enter).
Teraz skompilujemy jądro. Po powrocie do powłoki wykonaj:
make -j2 && make modules_install
-j2
Argumentem tutaj oznacza, że kompilacji będą przebiegały równolegle z 2 ofert pracy. Zmień to na liczbę rdzeni maszyny plus jeden, aby najlepiej skrócić czas kompilacji. Po rozpoczęciu kompilacji weź filiżankę kawy i zrelaksuj się!
Po zakończeniu kompilacji zainstaluj jądro do /boot
:
make install
Następnie skonfigurujmy fstab
.
nano -w /etc/fstab
Zmień /dev/ROOT
na /dev/vda1
i /dev/SWAP
na /dev/vda2
i komentarz na wszystkich innych liniach.
Zmień hostname
zgodnie z ustawionym podczas tworzenia komputera.
nano /etc/conf.d/hostname
Zainstaluj net-misc/netifrc
i skonfiguruj sieć.
emerge -a --noreplace net-misc/netifrc
nano /etc/conf.d/net
I dodaj następujący wiersz:
config_eth0="dhcp"
Uruchom interfejs sieciowy podczas uruchamiania.
cd /etc/init.d
ln -s net.lo net.eth0
rc-update add net.eth0 default
Edytuj plik hosts.
nano -w /etc/hosts
Zmień hasło roota.
passwd
Instalować różne programy narzędziowe tym syslog-ng
, logrotate
, cronie
, i dhcpcd
.
emerge -av syslog-ng logrotate cronie dhcpcd
Włącz usługi:
rc-update add sshd default
rc-update add cronie default
rc-update add syslog-ng default
Sprawdź sshd_config
(upewnij się, że się nie zablokujesz!):
nano -w /etc/ssh/sshd_config
Zainstaluj grub
bootloader:
emerge -a sys-boot/grub:2
Zainstaluj bootloader i wygeneruj konfigurację:
grub-install /dev/vda
grub-mkconfig -o /boot/grub/grub.cfg
Wszystko gotowe! Wyjdź z chroot i wydaj ostateczne polecenie do testowania:
exit
reboot
Jeśli wszystko jest w porządku, będziesz mógł zalogować się przez ssh w kilka chwil po uruchomieniu systemu. Jeśli napotkasz problemy, nie panikuj. Użyj konsoli VNC, a także minimalnego ISO, aby sprawdzić, co było nie tak i naprawić błędy.
Masz teraz zupełnie nową instalację Gentoo na swoim komputerze Vultr. Cieszyć się!
Przeczytaj blog, aby w najprostszy sposób poznać różne warstwy w architekturze Big Data i ich funkcjonalności.
Chcesz zobaczyć rewolucyjne wynalazki Google i jak te wynalazki zmieniły życie każdego człowieka dzisiaj? Następnie czytaj na blogu, aby zobaczyć wynalazki Google.
13 komercyjnych narzędzi do ekstrakcji danych z Big Data
Whatsapp w końcu uruchomił aplikację Desktop dla użytkowników komputerów Mac i Windows. Teraz możesz łatwo uzyskać dostęp do Whatsapp z systemu Windows lub Mac. Dostępne dla Windows 8+ i Mac OS 10.9+
Energia jądrowa jest zawsze pogardzana, nigdy jej nie szanujemy z powodu przeszłych wydarzeń, ale nie zawsze jest zła. Przeczytaj post, aby dowiedzieć się więcej na ten temat.
Koncepcja autonomicznych samochodów, które wyjadą na drogi za pomocą sztucznej inteligencji, to marzenie, które mamy już od jakiegoś czasu. Ale pomimo kilku obietnic nigdzie ich nie widać. Przeczytaj ten blog, aby dowiedzieć się więcej…
Wzrasta liczba ataków ransomware, ale czy sztuczna inteligencja może pomóc w radzeniu sobie z najnowszym wirusem komputerowym? Czy AI jest odpowiedzią? Przeczytaj tutaj, wiedz, że sztuczna inteligencja jest zmorą lub zgubą
Sztuczna inteligencja nie jest dla ludzi nową nazwą. Ponieważ sztuczna inteligencja jest włączona do każdego strumienia, jednym z nich jest opracowywanie narzędzi zwiększających ludzką wydajność i dokładność. Skorzystaj z tych niesamowitych narzędzi uczenia maszynowego i uprość swoje codzienne zadania.
Zawsze potrzebujemy Big Data Analytics do efektywnego zarządzania danymi. W tym artykule omówiliśmy kilka technik analizy Big Data. Sprawdź ten artykuł.
Czy jesteś również ofiarą ataków DDOS i nie masz pewności co do metod zapobiegania? Przeczytaj ten artykuł, aby rozwiązać swoje pytania.