Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Plan Szkolenia
1: HDFS (17%)
- Opis funkcji demonów HDFS
- Opisanie normalnego działania klastra Apache Hadoop, zarówno w zakresie przechowywania danych, jak i ich przetwarzania.
- Zidentyfikuj obecne cechy systemów obliczeniowych, które motywują system taki jak Apache Hadoop.
- Klasyfikacja głównych celów projektu HDFS
- Biorąc pod uwagę scenariusz, zidentyfikuj odpowiedni przypadek użycia dla federacji HDFS
- Identyfikacja komponentów i demona klastra HDFS HA-Quorum
- Analiza roli bezpieczeństwa HDFS (Kerberos)
- Określenie najlepszego wyboru serializacji danych dla danego scenariusza
- Opisywanie ścieżek odczytu i zapisu plików
- Identyfikacja poleceń do manipulowania plikami w powłoce systemu plików Hadoop.
2: YARN i MapReduce w wersji 2 (MRv2) (17%)
- Zrozumienie, w jaki sposób uaktualnienie klastra z wersji Hadoop 1 do Hadoop 2 wpływa na ustawienia klastra
- Zrozumienie sposobu wdrażania MapReduce v2 (MRv2 / YARN), w tym wszystkich demonów YARN.
- Zrozumienie podstawowej strategii projektowania dla MapReduce v2 (MRv2)
- Określenie, w jaki sposób YARN obsługuje alokacje zasobów
- Identyfikacja przepływu pracy zadania MapReduce działającego w sieci YARN
- Określenie, które pliki należy zmienić i w jaki sposób, aby przeprowadzić migrację klastra z MapReduce w wersji 1 (MRv1) do MapReduce w wersji 2 (MRv2) działającego w sieci YARN.
3: Hadoop Planowanie klastra (16%)
- Główne punkty do rozważenia przy wyborze sprzętu i systemów operacyjnych do hostowania klastra Apache Hadoop.
- Analiza możliwości wyboru systemu operacyjnego
- Zrozumienie tuningu jądra i wymiany dysków
- Biorąc pod uwagę scenariusz i wzorzec obciążenia, zidentyfikuj konfigurację sprzętową odpowiednią dla scenariusza.
- Biorąc pod uwagę scenariusz, określ komponenty ekosystemu, które klaster musi uruchomić, aby spełnić wymagania umowy SLA.
- Rozmiar klastra: biorąc pod uwagę scenariusz i częstotliwość wykonywania, określ specyfikę obciążenia, w tym procesor, pamięć, pamięć masową, wejścia/wyjścia dysku.
- Rozmiar i konfiguracja dysków, w tym JBOD kontra RAID, sieci SAN, wirtualizacja i wymagania dotyczące rozmiaru dysków w klastrze
- Topologie sieci: zrozumienie wykorzystania sieci w Hadoop (zarówno dla HDFS, jak i MapReduce) oraz zaproponowanie lub zidentyfikowanie kluczowych komponentów projektu sieci dla danego scenariusza.
4: Hadoop Instalacja i administracja klastrem (25%)
- Biorąc pod uwagę scenariusz, określ, w jaki sposób klaster będzie obsługiwał awarie dysków i maszyn.
- Analizowanie konfiguracji rejestrowania i formatu pliku konfiguracyjnego rejestrowania
- Zrozumienie podstaw Hadoop metryk i monitorowania kondycji klastra
- Identyfikacja funkcji i celu dostępnych narzędzi do monitorowania klastra
- Potrafi zainstalować wszystkie komponenty ekosystemu w CDH 5, w tym (ale nie wyłącznie): Impala, Flume, Oozie, Hue, Manager, Sqoop, Hive i Pig
- Określenie funkcji i celu dostępnych narzędzi do zarządzania systemem plików Apache Hadoop.
5: Zasoby Management (10%)
- Zrozumienie ogólnych celów projektowych każdego z Hadoop schedulerów
- Biorąc pod uwagę scenariusz, określ, w jaki sposób FIFO Scheduler przydziela zasoby klastra.
- Biorąc pod uwagę scenariusz, określ, w jaki sposób Fair Scheduler przydziela zasoby klastra w ramach YARN.
- Biorąc pod uwagę scenariusz, określ, w jaki sposób Capacity Scheduler przydziela zasoby klastra.
6: Monitorowanie i rejestrowanie (15%)
- Zrozumienie funkcji i cech możliwości Hadoop w zakresie gromadzenia metryk.
- Analiza internetowych interfejsów użytkownika NameNode i JobTracker
- Zrozumienie sposobu monitorowania Daemonów klastra
- Identyfikacja i monitorowanie użycia CPU na węzłach głównych
- Opisanie sposobu monitorowania alokacji wymiany i pamięci na wszystkich węzłach
- Określanie sposobu przeglądania plików dziennika Hadoop i zarządzania nimi
- Interpretowanie pliku dziennika
Wymagania
- Podstawowe Linux umiejętności administracyjne
- Podstawowe umiejętności programowania
35 godzin
