Dziękujemy za wysłanie zapytania! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Dziękujemy za wysłanie rezerwacji! Jeden z członków naszego zespołu skontaktuje się z Państwem wkrótce.
Plan Szkolenia
1: HDFS (17%)
- Opisz funkcję demonów HDFS
- Opisz normalną operację klastera Apache Hadoop, zarówno w zakresie przechowywania danych, jak i przetwarzania danych.
- Zidentyfikuj obecne cechy systemów obliczeniowych, które motywują system taki jak Apache Hadoop.
- Sklasyfikuj główne cele projektu HDFS
- Na podstawie scenariusza zidentyfikuj odpowiednie zastosowanie HDFS Federation
- Zidentyfikuj komponenty i demona klastera HDFS HA-Quorum
- Zanalizuj rolę bezpieczeństwa HDFS (Kerberos)
- Określ najlepszy wybór serializacji danych dla danego scenariusza
- Opisz ścieżki odczytu i zapisu plików
- Zidentyfikuj polecenia służące do manipulowania plikami w powłoce systemu plików Hadoop
2: YARN i MapReduce wersja 2 (MRv2) (17%)
- Zrozum, jak aktualizacja klastera z Hadoop 1 do Hadoop 2 wpływa na ustawienia klastera
- Zrozum, jak wdrożyć MapReduce v2 (MRv2 / YARN), w tym wszystkie demony YARN
- Zrozum podstawową strategię projektowania MapReduce v2 (MRv2)
- Określ, jak YARN obsługuje przydzielanie zasobów
- Zidentyfikuj przepływ pracy zadania MapReduce uruchomionego w YARN
- Określ, które pliki należy zmienić i jak, aby przenieść klaster z MapReduce wersja 1 (MRv1) na MapReduce wersja 2 (MRv2) uruchomionego w YARN.
3: Planowanie klastera Hadoop (16%)
- Głównych punktów do rozważenia przy wyborze sprzętu i systemów operacyjnych do hostowania klastera Apache Hadoop.
- Zanalizuj wybory dotyczące wyboru systemu operacyjnego
- Zrozum regulację jądra i wymianę dysków
- Na podstawie scenariusza i wzorca obciążenia zidentyfikuj konfigurację sprzętową odpowiednią dla scenariusza
- Na podstawie scenariusza określ, jakie komponenty ekosystemu potrzebuje Twój klaster, aby spełnić SLA
- Rozmiar klastera: na podstawie scenariusza i częstotliwości wykonania zidentyfikuj szczegóły dla obciążenia, w tym CPU, pamięć, przechowywanie, I/O dysku
- Rozmiar i konfiguracja dysków, w tym JBOD w przeciwieństwie do RAID, SANów, wirtualizacji i wymagań dotyczących rozmiaru dysku w klastrze
- Topologie sieciowe: zrozum użycie sieci w Hadoop (dla HDFS i MapReduce) i zaproponuj lub zidentyfikuj kluczowe komponenty projektowania sieci dla danego scenariusza
4: Instalacja i administrowanie klasterem Hadoop (25%)
- Na podstawie scenariusza zidentyfikuj, jak klaster będzie obsługiwał awarie dysków i maszyn
- Zanalizuj konfigurację rejestrowania i format pliku konfiguracyjnego rejestrowania
- Zrozum podstawy monitorowania zdrowia klastera i metryk Hadoop
- Zidentyfikuj funkcję i cel dostępnych narzędzi do monitorowania klastera
- Bądź w stanie zainstalować wszystkie komponenty ekosystemu w CDH 5, w tym (ale nie ograniczone do): Impala, Flume, Oozie, Hue, Manager, Sqoop, Hive i Pig
- Zidentyfikuj funkcję i cel dostępnych narzędzi do zarządzania systemem plików Apache Hadoop
5: Zasoby Management (10%)
- Zrozum ogólne cele projektowe każdego z planistów Hadoop
- Na podstawie scenariusza określ, jak planista FIFO przydziela zasoby klastera
- Na podstawie scenariusza określ, jak planista Fair przydziela zasoby klastera w YARN
- Na podstawie scenariusza określ, jak planista Capacity przydziela zasoby klastera
6: Monitorowanie i rejestrowanie (15%)
- Zrozum funkcje i cechy możliwości zbierania metryk przez Hadoop
- Zanalizuj interfejsy WWW NameNode i JobTracker
- Zrozum, jak monitorować demony klastera
- Zidentyfikuj i monitoruj zużycie procesora na węzłach głównych
- Opisz, jak monitorować wymianę i przydział pamięci na wszystkich węzłach
- Zidentyfikuj, jak wyświetlać i zarządzać plikami dziennika Hadoop
- Interpretuj plik dziennika
Wymagania
- Podstawowe umiejętności administracyjne Linux
- Podstawowe umiejętności programowania
35 godzin
Opinie uczestników (3)
Naprawdę cieszyłem się wieloma sesjami praktycznymi.
Jacek Pieczatka
Szkolenie - Administrator Training for Apache Hadoop
Przetłumaczone przez sztuczną inteligencję
Rzeczywiście cieszyłem się wieloma kompetencjami Trenera.
Grzegorz Gorski
Szkolenie - Administrator Training for Apache Hadoop
Przetłumaczone przez sztuczną inteligencję
Najbardziej podobały mi się przykłady z życia rzeczywistego podawane przez trenera.
Simon Hahn
Szkolenie - Administrator Training for Apache Hadoop
Przetłumaczone przez sztuczną inteligencję