Plan Szkolenia

1: HDFS (17%)

  • Opisz funkcję demonów HDFS
  • Opisz normalną operację klastera Apache Hadoop, zarówno w zakresie przechowywania danych, jak i przetwarzania danych.
  • Zidentyfikuj obecne cechy systemów obliczeniowych, które motywują system taki jak Apache Hadoop.
  • Sklasyfikuj główne cele projektu HDFS
  • Na podstawie scenariusza zidentyfikuj odpowiednie zastosowanie HDFS Federation
  • Zidentyfikuj komponenty i demona klastera HDFS HA-Quorum
  • Zanalizuj rolę bezpieczeństwa HDFS (Kerberos)
  • Określ najlepszy wybór serializacji danych dla danego scenariusza
  • Opisz ścieżki odczytu i zapisu plików
  • Zidentyfikuj polecenia służące do manipulowania plikami w powłoce systemu plików Hadoop

2: YARN i MapReduce wersja 2 (MRv2) (17%)

  • Zrozum, jak aktualizacja klastera z Hadoop 1 do Hadoop 2 wpływa na ustawienia klastera
  • Zrozum, jak wdrożyć MapReduce v2 (MRv2 / YARN), w tym wszystkie demony YARN
  • Zrozum podstawową strategię projektowania MapReduce v2 (MRv2)
  • Określ, jak YARN obsługuje przydzielanie zasobów
  • Zidentyfikuj przepływ pracy zadania MapReduce uruchomionego w YARN
  • Określ, które pliki należy zmienić i jak, aby przenieść klaster z MapReduce wersja 1 (MRv1) na MapReduce wersja 2 (MRv2) uruchomionego w YARN.

3: Planowanie klastera Hadoop (16%)

  • Głównych punktów do rozważenia przy wyborze sprzętu i systemów operacyjnych do hostowania klastera Apache Hadoop.
  • Zanalizuj wybory dotyczące wyboru systemu operacyjnego
  • Zrozum regulację jądra i wymianę dysków
  • Na podstawie scenariusza i wzorca obciążenia zidentyfikuj konfigurację sprzętową odpowiednią dla scenariusza
  • Na podstawie scenariusza określ, jakie komponenty ekosystemu potrzebuje Twój klaster, aby spełnić SLA
  • Rozmiar klastera: na podstawie scenariusza i częstotliwości wykonania zidentyfikuj szczegóły dla obciążenia, w tym CPU, pamięć, przechowywanie, I/O dysku
  • Rozmiar i konfiguracja dysków, w tym JBOD w przeciwieństwie do RAID, SANów, wirtualizacji i wymagań dotyczących rozmiaru dysku w klastrze
  • Topologie sieciowe: zrozum użycie sieci w Hadoop (dla HDFS i MapReduce) i zaproponuj lub zidentyfikuj kluczowe komponenty projektowania sieci dla danego scenariusza

4: Instalacja i administrowanie klasterem Hadoop (25%)

  • Na podstawie scenariusza zidentyfikuj, jak klaster będzie obsługiwał awarie dysków i maszyn
  • Zanalizuj konfigurację rejestrowania i format pliku konfiguracyjnego rejestrowania
  • Zrozum podstawy monitorowania zdrowia klastera i metryk Hadoop
  • Zidentyfikuj funkcję i cel dostępnych narzędzi do monitorowania klastera
  • Bądź w stanie zainstalować wszystkie komponenty ekosystemu w CDH 5, w tym (ale nie ograniczone do): Impala, Flume, Oozie, Hue, Manager, Sqoop, Hive i Pig
  • Zidentyfikuj funkcję i cel dostępnych narzędzi do zarządzania systemem plików Apache Hadoop

5: Zasoby Management (10%)

  • Zrozum ogólne cele projektowe każdego z planistów Hadoop
  • Na podstawie scenariusza określ, jak planista FIFO przydziela zasoby klastera
  • Na podstawie scenariusza określ, jak planista Fair przydziela zasoby klastera w YARN
  • Na podstawie scenariusza określ, jak planista Capacity przydziela zasoby klastera

6: Monitorowanie i rejestrowanie (15%)

  • Zrozum funkcje i cechy możliwości zbierania metryk przez Hadoop
  • Zanalizuj interfejsy WWW NameNode i JobTracker
  • Zrozum, jak monitorować demony klastera
  • Zidentyfikuj i monitoruj zużycie procesora na węzłach głównych
  • Opisz, jak monitorować wymianę i przydział pamięci na wszystkich węzłach
  • Zidentyfikuj, jak wyświetlać i zarządzać plikami dziennika Hadoop
  • Interpretuj plik dziennika

Wymagania

  • Podstawowe umiejętności administracyjne Linux
  • Podstawowe umiejętności programowania
 35 godzin

Liczba uczestników


cena netto za uczestnika

Opinie uczestników (3)

Propozycje terminów

Powiązane Kategorie