Plan Szkolenia

Sekcja 1: Wprowadzenie do Hadoop

  • historia hadoop, koncepcje
  • system ekologiczny
  • dystrybucje
  • architektura na wysokim poziomie
  • mity hadoopa
  • wyzwania hadoopa
  • sprzęt/oprogramowanie
  • laboratorium: pierwsze spojrzenie na Hadoop

Sekcja 2: HDFS

  • Projektowanie i architektura
  • koncepcje (skalowanie poziome, replikacja, lokalizacja danych, świadomość szafy)
  • Demony: węzeł nazwy, dodatkowy węzeł nazwy, węzeł danych
  • komunikacja/bicie serca
  • integralność danych
  • ścieżka odczytu/zapisu
  • Wysoka dostępność Namenode (HA), Federacja
  • laboratoria: Interakcja z HDFS

Sekcja 3: Zmniejsz mapę

  • koncepcje i architektura
  • demony (MRV1): moduł śledzenia zadań / moduł śledzenia zadań
  • fazy: sterownik, maper, losowanie/sortowanie, reduktor
  • Mapa Zmniejsz wersję 1 i wersję 2 (PRZĘDZA)
  • Elementy wewnętrzne mapy Zmniejsz
  • Wprowadzenie do Java programu Map Zmniejsz
  • laboratoria : Uruchamianie przykładowego programu MapReduce

Sekcja 4: Świnia

  • Zmniejsz mapę świni vs Java
  • przepływ pracy świni
  • świński język łaciński
  • ETL ze świnią
  • Transformacje i połączenia
  • Funkcje zdefiniowane przez użytkownika (UDF)
  • laboratoria: pisanie skryptów Pig do analizy danych

Sekcja 5: Hive

  • architektura i wzornictwo
  • typy danych
  • SQL wsparcie w Hive
  • Tworzenie Hive tabel i wykonywanie zapytań
  • partycje
  • dołącza
  • przetwarzanie tekstu
  • laboratoria: różne laboratoria dotyczące przetwarzania danych za pomocą Hive

Sekcja 6: HBase

  • koncepcje i architektura
  • hbase vs RDBMS vs Cassandra
  • API HBase Java.
  • Dane szeregów czasowych w HBase
  • projekt schematu
  • laboratoria: Interakcja z HBase przy użyciu powłoki; programowanie w HBase Java API ; Ćwiczenie z projektowania schematów

Wymagania

  • zna język programowania Java (większość ćwiczeń programistycznych jest w języku Java)
  • komfort w środowisku Linux (być w stanie poruszać się po Linux wierszu poleceń, edytować pliki za pomocą vi / nano)

Środowisko laboratoryjne

Zero Install : Nie ma potrzeby instalowania oprogramowania hadoop na komputerach studentów! Studenci otrzymają działający klaster hadoop.

Uczniowie będą potrzebować

  • klient SSH (Linux i Mac mają już klientów ssh, dla Windows Putty jest zalecane)
  • przeglądarka umożliwiająca dostęp do klastra. Zalecamy przeglądarkę Firefox
  • .
 28 godzin

Liczba uczestników



Cena za uczestnika

Opinie uczestników (5)

Powiązane Kategorie