Plan Szkolenia
Sekcja 1: Wprowadzenie do Hadoop
- historia hadoop, koncepcje
- system ekologiczny
- dystrybucje
- architektura na wysokim poziomie
- mity hadoopa
- wyzwania hadoopa
- sprzęt/oprogramowanie
- laboratorium: pierwsze spojrzenie na Hadoop
Sekcja 2: HDFS
- Projektowanie i architektura
- koncepcje (skalowanie poziome, replikacja, lokalizacja danych, świadomość szafy)
- Demony: węzeł nazwy, dodatkowy węzeł nazwy, węzeł danych
- komunikacja/bicie serca
- integralność danych
- ścieżka odczytu/zapisu
- Wysoka dostępność Namenode (HA), Federacja
- laboratoria: Interakcja z HDFS
Sekcja 3: Zmniejsz mapę
- koncepcje i architektura
- demony (MRV1): moduł śledzenia zadań / moduł śledzenia zadań
- fazy: sterownik, maper, losowanie/sortowanie, reduktor
- Mapa Zmniejsz wersję 1 i wersję 2 (PRZĘDZA)
- Elementy wewnętrzne mapy Zmniejsz
- Wprowadzenie do Java programu Map Zmniejsz
- laboratoria : Uruchamianie przykładowego programu MapReduce
Sekcja 4: Świnia
- Zmniejsz mapę świni vs Java
- przepływ pracy świni
- świński język łaciński
- ETL ze świnią
- Transformacje i połączenia
- Funkcje zdefiniowane przez użytkownika (UDF)
- laboratoria: pisanie skryptów Pig do analizy danych
Sekcja 5: Hive
- architektura i wzornictwo
- typy danych
- SQL wsparcie w Hive
- Tworzenie Hive tabel i wykonywanie zapytań
- partycje
- dołącza
- przetwarzanie tekstu
- laboratoria: różne laboratoria dotyczące przetwarzania danych za pomocą Hive
Sekcja 6: HBase
- koncepcje i architektura
- hbase vs RDBMS vs Cassandra
- API HBase Java.
- Dane szeregów czasowych w HBase
- projekt schematu
- laboratoria: Interakcja z HBase przy użyciu powłoki; programowanie w HBase Java API ; Ćwiczenie z projektowania schematów
Wymagania
- zna język programowania Java (większość ćwiczeń programistycznych jest w języku Java)
- komfort w środowisku Linux (być w stanie poruszać się po Linux wierszu poleceń, edytować pliki za pomocą vi / nano)
Środowisko laboratoryjne
Zero Install : Nie ma potrzeby instalowania oprogramowania hadoop na komputerach studentów! Studenci otrzymają działający klaster hadoop.
Uczniowie będą potrzebować
- klient SSH (Linux i Mac mają już klientów ssh, dla Windows Putty jest zalecane)
- przeglądarka umożliwiająca dostęp do klastra. Zalecamy przeglądarkę Firefox .
Opinie uczestników (5)
Trainer's preparation & organization, and quality of materials provided on github.
Mateusz Rek - MicroStrategy Poland Sp. z o.o.
Szkolenie - Impala for Business Intelligence
The VM I liked very much The Teacher was very knowledgeable regarding the topic as well as other topics, he was very nice and friendly I liked the facility in Dubai.
Safar Alqahtani - Elm Information Security
Szkolenie - Big Data Analytics in Health
I thought he did a great job of tailoring the experience to the audience. This class is mostly designed to cover data analysis with HIVE, but me and my co-worker are doing HIVE administration with no real data analytics responsibilities.
ian reif - Franchise Tax Board
Szkolenie - Data Analysis with Hive/HiveQL
I genuinely enjoyed the many hands-on sessions.
Jacek Pieczątka
Szkolenie - Administrator Training for Apache Hadoop
Część praktyczna.