Kod kursu

ApHadm1

Czas trwania

21 godzin (zwykle 3 dni wliczając przerwy)

Wymagania

Attendees are not required to have any specific skill as the training is focused on end users skills for both the administration and the manipulation of data under Apache Hadoop

Opis

Ten kurs jest przeznaczony dla programistów, architektów, naukowców zajmujących się danymi lub dowolnego profilu, który wymaga dostępu do danych intensywnie lub regularnie.

Głównym celem kursu jest manipulacja i transformacja danych.

Wśród narzędzi w ekosystemie Hadoop ten kurs obejmuje użycie Pig i Hive które są mocno wykorzystywane do transformacji danych i manipulacji.

Szkolenie to dotyczy również wskaźników wydajności i optymalizacji wydajności.

Kurs jest całkowicie praktyczny i przerywany prezentacjami aspektów teoretycznych.

Machine Translated

Plan Szkolenia

1.1Hadoop Concepts

1.1.1HDFS

The Design of HDFS
Command line interface
Hadoop File System

1.1.2Clusters

Anatomy of a cluster
Mater Node / Slave node
Name Node / Data Node

1.2Data Manipulation

1.2.1MapReduce detailed

Map phase
Reduce phase
Shuffle

1.2.2Analytics with Map Reduce

Group-By with MapReduce
Frequency distributions and sorting with MapReduce
Plotting results (GNU Plot)
Histograms with MapReduce
Scatter plots with MapReduce
Parsing complex datasets
Counting with MapReduce and Combiners
Build reports

1.2.3Data Cleansing

Document Cleaning
Fuzzy string search
Record linkage / data deduplication
Transform and sort event dates
Validate source reliability
Trim Outliers

1.2.4Extracting and Transforming Data

Transforming logs
Using Apache Pig to filter
Using Apache Pig to sort
Using Apache Pig to sessionize

1.2.5Advanced Joins

Joining data in the Mapper using MapReduce
Joining data using Apache Pig replicated join
Joining sorted data using Apache Pig merge join
Joining skewed data using Apache Pig skewed join
Using a map-side join in Apache Hive
Using optimized full outer joins in Apache Hive
Joining data using an external key value store

1.3Performance Diagnosis and Optimization Techniques

Map
- Investigating spikes in input data
- Identifying map-side data skew problems
- Map task throughput
- Small files
- Unsplittable files
Reduce
- Too few or too many reducers
- Reduce-side data skew problems
- Reduce tasks throughput
- Slow shuffle and sort
Competing jobs and scheduler throttling
Stack dumps & unoptimized code
Hardware failures
CPU contention
Tasks
- Extracting and visualizing task execution times
- Profiling your map and reduce tasks
Avoid the reducer
Filter and project
Using the combiner
Fast sorting with comparators
Collecting skewed data
Reduce skew mitigation

Opinie uczestników

★★★★★

Część praktyczna.

Arkadiusz Iwaszko

Szkolenie:Big Data Hadoop Analyst Training

1. Sprzęt pierwsza klasa 2. Dobre pierwsze wprowadzenie w świat Hadoop'a oraz w technologie

Przemysław Ćwik

Szkolenie:Big Data Hadoop Administration Training

Najbardziej podobał mi się trener, który daje prawdziwe żywe przykłady.

Simon Hahn

Szkolenie:Administrator Training for Apache Hadoop

Machine Translated

Naprawdę cieszyłem się dużymi kompetencjami trenera.

Grzegorz Gorski

Szkolenie:Administrator Training for Apache Hadoop

Machine Translated

Naprawdę podobały mi się liczne sesje praktyczne.

Jacek Pieczątka

Szkolenie:Administrator Training for Apache Hadoop

Machine Translated

tematyka szkolenia oraz zaangażowanie trenera

Izba Administracji Skarbowej w Lublinie

Szkolenie:Apache NiFi for Administrators

Koleżeńska komunikacja z osobami biorących udział w szkoleniu.

Andrzej Szewczuk - Izba Administracji Skarbowej w Lublinie

Szkolenie:Apache NiFi for Administrators

praktyczne rzeczy do zrobienia, również teoria była dobrze podawana przez Ajaya

Dominik Mazur - Capgemini Polska Sp. z o.o.

Szkolenie:Hadoop Administration on MapR

Machine Translated

Ćwiczenia

Capgemini Polska Sp. z o.o.

Szkolenie:Hadoop Administration on MapR

Machine Translated

przydatność ćwiczeń

Algomine sp.z.o.o sp.k.

Szkolenie:Apache NiFi for Administrators

Szkolenie bardzo mi się podobało. Anton posiada dużą wiedzę i wyłożył niezbędną teorię w bardzo przystępny sposób. Świetne jest to, że na szkoleniu było dużo ciekawych ćwiczeń, więc praktycznie od samego początku mamy kontakt z poznawaną technologią.

Szymon Dybczak - Algomine sp.z.o.o sp.k.

Szkolenie:Apache NiFi for Administrators

Odkryłem, że ten kurs daje świetny przegląd i szybko dotknął niektórych obszarów, których nawet nie rozważałem.

Veterans Affairs Canada

Szkolenie:Big Data Hadoop Administration Training

Machine Translated

-cwiczenia -wsparcie trenera w tematach ktore nas interesuja (przyklady)

7n/cim

Szkolenie:Apache NiFi for Administrators

problemy z wi-fi i wirtualna maszyną

Grzegorz Iwaniuk - 7n/cim

Szkolenie:Apache NiFi for Administrators

Luźne podejście. Pomoc trenera. Dostępność sprzętu przygotowanego do szkolenia.

Bartosz Ratajczyk BartekR; Piotr Michałowski Consulting; Prizma Paweł Białecki; Dariusz Brejnak Business Solutions; BILABS Maciej Antosiewicz; IT Consulting Kamil Kalinowski; RBC Rafał Benesz

Szkolenie:Apache NiFi for Developers

Zwrócenie uwagi na kwestie wydajnościowe, zbudowanie całego przepływu od początku do końca.

Usługi Informatyczne Kamil Braniewski; Paweł Gniazdowski, PGS IT; DDW SYSTEM Mariusz Karbownik; DataMotion Zbigniew Kulikowski; Tomasz Tkacz DBI Assistance; Kambit Kamil Kazmierczak; Michał Erdman IT Solutions; PGE Systemy S.A

Szkolenie:Apache NiFi for Developers

Powiązane Kategorie

Szkolenia Powiązane

Kursy w promocyjnej cenie

Docker - zarządzanie kontenerami

10/21/2019 - 09:00

Warszawa, ul. Złota 3 / 11

Apache Hadoop: Manipulation and Transformation of Data Performance - Plan Szkolenia

Kod kursu

Czas trwania

Wymagania

Opis

Plan Szkolenia

1.1Hadoop Concepts

1.1.1HDFS

1.1.2Clusters

1.2Data Manipulation

1.2.1MapReduce detailed

1.2.2Analytics with Map Reduce

1.2.3Data Cleansing

1.2.4Extracting and Transforming Data

1.2.5Advanced Joins

1.3Performance Diagnosis and Optimization Techniques

Opinie uczestników

Powiązane Kategorie

Szkolenia Powiązane

Kursy w promocyjnej cenie

Newsletter z promocjami

Zaufali nam

is growing fast!

As a Business Development Manager you will:

We offer: