Kod kursu

hadoopadm1

Czas trwania

21 godzin (zwykle 3 dni wliczając przerwy)

Wymagania

comfortable with basic Linux system administration
basic scripting skills

Knowledge of Hadoop and Distributed Computing is not required, but will be introduced and explained in the course.

Lab environment

Zero Install : There is no need to install hadoop software on students’ machines! A working hadoop cluster will be provided for students.

Students will need the following

an SSH client (Linux and Mac already have ssh clients, for Windows Putty is recommended)
a browser to access the cluster. We recommend Firefox browser with FoxyProxy extension installed

Opis

Apache Hadoop to najpopularniejszy framework do przetwarzania Big Data na klastrach serwerów. W ciągu trzech (opcjonalnie czterech) dni uczestnicy dowiedzą się o korzyściach biznesowych i przypadkach użycia Hadoop i jego ekosystemu, jak zaplanować wdrożenie i rozwój klastra, jak zainstalować, utrzymywać, monitorować, rozwiązywać problemy i optymalizować Hadoop . Będą również ćwiczyć ładowanie danych zbiorczych klastra, zapoznać się z różnymi dystrybucjami Hadoop i przećwiczyć instalowanie i zarządzanie narzędziami ekosystemu Hadoop . Kurs kończy się dyskusją na temat zabezpieczenia klastra za pomocą Kerberos.

„… Materiały były bardzo dobrze przygotowane i dokładnie pokryte. Laboratorium było bardzo pomocne i dobrze zorganizowane ”
- Andrew Nguyen, główny inżynier ds. Integracji, Microsoft Online Advertising

Publiczność

Administratorzy Hadoop

Format

Wykłady i ćwiczenia praktyczne, przybliżona równowaga 60% wykładów, 40% laboratoriów.

Machine Translated

Plan Szkolenia

Introduction
- Hadoop history, concepts
- Ecosystem
- Distributions
- High level architecture
- Hadoop myths
- Hadoop challenges (hardware / software)
- Labs: discuss your Big Data projects and problems

Planning and installation
- Selecting software, Hadoop distributions
- Sizing the cluster, planning for growth
- Selecting hardware and network
- Rack topology
- Installation
- Multi-tenancy
- Directory structure, logs
- Benchmarking
- Labs: cluster install, run performance benchmarks

HDFS operations
- Concepts (horizontal scaling, replication, data locality, rack awareness)
- Nodes and daemons (NameNode, Secondary NameNode, HA Standby NameNode, DataNode)
- Health monitoring
- Command-line and browser-based administration
- Adding storage, replacing defective drives
- Labs: getting familiar with HDFS command lines

Data ingestion
- Flume for logs and other data ingestion into HDFS
- Sqoop for importing from SQL databases to HDFS, as well as exporting back to SQL
- Hadoop data warehousing with Hive
- Copying data between clusters (distcp)
- Using S3 as complementary to HDFS
- Data ingestion best practices and architectures
- Labs: setting up and using Flume, the same for Sqoop

MapReduce operations and administration
- Parallel computing before mapreduce: compare HPC vs Hadoop administration
- MapReduce cluster loads
- Nodes and Daemons (JobTracker, TaskTracker)
- MapReduce UI walk through
- Mapreduce configuration
- Job config
- Optimizing MapReduce
- Fool-proofing MR: what to tell your programmers
- Labs: running MapReduce examples

YARN: new architecture and new capabilities
- YARN design goals and implementation architecture
- New actors: ResourceManager, NodeManager, Application Master
- Installing YARN
- Job scheduling under YARN
- Labs: investigate job scheduling

Advanced topics
- Hardware monitoring
- Cluster monitoring
- Adding and removing servers, upgrading Hadoop
- Backup, recovery and business continuity planning
- Oozie job workflows
- Hadoop high availability (HA)
- Hadoop Federation
- Securing your cluster with Kerberos
- Labs: set up monitoring

Optional tracks
- Cloudera Manager for cluster administration, monitoring, and routine tasks; installation, use. In this track, all exercises and labs are performed within the Cloudera distribution environment (CDH5)
- Ambari for cluster administration, monitoring, and routine tasks; installation, use. In this track, all exercises and labs are performed within the Ambari cluster manager and Hortonworks Data Platform (HDP 2.0)

Opinie uczestników

★★★★★

Część praktyczna.

Arkadiusz Iwaszko

Szkolenie:Big Data Hadoop Analyst Training

1. Sprzęt pierwsza klasa 2. Dobre pierwsze wprowadzenie w świat Hadoop'a oraz w technologie

Przemysław Ćwik

Szkolenie:Big Data Hadoop Administration Training

Najbardziej podobał mi się trener, który daje prawdziwe żywe przykłady.

Simon Hahn

Szkolenie:Administrator Training for Apache Hadoop

Machine Translated

Naprawdę cieszyłem się dużymi kompetencjami trenera.

Grzegorz Gorski

Szkolenie:Administrator Training for Apache Hadoop

Machine Translated

Naprawdę podobały mi się liczne sesje praktyczne.

Jacek Pieczątka

Szkolenie:Administrator Training for Apache Hadoop

Machine Translated

tematyka szkolenia oraz zaangażowanie trenera

Izba Administracji Skarbowej w Lublinie

Szkolenie:Apache NiFi for Administrators

Koleżeńska komunikacja z osobami biorących udział w szkoleniu.

Andrzej Szewczuk - Izba Administracji Skarbowej w Lublinie

Szkolenie:Apache NiFi for Administrators

praktyczne rzeczy do zrobienia, również teoria była dobrze podawana przez Ajaya

Dominik Mazur - Capgemini Polska Sp. z o.o.

Szkolenie:Hadoop Administration on MapR

Machine Translated

Ćwiczenia

Capgemini Polska Sp. z o.o.

Szkolenie:Hadoop Administration on MapR

Machine Translated

przydatność ćwiczeń

Algomine sp.z.o.o sp.k.

Szkolenie:Apache NiFi for Administrators

Szkolenie bardzo mi się podobało. Anton posiada dużą wiedzę i wyłożył niezbędną teorię w bardzo przystępny sposób. Świetne jest to, że na szkoleniu było dużo ciekawych ćwiczeń, więc praktycznie od samego początku mamy kontakt z poznawaną technologią.

Szymon Dybczak - Algomine sp.z.o.o sp.k.

Szkolenie:Apache NiFi for Administrators

Odkryłem, że ten kurs daje świetny przegląd i szybko dotknął niektórych obszarów, których nawet nie rozważałem.

Veterans Affairs Canada

Szkolenie:Big Data Hadoop Administration Training

Machine Translated

-cwiczenia -wsparcie trenera w tematach ktore nas interesuja (przyklady)

7n/cim

Szkolenie:Apache NiFi for Administrators

problemy z wi-fi i wirtualna maszyną

Grzegorz Iwaniuk - 7n/cim

Szkolenie:Apache NiFi for Administrators

Luźne podejście. Pomoc trenera. Dostępność sprzętu przygotowanego do szkolenia.

Bartosz Ratajczyk BartekR; Piotr Michałowski Consulting; Prizma Paweł Białecki; Dariusz Brejnak Business Solutions; BILABS Maciej Antosiewicz; IT Consulting Kamil Kalinowski; RBC Rafał Benesz

Szkolenie:Apache NiFi for Developers

Zwrócenie uwagi na kwestie wydajnościowe, zbudowanie całego przepływu od początku do końca.

Usługi Informatyczne Kamil Braniewski; Paweł Gniazdowski, PGS IT; DDW SYSTEM Mariusz Karbownik; DataMotion Zbigniew Kulikowski; Tomasz Tkacz DBI Assistance; Kambit Kamil Kazmierczak; Michał Erdman IT Solutions; PGE Systemy S.A

Szkolenie:Apache NiFi for Developers

Powiązane Kategorie

Szkolenia Powiązane

Kursy w promocyjnej cenie

Docker - zarządzanie kontenerami

10/21/2019 - 09:00

Warszawa, ul. Złota 3 / 11

Hadoop For Administrators - Plan Szkolenia

Kod kursu

Czas trwania

Wymagania

Lab environment

Opis

Publiczność

Format

Plan Szkolenia

Opinie uczestników

Powiązane Kategorie

Szkolenia Powiązane

Kursy w promocyjnej cenie

Newsletter z promocjami

Zaufali nam

is growing fast!

As a Business Development Manager you will:

We offer: