Zaawansowany Hadoop dla programistów - Plan Szkolenia

Głównym celem szkolenia jest zdobycie wiedzy z administracji systemem Apache Hadoop w środowiskach MapReduce oraz YARN na poziomie zaawansowanym. Tematyka szkolenia dotyczy w głównej mierze architektury systemu Hadoop, a w szczególności systemu plików HDFS oraz modeli programistycznych MapReduce i YARN oraz zagadnień związanych z planowaniem, instalacją, konfiguracją, administracją, zarządzaniem i monitorowaniem klastra systemu Hadoop. Pozostałe zagadnienia związane z tematyką BigData takie jak HBase, Cassandra, Impala, Pig, Hiver oraz Sqoop są również omówione, choć pobieżnie. Kurs przeznaczony jest w głównej mierze do specjalistów z branży IT, którzy chcą przygotować się i zdać egzamin CCAH (Cloudera Certified administrator for Apache Hadoop).

Big data analytics obejmuje proces analizowania dużych ilości zróżnicowanych zestawów danych w celu odkrycia korelacji, ukrytych wzorców i innych użytecznych wniosków.

Branża zdrowotna posiada masywne ilości skomplikowanych, heterogenicznych danych medycznych i klinicznych. Zastosowanie analizy big data na danych zdrowotnych daje ogromny potencjał do wyciągania wniosków mających na celu poprawę dostarczania opieki zdrowotnej. Jednakże ogrom tych zestawów danych stwarza duże wyzwania w analizie i praktycznym zastosowaniu w środowisku klinicznym.

W tym prowadzonym przez instruktora, żywym szkoleniu (zdalne), uczestnicy nauczą się wykonywania analizy big data w dziedzinie zdrowia, przechodząc przez serię ćwiczeń w żywych laboratoriach.

Po zakończeniu tego szkolenia uczestnicy będą w stanie:

• Zainstalować i skonfigurować narzędzia do analizy big data, takie jak Hadoop MapReduce i Spark
• Zrozumieć cechy danych medycznych
• Zastosować techniki big data do pracy z danymi medycznymi
• Badac systemy i algorytmy big data w kontekście aplikacji zdrowotnych

Grupa docelowa

• Programiści
• Naukowcy danych

Format kursu

• Część wykładu, część dyskusji, ćwiczenia i intensywna praktyka ręczna.

Uwaga

• Aby zapytać o spersonalizowane szkolenie dla tego kursu, prosimy o kontakt z nami w celu uzgodnienia.

Apache Hadoop jest najpopularniejszym frameworkiem do przetwarzania danych na klastrach serwerów. W tym trzydniowym (opcjonalnie czterodniowym) kursie uczestnicy dowiedzą się o korzyściach biznesowych oraz przypadkach użycia Hadoop i jego ekosystemu, jak planować wdrażanie i skalowanie klastrów, jak instalować, utrzymywać, monitorować, diagnozować i optymalizować Hadoop. Będą również ćwiczyć wczytywanie dużych ilości danych do klastru, zapoznać się z różnymi dystrybucjami Hadoop oraz ćwiczyć instalację i zarządzanie narzędziami ekosystemu Hadoop. Kurs kończy się dyskusją o zabezpieczaniu klastru za pomocą Kerberosa.

„…Materiały były bardzo dobrze przygotowane i bardzo szczegółowo omówione. Laboratorium było bardzo pomocne i dobrze zorganizowane” — Andrew Nguyen, Główny Inżynier Integracji Bazy Danych, Microsoft Online Advertising

Grupa docelowa

Administratorzy Hadoop

Format

Wykłady i laboratoria praktyczne, przybliżony podział 60% wykładów, 40% laboratoriów.

Apache Hadoop to najpopularniejsza platforma do przetwarzania Big Data na klastrach serwerów. Ten kurs zapozna programistę z różnymi komponentami ekosystemu Hadoop, takimi jak HDFS, MapReduce, Pig, Hive i HBase.

Grupa docelowa:

Ten kurs ma na celu demistyfikację technologii big data/Hadoop i pokazanie, że nie jest trudna do zrozumienia.

Ta szkolenie prowadzone przez instruktora w Polsce (online lub stacjonarnie) jest skierowane do administratorów systemów, którzy chcą nauczyć się wdrażania, konfigurowania i zarządzania klastrami Hadoop w swojej organizacji.

Na końcu tego szkolenia uczestnicy będą w stanie:

• Zainstalować i skonfigurować Apache Hadoop.
• Poznać cztery główne komponenty ekosystemu Hadoop: HDFS, MapReduce, YARN oraz Hadoop Common.
• Używać Hadoop Distributed File System (HDFS) do skalowania klastra do setek lub tysięcy węzłów.  
• Skonfigurować HDFS jako silnik przechowywania dla lokalnych wdrożeń Spark.
• Skonfigurować Spark do uzyskiwania dostępu do alternatywnych rozwiązań przechowywania, takich jak Amazon S3 i bazy danych NoSQL, np. Redis, Elasticsearch, Couchbase, Aerospike itp.
• Wykonywać zadania administracyjne, takie jak alokacja zasobów, zarządzanie, monitorowanie i bezpieczne administrowanie klastem Apache Hadoop.

Ten kurs wprowadza HBase – sklep NoSQL na podstawie Hadoop. Kurs jest przeznaczony dla programistów, którzy będą używać HBase do tworzenia aplikacji, oraz administratorów, którzy będą zarządzać klasterami HBase.

Przeprowadzimy programistów przez architekturę HBase, modelowanie danych oraz tworzenie aplikacji w HBase. Omówimy również używanie MapReduce z HBase oraz niektóre tematy administracyjne, związane z optymalizacją wydajności. Kurs jest bardzo praktyczny, z dużą liczbą ćwiczeń laboratoryjnych.

Czas trwania : 3 dni

Grupa docelowa : Programiści & Administratorzy

Apache NiFi to platforma open-source do integracji danych i przetwarzania zdarzeń oparta na przepływie. Wspomaga automatyczną, czasową synchronizację danych, ich transformację oraz mediację systemów między różnymi systemami, oferując interfejs webowy i szczegółowe sterowanie.

Ten prowadzony przez instruktora, na żywo, szkolenie (na miejscu lub zdalnie) jest skierowane do pośrednio zaawansowanych administratorów i inżynierów, którzy chcą wdrożyć, zarządzać, zabezpieczać i optymalizować przepływy danych NiFi w środowiskach produkcyjnych.

Na koniec tego szkolenia uczestnicy będą mogli:

• Zainstalować, skonfigurować i utrzymywać klastry Apache NiFi.
• Projektować i zarządzać przepływami danych z różnych źródeł i ujśc.
• Zaimplementować automatyzację, routowanie i logikę transformacji przepływu.
• Optymalizować wydajność, monitorować operacje i rozwiązywać problemy.

Format Szkolenia

• Interaktywna prezentacja z dyskusją na temat rzeczywistych architektur.
• Laboratoria praktyczne: tworzenie, wdrażanie i zarządzanie przepływami.
• Zadania scenariuszowe w środowisku live-lab.

Opcje Dostosowywania Szkolenia

• Aby zapytać o dostosowane szkolenie dla tego kursu, prosimy o kontakt z nami w celu uzgodnienia szczegółów.

W tym szkoleniu prowadzonym przez instruktora, uczestnicy nauczą się podstaw programowania opartego na przepływie, tworząc szereg demonstracyjnych rozszerzeń, komponentów i procesorów przy użyciu Apache NiFi.

Po zakończeniu szkolenia uczestnicy będą mogli:

• Zrozumieć architekturę NiFi oraz koncepcje przepływu danych.
• Tworzyć rozszerzenia przy użyciu NiFi i zewnętrznych API.
• Samodzielnie opracować własny procesor Apache NiFi.
• Pozyskiwać i przetwarzać dane w czasie rzeczywistym z różnych i nietypowych formatów plików oraz źródeł danych.

To szkolenie prowadzone przez instruktora na żywo w Polsce (online lub na miejscu) jest skierowane do programistów, którzy chcą wykorzystywać i integrować Spark, Hadoop i Python do przetwarzania, analizy i transformacji dużych i złożonych zbiorów danych.

Pod koniec szkolenia uczestnicy będą mogli:

• Skonfigurować niezbędne środowisko do rozpoczęcia przetwarzania dużych zbiorów danych za pomocą Spark, Hadoop i Python.
• Zrozumieć funkcje, główne komponenty i architekturę Spark i Hadoop.
• Nauczyć się, jak integrować Spark, Hadoop i Python do przetwarzania dużych zbiorów danych.
• Poznać narzędzia w ekosystemie Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka i Flume).
• Budować systemy rekomendacji oparte na filtrowaniu współpracującym, podobne do tych używanych przez Netflix, YouTube, Amazon, Spotify i Google.
• Wykorzystać Apache Mahout do skalowania algorytmów uczenia maszynowego.