Hadoop dla programistów (4 dni) - Plan Szkolenia

Głównym celem szkolenia jest zdobycie wiedzy z administracji systemem Apache Hadoop w środowiskach MapReduce oraz YARN na poziomie zaawansowanym. Tematyka szkolenia dotyczy w głównej mierze architektury systemu Hadoop, a w szczególności systemu plików HDFS oraz modeli programistycznych MapReduce i YARN oraz zagadnień związanych z planowaniem, instalacją, konfiguracją, administracją, zarządzaniem i monitorowaniem klastra systemu Hadoop. Pozostałe zagadnienia związane z tematyką BigData takie jak HBase, Cassandra, Impala, Pig, Hiver oraz Sqoop są również omówione, choć pobieżnie. Kurs przeznaczony jest w głównej mierze do specjalistów z branży IT, którzy chcą przygotować się i zdać egzamin CCAH (Cloudera Certified administrator for Apache Hadoop).

Big data analytics obejmuje proces analizowania dużych ilości zróżnicowanych zestawów danych w celu odkrycia korelacji, ukrytych wzorców i innych użytecznych wniosków.

Branża zdrowotna posiada masywne ilości skomplikowanych, heterogenicznych danych medycznych i klinicznych. Zastosowanie analizy big data na danych zdrowotnych daje ogromny potencjał do wyciągania wniosków mających na celu poprawę dostarczania opieki zdrowotnej. Jednakże ogrom tych zestawów danych stwarza duże wyzwania w analizie i praktycznym zastosowaniu w środowisku klinicznym.

W tym prowadzonym przez instruktora, żywym szkoleniu (zdalne), uczestnicy nauczą się wykonywania analizy big data w dziedzinie zdrowia, przechodząc przez serię ćwiczeń w żywych laboratoriach.

Po zakończeniu tego szkolenia uczestnicy będą w stanie:

• Zainstalować i skonfigurować narzędzia do analizy big data, takie jak Hadoop MapReduce i Spark
• Zrozumieć cechy danych medycznych
• Zastosować techniki big data do pracy z danymi medycznymi
• Badac systemy i algorytmy big data w kontekście aplikacji zdrowotnych

Grupa docelowa

• Programiści
• Naukowcy danych

Format kursu

• Część wykładu, część dyskusji, ćwiczenia i intensywna praktyka ręczna.

Uwaga

• Aby zapytać o spersonalizowane szkolenie dla tego kursu, prosimy o kontakt z nami w celu uzgodnienia.

Kurs jest dedykowany specjalistom IT poszukującym rozwiązania do przechowywania i przetwarzania dużych zbiorów danych w środowisku systemu rozproszonego

Cel kursu:

Nabycie wiedzy dotyczącej zarządzania Hadoop klasterem

Apache Hadoop jest najpopularniejszym frameworkiem do przetwarzania danych na klastrach serwerów. W tym trzydniowym (opcjonalnie czterodniowym) kursie uczestnicy dowiedzą się o korzyściach biznesowych oraz przypadkach użycia Hadoop i jego ekosystemu, jak planować wdrażanie i skalowanie klastrów, jak instalować, utrzymywać, monitorować, diagnozować i optymalizować Hadoop. Będą również ćwiczyć wczytywanie dużych ilości danych do klastru, zapoznać się z różnymi dystrybucjami Hadoop oraz ćwiczyć instalację i zarządzanie narzędziami ekosystemu Hadoop. Kurs kończy się dyskusją o zabezpieczaniu klastru za pomocą Kerberosa.

„…Materiały były bardzo dobrze przygotowane i bardzo szczegółowo omówione. Laboratorium było bardzo pomocne i dobrze zorganizowane” — Andrew Nguyen, Główny Inżynier Integracji Bazy Danych, Microsoft Online Advertising

Grupa docelowa

Administratorzy Hadoop

Format

Wykłady i laboratoria praktyczne, przybliżony podział 60% wykładów, 40% laboratoriów.

Apache Hadoop to jedna z najpopularniejszych platform do przetwarzania Big Data na klastrach serwerów. Ten kurs zagłębia się w zarządzanie danymi w HDFS, zaawansowane Pig, Hive i HBase. Te zaawansowane techniki programistyczne będą korzystne dla doświadczonych programistów Hadoop.

Grupa docelowa: programiści

Czas trwania: trzy dni

Format: wykłady (50%) i ćwiczenia praktyczne (50%).

Grupa docelowa:

Ten kurs ma na celu demistyfikację technologii big data/Hadoop i pokazanie, że nie jest trudna do zrozumienia.

Ta szkolenie prowadzone przez instruktora w Polsce (online lub stacjonarnie) jest skierowane do administratorów systemów, którzy chcą nauczyć się wdrażania, konfigurowania i zarządzania klastrami Hadoop w swojej organizacji.

Na końcu tego szkolenia uczestnicy będą w stanie:

• Zainstalować i skonfigurować Apache Hadoop.
• Poznać cztery główne komponenty ekosystemu Hadoop: HDFS, MapReduce, YARN oraz Hadoop Common.
• Używać Hadoop Distributed File System (HDFS) do skalowania klastra do setek lub tysięcy węzłów.  
• Skonfigurować HDFS jako silnik przechowywania dla lokalnych wdrożeń Spark.
• Skonfigurować Spark do uzyskiwania dostępu do alternatywnych rozwiązań przechowywania, takich jak Amazon S3 i bazy danych NoSQL, np. Redis, Elasticsearch, Couchbase, Aerospike itp.
• Wykonywać zadania administracyjne, takie jak alokacja zasobów, zarządzanie, monitorowanie i bezpieczne administrowanie klastem Apache Hadoop.

Ten kurs wprowadza HBase – sklep NoSQL na podstawie Hadoop. Kurs jest przeznaczony dla programistów, którzy będą używać HBase do tworzenia aplikacji, oraz administratorów, którzy będą zarządzać klasterami HBase.

Przeprowadzimy programistów przez architekturę HBase, modelowanie danych oraz tworzenie aplikacji w HBase. Omówimy również używanie MapReduce z HBase oraz niektóre tematy administracyjne, związane z optymalizacją wydajności. Kurs jest bardzo praktyczny, z dużą liczbą ćwiczeń laboratoryjnych.

Czas trwania : 3 dni

Grupa docelowa : Programiści & Administratorzy

Apache NiFi to platforma open-source do integracji danych i przetwarzania zdarzeń oparta na przepływie. Wspomaga automatyczną, czasową synchronizację danych, ich transformację oraz mediację systemów między różnymi systemami, oferując interfejs webowy i szczegółowe sterowanie.

Ten prowadzony przez instruktora, na żywo, szkolenie (na miejscu lub zdalnie) jest skierowane do pośrednio zaawansowanych administratorów i inżynierów, którzy chcą wdrożyć, zarządzać, zabezpieczać i optymalizować przepływy danych NiFi w środowiskach produkcyjnych.

Na koniec tego szkolenia uczestnicy będą mogli:

• Zainstalować, skonfigurować i utrzymywać klastry Apache NiFi.
• Projektować i zarządzać przepływami danych z różnych źródeł i ujśc.
• Zaimplementować automatyzację, routowanie i logikę transformacji przepływu.
• Optymalizować wydajność, monitorować operacje i rozwiązywać problemy.

Format Szkolenia

• Interaktywna prezentacja z dyskusją na temat rzeczywistych architektur.
• Laboratoria praktyczne: tworzenie, wdrażanie i zarządzanie przepływami.
• Zadania scenariuszowe w środowisku live-lab.

Opcje Dostosowywania Szkolenia

• Aby zapytać o dostosowane szkolenie dla tego kursu, prosimy o kontakt z nami w celu uzgodnienia szczegółów.

W tym prowadzonym przez instruktora szkoleniu na żywo w Polsce uczestnicy poznają podstawy programowania opartego na przepływie, opracowując szereg rozszerzeń demonstracyjnych, komponentów i procesorów przy użyciu Apache NiFi.

Pod koniec tego szkolenia uczestnicy będą mogli:

• Zrozumieć architekturę NiFi i koncepcje przepływu danych.
• Rozwijać rozszerzenia przy użyciu NiFi i interfejsów API innych firm.
• Rozwijać własny procesor Apache Nifi.
• Pozyskiwać i przetwarzać dane w czasie rzeczywistym z różnych i nietypowych formatów plików i źródeł danych.

To prowadzone przez instruktora szkolenie na żywo w Polsce (na miejscu lub zdalnie) jest przeznaczone dla programistów, którzy chcą używać i integrować Spark, Hadoop i Python do przetwarzania, analizowania i przekształcania dużych i złożonych zestawów danych.

Pod koniec tego szkolenia uczestnicy będą mogli

• Skonfigurować środowisko niezbędne do rozpoczęcia przetwarzania dużych zbiorów danych za pomocą Spark, Hadoop i Python.
• Zrozumieć funkcje, podstawowe komponenty i architekturę Spark i Hadoop.
• Dowiedz się, jak zintegrować Spark, Hadoop i Python w celu przetwarzania dużych zbiorów danych.
• Poznanie narzędzi w ekosystemie Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka i Flume).
• Tworzenie systemów rekomendacji opartych na filtrowaniu kolaboracyjnym podobnych do Netflix, YouTube, Amazon, Spotify i Google.
• Wykorzystanie Apache Mahout do skalowania algorytmów uczenia maszynowego.